*成-CSDN博客

原创 ubantu20.04源码安装nginx-1.20.2

ubantu20.04源码安装nginx-1.20.2一、下载nginx二、编译安装nginx三、启动与关闭nginx一、下载nginx传送门：nginx官网根据自己需要下载对应版本下载后解压文件linux下:tar -zxvf nginx-1.20.2.tar.gzlinux下需要安装依赖，已经有的或者windows的跳过apt install openssl libssl-dev libpcre3 libpcre3-dev zlib1g-dev make二

2021-12-11 14:19:53 1879

原创 python+scrapy简单爬取淘宝商品信息

python结合scrapy爬取淘宝商品信息一、功能说明：已实现功能：通过scrapy接入selenium获取淘宝关键字搜索内容下的商品信息。待扩展功能：爬取商品中的全部其他商品信息。二、代码解读：1、创建项目首先得创建一个scrapy项目，若不会的请看其他创建scrapy项目的博客文章或者我的这篇scrapy安装介绍scrapy安装与创建项目然后得明白scrapy框架是如何去部署爬虫的，看大图：2、scrapy工作流程文字解释引擎（Scrapy Engine）从调度

2021-06-09 13:51:04 4907 7

原创 scrapy爬虫中间件处理流程

看大图：1、引擎发送response对象给爬虫中间件中的输入信息处理函数：process_spider_input，之后该函数会返回None或者引发异常。（1）. 图中以1代表返回的是None，2代表引发的异常，若返回None,则继续调用下一个爬虫中间件中的同类函数处理，直至传递给爬虫。（2）.若任一爬虫中间件中该类函数引发异常则调用request对象的errback方法（前提是定义了该方法，若未定义则会进入process_spider_exception处理链中）。2、爬虫得到resp

2021-06-04 16:54:39 468

原创浏览器请求头 request headers转换为字典小工具

功能说明：在我们进行爬虫的时候，经常需要在浏览器上copy请求头，粘贴到我们的请求头上模拟访问，但是得转化为字典，所以这里用正则简单处理复制下来的文本字符串，自动的转化为字典。首先把复制下来的请求头放在转换.txt下Accept: */*Accept-Encoding: gzip, deflate, brAccept-Language: zh-CN,zh;q=0.9Connection: keep-aliveContent-Length: 308Content-Type: applicati

2021-06-04 12:29:14 1508

原创 python3实现微信公众号文章爬取

基于搜狗微信的文章爬取一、功能介绍：已实现功能：1、爬取搜狗微信上的分类一栏的所有事件及其他的所有标题事件和加载更多，返回文章链接与标题，并存入数据库中，后续可直接根据链接下载文章。2、根据输入内容定向爬取文章，返回链接与标题。待实现功能：1、根据数据库中的链接爬取公众号的所有相关文章，保存于数据库，并对所有文章分类存档。2、实现UI界面（PyQt5），根据需要对程序打包为可执行文件。二、运用到的知识点介绍：selenisum（实现简单的搜狗微信主页源码获取）代理池原

2021-06-04 12:09:32 705 2

原创 windows下python3.5+安装scrapy与创建项目

scrapy框架的安装与创建项目scrapy安装：相信第一次安装scrapy框架都会遇到各种安装不上的问题！哈哈，别问我为啥知道！那我分享下我是如何安装scrapy框架的。首先安装scrapy框架之前需要先安装几个依赖的库依照顺序分别是 zope.interface、 pyOpenSSL、 libxml2dom、 twisted、 lxml、最后再安装Scrapy-i 后边是国内源链接这儿给大家列几个国内源链接：阿里云 http://mirrors.aliyun.com/pypi/

2021-06-04 07:55:00 447

原创如何使用python简单的爬取微博搜索的内容

@GC欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式进行展示；增加

2020-06-22 22:19:19 2794 2

warm_man的博客