爬虫
一匹脱缰的野马
一匹脱缰的野马
展开
-
scrapy框架爬取王者荣耀皮肤
创建项目 创建项目命令:scrapy startproject wangzhePhotoMax 创建爬虫:scrapy genspider WangZheCrawl https://pvp.qq.com 更改settings.py中的设置: USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36' # Obe原创 2021-01-06 11:49:42 · 757 阅读 · 1 评论 -
fiddler的使用方法总结
Fiddler是位于客户端和服务器端HTTP代理,可以监控所有的http和https。浏览器访问网站都是基于B/S架构的,这个时候我们连接上fiddler,所有服务器发送到浏览器的资源都会被我们截获。fiddler的方法如下。 如何将请求报文保存到本地? 右键选择save就可以将我们需要的内容保存成想要的格式,...原创 2019-11-10 16:55:59 · 630 阅读 · 0 评论 -
放弃使用phantomJS吧,新版的无界面好用多了
selenium放弃使用phantomJS,需要使用无界面的话使用下面的方法。在使用过程中亲测,phantomJS会被防住,但是使用下面的方法不会被防。 使用下面这种方法不让访问 from selenium import webdriver url = 'https://www.ipip.net/ip.html' driver = webdriver.PhantomJS(execut...原创 2019-11-09 14:06:10 · 765 阅读 · 0 评论 -
每天定时给你的女朋友发送睡前小故事其二
我们在文章《每天定时给你的女朋友发送睡前小故事其一》中说了如何爬取故事并且发送,并且已经达到目的了,那么我们如何在我们的windows上设置定时任务,每天按时的执行我们的代码呢?接下来听我细细道来。 我们的windows可以设置定时任务,这个时候我们要使用windows自带的定时功能来执行我们的代码。 首先点击计算机右键再点击管理,如下图: 这时再点击---》计划任务-...原创 2019-08-30 21:17:32 · 241 阅读 · 0 评论 -
每天定时给你的女朋友发送睡前小故事其一
这是一个爬取故事,每天定时发送的案例,发送给谁呢?可以发送给自己的女朋友,什么?不可能有女朋友?那就好好练习一下代码,学会之后说不准哪天就用到了,不对吗? 代码主要分成两部分,第一部分是爬取故事网站,然后把故事的连接保存到文件中。代码部分如下 def request_html(self,url,title_url): response = requests.get...原创 2019-08-30 20:44:39 · 535 阅读 · 0 评论 -
爬虫经典生产者消费者模式案例
在python爬虫中,为了提高网站的爬取速度,可以设置多线程来爬取数据,在爬取的时候为了降低程序中的耦合度,可以采用生产者消费者模式来降低耦合度。 这样生产者负责生产数据,产生数据之后放入到队列中,消费者负责从队列中接收解析存储数据。 生产者 传入生产者需要的消息队列,创建生产者。 设置生产者,生产者负责产生数据放入队列中供消费者使用 cla...原创 2019-08-29 21:38:46 · 1044 阅读 · 2 评论