![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
qq_33582656
这个作者很懒,什么都没留下…
展开
-
bilibili 根据up主下载其下的投稿
1 下载模块:#!/usr/bin/env pythonimport requestsimport jsonimport timeimport reimport hashlibimport osfrom get_headers import get_ua # 自己的ua池# 通用下载函数def get_content(url,refer = None,params = None):原创 2017-12-11 19:06:23 · 2383 阅读 · 0 评论 -
拉勾 职位要求抓取
网上的各种爬虫方面的资料我都差不多了解了,感觉不知道该怎么提高,所以想看看人家招聘的职位要求是什么,好有个提高的方向。 选择了几个找工作的网站,感觉还是拉勾靠谱点,所以下面是获取拉勾网职位要求的代码。 注意:我抓的是任职要求,不是拉勾填充网页时的那个json包的数据,我感觉那个其实没什么用。~.~开始:# 初始化pymongodef __init__(self): self.c原创 2017-12-23 17:25:04 · 454 阅读 · 0 评论 -
gevent+requests下载八零小说
找到一本小说,但是下载需要会员。不想冲会员,所以想爬下来。再次同时发现一个资源很多的网站,八零小说网。所以写了一个爬虫,把书爬下来。首先,打开想下载的小说的章节列表界面: 然后获取每章的链接: 八零小说网不对请求做限制,可以直接requests获取响应。def parse_list(response): x = etree.HTML(response.text) return [原创 2017-12-30 20:21:52 · 526 阅读 · 0 评论