![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
Mankind_萌凯
90后,计算机研究生,欢迎关注我的微信公众号:萌凯的程序人生
展开
-
【python爬虫02】使用Scrapy框架爬取拉勾网招聘信息
使用Scrapy框架爬取拉勾网招聘信息最近接触了Scrapy爬虫框架,简单写了个爬虫爬取拉钩网的招聘信息,加深对Scrapy框架的理解,不得不说Scrapy框架其实还是蛮方便的,就像爬虫流水线一样,如果是大项目的话使用Scrapy会变得更加容易管理,废话不多说,下面就看看如何使用Scrapy爬取拉勾网招聘消息吧。 我们发现由于数据是分页显示的,如果原创 2017-09-02 19:57:29 · 3771 阅读 · 0 评论 -
【python爬虫03】使用Scrapy框架模拟登录知乎
把之前使用requests库模拟登录知乎的代码改了一下,改成了Scrapy框架的版本,具体代码如下:class ZhiHuSpider(CrawlSpider): name = "zhihu" # allowed_domains = ["zhihu.com"] start_urls = [ "https://www.zhihu.com" ]原创 2017-09-02 20:37:03 · 753 阅读 · 0 评论 -
【python爬虫01】使用requests库模拟登录知乎
最近入坑python爬虫…简单记录一下我的爬虫经历。一开始是因为经常在知乎上看到各种关于爬虫的资料,于是自己也想尝试一下,既然这个念头是在知乎上产生的,那么我的爬虫之旅就从爬取知乎开始吧。:) 要开始写爬虫首先需要掌握以下几点:① 网站的请求,响应等基本知识。② 学会分析网站,各种抓包工具的使用,方便我们分析网站的交互。 由于我们是要登录知乎,自然需要知道请求的参数原创 2017-09-02 17:43:49 · 1260 阅读 · 0 评论