Mankind的博客

学生一枚,欢迎勾搭~

【python爬虫03】使用Scrapy框架模拟登录知乎

把之前使用requests库模拟登录知乎的代码改了一下,改成了Scrapy框架的版本,具体代码如下: class ZhiHuSpider(CrawlSpider): name = "zhihu" # allowed_domains = ["zhihu.c...

2017-09-02 20:37:03

阅读数 499

评论数 0

【python爬虫02】使用Scrapy框架爬取拉勾网招聘信息

使用Scrapy框架爬取拉勾网招聘信息 最近接触了Scrapy爬虫框架,简单写了个爬虫爬取拉钩网的招聘信息,加深对Scrapy框架的理解,不得不说Scrapy框架其实还是蛮方便的,就像爬虫流水线一样,如果是大项目的话使用Scrapy会变得更加容易管理,废话不多说,下面就看看如何使用Scrap...

2017-09-02 19:57:29

阅读数 2241

评论数 0

【python爬虫01】使用requests库模拟登录知乎

最近入坑python爬虫…简单记录一下我的爬虫经历。一开始是因为经常在知乎上看到各种关于爬虫的资料,于是自己也想尝试一下,既然这个念头是在知乎上产生的,那么我的爬虫之旅就从爬取知乎开始吧。:)   要开始写爬虫首先需要掌握以下几点: ①   网站的请求,响应等基本知识。 ②   学会分析网站,各种...

2017-09-02 17:43:49

阅读数 794

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭