梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者

为你更新，5年~

Python爬虫入门教程导航，目标100篇。

爬虫100例的原则上最后一篇文章，很激动，有很多话想说，请允许我写这么一篇唠唠叨叨的文章。写爬虫系列很迷，估计和很多进入爬虫编码圈的人一样，单纯的我只想看一些图片，然而一页页的去翻，真的好麻烦，总想着可以自动化处理多好，那一年是2010年，而我只会简单的C#语言，不过还是靠着拖拽控件，到处复制粘贴修改代码的方式，拼凑出了一个图片下载器，那一年距离现在恰好10年。很多人注意到，梦想橡皮擦确实是一个老程序员了，在CSDN一个非常不友好的设计中，无情的展示了橡皮擦的年纪。

你好，当你打开这个文档的时候，我知道，你想要的是什么！ Python爬虫，如何快速的学会Python爬虫，是你最期待的事情，可是这个事情应该没有想象中的那么容易，况且你的编程底子还不一定好，这套课程，没有你想要的Python基础，没有变量，循环，数组等基础知识，因为我不想在那些你可以直接快速学会的地方，去浪费你的时间。好了，这套课程是基于Python3.0 以上写的，操作系统我使用的是...

一篇命运多舛的博客

简介从今天开始，我们尝试用2篇博客的内容量，搞定一个网站叫做“美空网”网址为：http://www.moko.cc/， 这个网站我分析了一下，我们要爬取的图片在 下面这个网址 http://www.moko.cc/post/1302075.html 然后在去分析一下，我需要找到一个图片列表页面是最好的，作为一个勤劳的爬虫coder，我找到了这个页面 http://w...

简介上一篇写的时间有点长了，接下来继续把美空网的爬虫写完，这套教程中编写的爬虫在实际的工作中可能并不能给你增加多少有价值的技术点，因为它只是一套入门的教程，老鸟你自动绕过就可以了，或者带带我也行。爬虫分析首先，我们已经爬取到了N多的用户个人主页，我通过链接拼接获取到了http://www.moko.cc/post/da39db43246047c79dcaef44c201492d/list....

获取待爬取页面今天继续爬取一个网站，http://www.27270.com/ent/meinvtupian/ 这个网站具备反爬，so我们下载的代码有些地方处理的也不是很到位，大家重点学习思路，有啥建议可以在评论的地方跟我说说。为了以后的网络请求操作方向，我们这次简单的进行一些代码的封装操作。在这里你可以先去安装一个叫做 retrying 的模块pip install retry...

1. 简介国庆假日结束了，新的工作又开始了，今天我们继续爬取一个网站，这个网站为 http://image.fengniao.com/ ，蜂鸟一个摄影大牛聚集的地方，本教程请用来学习，不要用于商业目的，不出意外，蜂鸟是有版权保护的网站。2. 网站分析第一步，分析要爬取的网站有没有方法爬取，打开页面，找分页http://image.fengniao.com/index.php?acti...

简介今天玩点新鲜的，使用一个新库 aiohttp ，利用它提高咱爬虫的爬取速度。安装了，常规套路pip install aiohttp运行之后等待，安装完毕，官方文档 ：https://aiohttp.readthedocs.io/en/stable/安装之后就可以开始写代码了。我们要爬取的页面，这一次选取的是http://bbs.fengniao.com/forum/foru...

啰嗦两句前几天的教程内容量都比较大，今天写一个相对简单的，爬取的还是蜂鸟，依旧采用aiohttp 希望你喜欢爬取页面https://tu.fengniao.com/15/ 本篇教程还是基于学习的目的，为啥选择蜂鸟，没办法，我瞎选的。一顿熟悉的操作之后，我找到了下面的链接https://tu.fengniao.com/ajax/ajaxTuPicList.php?page=2&amp...

写在前面之前几篇文章都是在写图片相关的爬虫，今天写个留言板爬出，为另一套数据分析案例的教程做做准备，作为一个河北人，遵纪守法，有事投诉是必备的技能，那么咱看看我们大河北人都因为什么投诉过呢？今天要爬取的网站地址 http://yglz.tousu.hebnews.cn/l-1001-5-，一遍爬取一遍嘀咕，别因为爬这个网站在去喝茶，再次声明，学习目的，切勿把人家网站爬瘫痪了。开始撸代码...

写在前面经历了一顿噼里啪啦的操作之后，终于我把博客写到了第10篇，后面，慢慢的会涉及到更多的爬虫模块，有人问scrapy 啥时候开始用，这个我预计要在30篇以后了吧，后面的套路依旧慢节奏的，所以莫着急了，100篇呢，预计4~5个月写完，常见的反反爬后面也会写的，还有fuck login类的内容。爬取图虫网为什么要爬取这个网站，不知道哎~ 莫名奇妙的收到了，感觉图片质量不错，不是那些妖艳...

最近想找几本电子书看看，就翻啊翻，然后呢，找到了一个 叫做 `周读`的网站 ，网站特别好，简单清爽，书籍很多，而且打开都是百度网盘可以直接下载，更新速度也还可以，于是乎，**我给爬了**。本篇文章学习即可，这么好的分享网站，尽量不要去爬，影响人家访问速度就不好了 `http://www.ireadweek.com/` ,想要数据的，可以在我博客下面评论，我发给你，QQ，邮箱，啥的都可以。

今天在浏览网站的时候，忽然一个莫名的链接指引着我跳转到了半次元网站 `https://bcy.net/` 打开之后，发现也没有什么有意思的内容，职业的敏感让我瞬间联想到了 `cosplay` ，这种网站必然会有这个的存在啊，于是乎，我准备好我的大爬虫了。

今天在CSDN博客，发现好多人写爬虫都在爬取一个叫做`斗图啦`的网站，里面很多表情包，然后瞅了瞅，各种实现方式都有，今天我给你实现一个多线程版本的。关键技术点 `aiohttp` ，你可以看一下我前面的文章，然后在学习一下。网站就不分析了，无非就是找到规律，拼接URL，匹配关键点，然后爬取。

python3入门教程，All It eBooks网站多线程爬取，可以快速的通过使用requests_html 和 queue模块爬取你想要的PDF书籍

写在前面今天，咱抓取一个网站，这个网站呢，涉及的内容就是 网友留言和回复，特别简单，但是网站是gov的。网址为http://www.sjz.gov.cn/col/1490066682000/index.html首先声明，为了学习，绝无恶意抓取信息，不管你信不信，数据我没有长期存储，预计存储到重装操作系统就删除。网页分析点击更多回复 ，可以查看到相应的数据。数据量很大14万条,，数据...

三年了，竟然还在更新

写在前面今天要抓取的网站为 https://500px.me/ ，这是一个摄影社区，在一个摄影社区里面本来应该爬取的是图片信息，可是我发现好像也没啥有意思的，忽然觉得爬取一下这个网站的摄影师更好玩一些，所以就有了这篇文章的由来。基于上面的目的，我找了了一个不错的页面 https://500px.me/community/search/user不过细细分析之后，发现这个页面并不能抓取到尽可能...

写在前面写了一段时间的博客了，忽然间忘记了，其实CSDN博客频道的博客也是可以抓取的，不能在CSDN写博客，但是不拿CSDN下手啊，所以我干了…，一会我还要发到CSDN博客群去，不会被封号吧…其实这事情挺简单的，打开CSDN博客首页，他不是有个最新文章么，这个里面都是最新发布的文章。打开F12抓取一下数据API，很容易就获取到了他的接口提取链接长成这个样子https://blo...

很高兴我这系列的文章写道第18篇了，今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx，这个网站其实还是有点意思的，网站很多人写了N多的教程了，各种方式的都有，当然网站本身在爬虫爱好者的不断进攻下，也在不断的完善，反爬措施也很多，今天我用selenium在揍他一波。整体看上去，煎蛋网的妹子图质量还是可以的，不是很多，但是还蛮有味道的，这可能也是爬虫e...

从今天开始的几篇文章，我将就国内目前比较主流的一些在线学习平台数据进行抓取，如果时间充足的情况下，会对他们进行一些简单的分析，好了，平台大概有51CTO学院，CSDN学院，网易云课堂，慕课网等平台，数据统一抓取到mongodb里面，如果对上述平台造成了困扰，请见谅，毕竟我就抓取那么一小会的时间，不会对服务器有任何影响的。 1. 目标网站今天的目标网站是 http://edu....

使用python3爬取慕课网美好的一天又开始了，今天咱继续爬取IT在线教育类网站，慕课网，这个平台的数据量并不是很多，所以爬取起来还是比较简单的打开我们要爬取的页面，寻找分页点和查看是否是异步加载的数据。...

写在前面今天咱们抓取一下网易云课堂的课程数据，这个网站的数据量并不是很大，我们只需要使用requests就可以快速的抓取到这部分数据了。你第一步要做的是打开全部课程的地址，找出爬虫规律，地址如下：https://study.163.com/courses/我简单的看了一下，页面数据是基于https://study.163.com/p/search/studycourse.json 这...

1. 写在前面今天又要抓取一个网站了，选择恐惧症使得我不知道该拿谁下手，找来找去，算了，还是抓取CSDN学院吧，CSDN学院的网站为 https://edu.csdn.net/courses 我看了一下这个网址，课程数量也不是很多，大概有 6000+ 门课程，数据量不大，用单线程其实就能很快的爬取完毕，不过为了秒爬，我还是选用了一个异步数据操作。2. 分析页码还是需要好好的分析一下页码规...

作为一个活跃在京津冀地区的开发者，要闲着没事就看看`石家庄`这个国际化大都市的一些数据，这篇博客爬取了链家网的租房信息，爬取到的数据在后面的博客中可以作为一些数据分析的素材。<img src="http://my.csdn.net/index.php/follow/do_follow?username=hihell" width="0" height="0">我们需要爬

今天要抓取的一个网站叫做`微医`网站，地址为 `https://www.guahao.com` ，我们将通过python3爬虫抓取这个网址，然后数据存储到CSV里面，为后面的一些分析类的教程做准备。本篇文章主要使用的库为`pyppeteer` 和 `pyquery`首先找到 医生列表页 https://www.guahao.com/expert/all/全国/all/不限/p5 这个页面显示有 **75952** 条数据 ，实际测试中，翻页到第38页，数据就加载不出来了，目测后台程序猿没有

今天开始尝试爬取一下知乎，看一下这个网站都有什么好玩的内容可以爬取到，可能断断续续会写几篇文章，今天首先爬取最简单的，单一文章的所有回答，爬取这个没有什么难度。找到我们要爬取的页面，我随便选了一个选取操作库和爬取地址爬取使用`requests` 存储使用 mongodb 就可以了爬取地址经过分析之后，找到了一个可以返回json的数据接口

昨天写了知乎文章图片爬取器的一部分代码，针对知乎问题的答案json进行了数据抓取，博客中出现了部分写死的内容，今天把那部分信息调整完毕，并且将图片下载完善到代码中去。首先，需要获取任意知乎的问题，只需要你输入问题的ID，就可以获取相关的页面信息，比如最重要的合计有多少人回答问题。问题ID为如下标红数字https://www.zhihu.com/question/<font color=red>29024583</font&am

我们要爬取的目标站点是`微医挂号网专家团队数据` 网页地址`https://www.guahao.com/eteam/index`今天尝试使用一个新的爬虫库进行数据的爬取，这个库叫做`pyspider`，国人开发的，当然支持一下。其中`page`参数最重要，表示页码，实际测试中发现，当代码翻页到 <font color=red>84页</font>的时候，数据竟然开始重复了，应该是网站本身系统的问题，这个没有办法。

今天继续使用`pyspider`爬取数据，很不幸，虎嗅资讯网被我选中了，网址为 `https://www.huxiu.com/` 爬的就是它的资讯频道，本文章仅供学习交流使用，切勿用作其他用途。常规操作，分析待爬取的页面拖拽页面到最底部，会发现一个`加载更多`按钮，点击之后，抓取一下请求，得到如下地址

继续练习pyspider的使用，最近搜索了一些这个框架的一些使用技巧，发现文档竟然挺难理解的，不过使用起来暂时没有障碍，估摸着，要在写个5篇左右关于这个框架的教程。今天教程中增加了图片的处理，你可以重点学习一下。咱要爬取的网站是 `http://www.liqucn.com/rj/new/` 这个网站我看了一下，有大概20000页，每页数据是9个，数据量大概在180000左右，可以抓取下来，后面做数据分析使用，也可以练习优化数据库。

终于写到了`scrapy`爬虫框架了，这个框架可以说是python爬虫框架里面出镜率最高的一个了，我们接下来重点研究一下它的使用规则。安装过程自己百度一下，就能找到3种以上的安装手法，哪一个都可以安装上可以参考 `https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html` 官方说明进行安装。默认生成的代码，包含一个`GaoKaoSpider`的类，并且这个类是用`scrapy.Spider`继承来的而且默认实现了三个属性和一

1. 写在前面今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备的，预计在12月底，爬虫大概写到50篇案例的时刻，将会迎来一个新的内容，系统的数据分析博文，记得关注哦~36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。网址 https://36kr.com/2. 数据分析36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台...

1. 写在前面今天闲着无聊，抓取一下B站的评论数据，视频动画那么多，也不知道抓取哪个，选了一个博人传跟火影相关的，抓取看看

海王上映了，然后口碑炸了，对咱来说，多了一个可爬可分析的电影，美哉~摘录一个评论数据爬取的依旧是猫眼的评论，这部分内容咱们用把牛刀，爬取，一般情况下，用一下就好了抓取地址http://m.Python地址脱敏.com/mmdb/comments/movie/249342.json?v=yes&offset=15&startTime=2018-12-11%2009%3A58%3A43关键参数url:http://m.Python地址脱敏.com/mmdb/comments/movie/249342.json

爬前叨叨已经编写了33篇爬虫文章了，如果你按着一个个的实现，你的爬虫技术已经入门，从今天开始慢慢的就要写一些有分析价值的数据了，今天我选了一个《掘金网》，我们去爬取一下他的全站用户数据。爬取思路获取全站用户，理论来说从1个用户作为切入点就可以，我们需要爬取用户的关注列表，从关注列表不断的叠加下去。随便打开一个用户的个人中心绿色圆圈里面的都是我们想要采集到的信息。这个用户关注0人？那么你...

爬前叨叨全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟本博客这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。你第一步找一个爬取种子，算作爬虫入口https://www.zhihu.com/people/zhang-jia-we...

爬前叨叨2018年就要结束了，还有4天，就要开始写2019年的教程了，没啥感动的，一年就这么过去了，今天要爬取一个网站叫做酷安，是一个应用商店，大家可以尝试从手机APP爬取，不过爬取APP的博客，我打算在50篇博客之后在写，所以现在就放一放啦~~~酷安网站打开首页之后是一个广告页面，点击头部的应用即可页面分析分页地址找到，这样就可以构建全部页面信息我们想要保存的数据找到，用来后续的...