python
zchongguang
这个作者很懒,什么都没留下…
展开
-
Python爬虫的整体流程
对于爬虫小白来说,很多人都感觉不知道怎么开始学习。从网上查来查去,找到的多是部分的代码,但很少有从整体上阐述爬虫的流程的,因此导致了很多人对于爬虫的难以理解和无从下手。接下来就介绍一下爬虫的整体流程。爬虫整体上可以分为三个步骤:第一步:获取网页获取网页就是向一个网址发送request,然后网址返回网页的数据。获取网页我们可以用selenium来模拟浏览器。第二步:解析网页解...原创 2019-01-06 13:49:42 · 563 阅读 · 0 评论 -
python爬虫爬取百度贴吧中任意贴吧的任意多页的网页内容
一、总体分析打开百度贴吧,选择进入任意一个贴吧,此处以 “爬虫”贴吧为例。我们可以发现其是一个静态网页,所有的参数都是在URL中出现的。url中?后面的都是参数。 点开贴吧的第二页,观察URL 的变化(如下图所示),我们可以发现: 1.少了一个参数“fr=search”,但是此参数写不写对于我们打开网页是不影响的,故我们可以不写此参数, 2.多...原创 2019-01-23 13:53:53 · 1865 阅读 · 0 评论