本部分为爬虫入门篇的实战教程,我会用到除了selenium外所有在上文介绍过的模块来编写实例,爬取4399小游戏网站首页上的内容。
robots.txt
robots.txt是指存放在网页根目录下的一个文件,广义上也指互联网间的robots协议。
robots协议
对此协议的定义存在歧义。有些资料上说robots是针对搜索引擎爬虫的,有些资料上说所有爬虫都要遵循。本文采取后者。
robots协议全称为网络爬虫排除标准(Robots Exclusion Protocol)。这个协议告诉了网络爬虫哪些网站是可以爬取的,哪些爬虫可以爬取此网站。robots协议通过在网站根目录下放置robots.txt(全部小写)文件来实现。
robots.txt 语法
robots.txt文件非常直观,一行一条规则。在这里我们简单介绍一下,只要读者能够基本看懂robots.txt就行(事实上,现在也有很多在线生成robots.txt的工具,即使你要写robots.txt也不用全学会,看看要用的就行)。
-User-Agent:允许访问的搜索引擎爬虫名,在多节时是关于此爬虫的规则。为*则所有爬虫都可以访问。
-Disallow:不允许访问的目录名,以/开头,屏蔽此目录下的所有链接,如果是一个具体的网页则是屏蔽此网页。如果单有一个/则是屏蔽所有链接。
-Allow:与Disallow规则相反。
-Sitemap:爬虫可以爬取的其他不能从网站上直接访问到的链接及其相关信息。
-Crawl-delay:抓取延迟,两次抓取之间需要等待的秒数。(貌似已经不支持了)
君子协定
可以看出,robots协议只是告知爬虫哪些网站不能爬取,并没有真正的起到阻止爬虫的作用。事实上也存在一些排除爬虫的方法,比如检查UA头、高频率访问跳出验证界面、验证码(非机器人验证,谷歌不是最喜欢这个)、使用Ajax等,但这些方法要么妨碍了允许爬取的爬虫,要么甚至妨碍到了真人用户。
为了用户以及服务器、搜索爬虫三方共同着想,robots协议事实上是一个在服务器与搜索引擎之间共同遵守的君子协议。因此,很多规则的用与否其实取决于各大搜索引擎(比如Request-rate差不多没有搜索引擎认可了),robots协议的语法一直在变化当中。
希望看到这里的读者也能够遵守robots协议,技术应该用在向上的地方。
何时需要robots协议?
很显然,需要的时候用。当你不希望某些爬虫访问某些页面时,robots协议就会派上用场。比如说百度的robots协议里其实禁止了360的爬虫(我大胆推测,因为写了很多爬虫就是没有写360,而且百度的robots.txt好像一年前就是这样了,360倒是写的很大方)。如果你希望爬虫爬取你网站的所有内容,最好直接不使用robots协议。
查看4399.com的robots.txt
4399的robots.txt文件如下所示:
User-agent: *Disallow: /upload_pic/Disallow: /upload_swf/Disallow: /360/Disallow: /public/Disallow: /yxbox/Disallow: /360game/Disallow: /baidugame/Disallow: /loadimg/Disallow: /index_pc.htmDisallow: /flash/32979_pc.htmDisallow: /flash/35538_pc.htmDisallow: /flash/48399_pc.htmDisallow: /flash/seer_pc.htmDisallow: /flash/58739_pc.htmDisallow: /flash/78072_pc.htmDisallow: /flash/130396_pc.htmDisallow: /flash/80727_pc.htmDisallow: /flash/151038_pc.htmDisallow: /flash/10379_pc.htmDisallow: /flash/188528_pc.htmDisallow: /flash/*_pc.htmDisallow: /index_old.htmDisallow: /flash/188420_2.htmDisallow: /flash/188420.htmDisallow: /zzy/188420.htmDisallow: /flash/209902.htm
第一行就可以看出4399的网站允许了所有爬虫,由于我们只爬取首页所以下面的Disallow不用详细看,没有/就行(事实上4399也没有拦截UA头,不知道有没有限定爬取频率,我猜没有)。
所以我们可以开始分析4399的首页了。
设定并分析目标
2020年8月25日的4399网站首页如图所示,我们把目标暂且定为大红圈内部分,获取其中的文本内容和链接:
![178cf2a504257f3d6a97d70c228b56af.png](https://i-blog.csdnimg.cn/blog_migrate/cd523361984ea942e1c53c39e075d386.jpeg)
F12检查源码得出此范围的源码在上图的小方框内,其只有一个class为middle_2。而我们需要的所有内容都在叶子节点处的span内。分析本段代码的DOM,绘图如图所示。
![d10bafcfda3a1682b1540db920f5f823.png](https://i-blog.csdnimg.cn/blog_migrate/35f18145010bfcb75b1fdf1242a557f9.jpeg)
需要获取的DOM树
代码
urllib2&bs4
def lib2_bs4(): from urllib.request import urlopen from bs4 import BeautifulSoup response=urlopen("https://www.4399.com") html=response.read().decode("gb2312") #因为事先看过,直接指定编码 soup=BeautifulSoup(html,"lxml") for i in soup.find_all("div",class_="middle_2"): #先获取最外面的,也就是主体内容 for m in i.find_all("span"): #我们事先查看过了,所有的span内容都需要获取 if(m.a['href'].find("http")==-1): #大多数网站对内链都用的是相对定位 print("https://www.4399.com"+m.a['href']) else: #但是我们也不能排除有外部链 print(m.a['href']) #获取href属性,也就是链接 print(m.a.string) #获取文字内容
requests&lxml
def reqs_lxml(): import requests from lxml import etree response=requests.get("https://www.4399.com") response.encoding="gb2312" #同上 lhtml=etree.HTML(response.text) for i in lhtml.xpath("//*[@class='middle_2']/div/div/div/span"): if(i.xpath("a/b")!=[]): #为什么bs4里没有这个判断?因为这里仅仅有一个NavigableString(bs4里的对象) print(i.xpath("a/b")[0].text) else: print(i.xpath("a")[0].text) if(i.xpath("a/@href")[0].find("http")==-1): print("https://www.4399.com",end="") #设置不换行 print(i.xpath("a/@href")[0]) for i in lhtml.xpath("//*[@class='middle_2']/div/div/span"): #仔细观察可以看到后面几排少了一个div嵌套 if(i.xpath("a/b")!=[]): print(i.xpath("a/b")[0].text) else: print(i.xpath("a")[0].text) if(i.xpath("a/@href")[0].find("http")==-1): print("https://www.4399.com",end="") print(i.xpath("a/@href")[0])
总结
可以很明显的看出lxml对于路径精准度的要求更高一些,再加上之前我们说过lxml速度快的优点,可以在需要精准或大量获取数据的情况下使用lxml,在其他情况用bs4相对而言要更轻松一些。至于获取响应就随意吧。