python爬取不同url_爬虫|以豆瓣为例简单地介绍爬取网站数据的方法

从上周起就开始自学大数据相关知识，有人说“要教学生一碗水，自己得有一桶水”，所以教师的知识储备需要跟上时代的脚步不断更新。

首先，我打开豆瓣网找到了它的robots.txt文件，打开内容如下：

https://www.douban.com/robots.txt

然后根据它的协议构建头文件， user–agent是用户代理的意思,说明什么浏览器或哪些爬虫可以访问本网站,使用*表示任意的访问，Disallow对应的为不允许收录网站的某些目录。然后就可以根据robots.txt文件中允许爬取的方式开始编程爬取数据：

import requests
url ="https://movie.douban.com/chart"try:    hd ={
    'User-agent':'*'}    r = requests.get(url, headers=hd)    r.raise_for_status()    r.encoding=r.apparent_encodingprint(r.text)except:print("爬取失败")

运行后，数据果然被爬取下来了，如下图，是不是很简单？