初识爬虫
爬虫工作原理
爬虫的四个步骤
1、获取数据。爬虫程序会根据我们提供的网址,向服务器发起请求,然后返回数据。
2、解析数据。爬虫程序会把服务器返回的数据解析成我们能读懂的格式。
3、提取数据。爬虫程序再从中提取出我们需要的数据。
4、储存数据。爬虫程序把这些有用的数据保存起来,便于你日后的使用和分析。
获取数据
requests
在电脑上安装,方法是:在Mac电脑里打开终端软件(terminal),输入pip3 install requests,然后点击enter即可;Windows电脑里叫命令提示符(cmd),输入pip install requests即可。
requests.get()
import requests
#引入requests库
res = requests.get(‘URL’)
#requests.get是在调用requests库中的get()方法,它向服务器发送了一个请求,括号里的参数URL是你需要的数据所在的网址,然后服务器对请求作出了响应。
#我们把这个响应返回的结果赋值在变量res上。
import requests
res = requests.get(‘https://res.pandateacher.com/2018-12-18-10-43-07.png’)
print(type(res))
#打印变量res的数据类型
终端显示:requests.models.Response
这代表着:res是一个对象,属于requests.models.Response类。
Response对象的常用属性
1、response.status_code 检查请求是否成功
2、response.content 把response对象转换为二进制数据
3、response.text 把response对象转换为字符串数据
4、response.encoding 定义response对象的编码
1、response.status_code
import requests
res = requests.get(‘https://res.pandateacher.com/2018-12-18-10-43-07.png’)
print(res.status_code)
#打印变量res的响应状态码,以检查请求是否成功
终端结果显示了200,这个数字代表服务器同意了请求,并返回了数据给我们。
除了200,我们还可能收到其他的状态码。下面有一个表格,供你参考不同的状态码代表什么,但不需要记住它们,在遇到问题的时候查询就好。
2、response.content
它能把Response对象的内容以二进制数据的形式返回,适用于图片、音频、视频的下载
例如:
import requests
res = requests.get(‘https://res.pandateacher.com/2018-12-18-10-43-07.png’)
#发出请求,并把返回的结果放在变量res中
pic=res.content
#把Reponse对象的内容以二进制数据的形式返回
photo = open(‘ppt.jpg’,‘wb’)
#新建了一个文件ppt.jpg,这里的文件没加路径,它会被保存在程序运行的当前目录下。
#图片内容需要以二进制wb读写。
photo.write(pic)
#获取pic的二进制内容
photo.close()
#关闭文件
3、response.text
把Response对象的内容以字符串的形式返回,适用于文字、网页源代码的下载
例如
(1)import requests
#引用requests库
res = requests.get(‘https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md’)
#下载《三国演义》第一回,我们得到一个对象,它被命名为res
novel=res.text
#把Response对象的内容以字符串的形式返回
print(novel[:800])
(2)import requests
#引用requests库
res = requests.get(‘https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md’)
#下载《三国演义》第一回,我们得到一个对象,它被命名为res
novel=res.text
#把Response对象的内容以字符串的形式返回
k = open(’《三国演义》.txt’,‘a+’)
#创建一个名为《三国演义》的txt文档,指针放在文件末尾,追加内容
k.write(novel)
#写进文件中
k.close()
#关闭文档
4、response.encoding
它能帮我们定义Response对象的编码。
在什么时候用res.encoding?
首先,目标数据本身是什么编码是未知的。用requests.get()发送请求后,我们会取得一个Response对象,其中,requests库会对数据的编码类型做出自己的判断。但是!这个判断有可能准确,也可能不准确。
如果它判断准确的话,我们打印出来的response.text的内容就是正常的、没有乱码的,那就用不到res.encoding;如果判断不准确,就会出现一堆乱码,那我们就可以去查看目标数据的编码,然后再用res.encoding把编码定义成和目标数据一致的类型即可。
总的来说,就是遇上文本的乱码问题,才考虑用res.encoding。
爬虫伦理
Robots协议是互联网爬虫的一项公认的道德规范,它的全称是“网络爬虫排除标准”(Robots exclusion protocol),这个协议用来告诉爬虫,哪些页面是可以抓取的,哪些不可以。
如何查看网站的robots协议?在网站的域名后加上/robots.txt就可以了。
截取了一部分淘宝的robots协议,可以看到淘宝对百度和谷歌这两个爬虫的访问规定,以及对其它爬虫的规定。
协议里最常出现的英文是Allow和Disallow,Allow代表可以被访问,Disallow代表禁止被访问。而且有趣的是,淘宝限制了百度对产品页面的爬虫,却允许谷歌访问。
当你在百度搜索“淘宝网”时,会看到下图的这两行小字