Python笔记-爬虫基础

**爬虫**一般指抓取众多公开网站网页上数据的相关技术。

1 爬虫的四个步骤

（1）获取数据：爬虫程序会根据我们提供的网址，向服务器发起请求，然后返回数据；
（2）解析数据：爬虫程序会把服务器返回的数据解析成我们能读懂的格式；
（3）提取数据：爬虫程序再从中提取出我们需要的数据；
（4）储存数据：爬虫程序把这些有用的数据保存起来，便于你日后的使用和分析。

2 爬虫-初体验

2.1 安装 requests 库

（1）Windows电脑里叫命令提示符（cmd），输入pip install requests 。
（2）PyCharm（File->Settings->project interpreter->+）
（3）第三方库查询： pypi.python.org

2.2 requests 库使用

requests 的作用，requests库可以帮我们下载网页源代码、文本、图片，甚至是音频。
res = requests.get(‘URL’)
requests.get 是在调用requests库中的get()方法，它向服务器发送了一个请求，括号里的参数是你需要的数据所在的网址，然后服务器对请求作出了响应。我们把这个响应返回的结果赋值在变量res上。

2.3 爬虫伦理

Robots 协议是互联网爬虫的一项公认的道德规范，它的全称是“网络爬虫排除标准”（Robots exclusion protocol），这个协议用来告诉爬虫，哪些页面是可以抓取的，哪些不可以。
（1）在网站的域名后加上/robots.txt就可以了。如东哥的robots协议 （ http://www.jd.com/robots.txt）（结果见下图）
（2）协议里最常出现的英文是Allow和Disallow，Allow代表可以被访问，Disallow代表禁止被访问。