爬虫入门

Robots协议（爬虫协议）的全称“网络爬虫排除标准”（Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些网站可以抓取，哪些不能。该协议是国际互联网界同行的道德规范，虽然没有写入法律，但是每一个爬虫都应该遵守的协议。

在robots文件中，对用户代理进行了规定，以Allow项开头的URL是允许robot访问的，以Disallow项开头的链接不允许爬虫引擎访问。

网络爬虫的约束：

除了Robots协议之外，我们使用网络爬虫的时候还要对自己进行约束：对于快速或者频繁的网络爬虫都会对服务器产生巨大的压力，网站可能封锁了你的IP，甚至采取进一步的法律行动。因此，你需要约束自己的网络爬虫行为，将请求的速度限定在一个合理的范围之内。

python爬虫的流程：主要分为三个部分：

1. 获取网页 ：就是给一个网址发送请求，该网址会返回整个网页数据，类似于在浏览器中键入网址并按回车键，然后可以看到网站的整个页面。获取网页的基本技术是：request、urllib 、seleium(模拟浏览器)。获取网页的进阶技术：多进程多线程抓取，登录抓取，突破IP封禁和服务器抓取。

2. 解析网页（提取数据）：就是从整个网页的数据中提取想要的数据，类似于在浏览器中看到网站的整个页面。解析网页的基础技术：re正则表达式、BeautifulSoup 和 lxml。进阶技术：解决中文乱码。

3. 存储数据：就是把数据存储下来，我们可以存储在csv中，也可以存储在数据库中。存储数据的基础技术：存入txt 文件和存入csv文件。存储数据的进阶技术：存入MySQL数据库和存入MongoDB数据库。