python爬虫（温和善良的）--先导篇

一、爬虫的步骤

1. 获取网页内容
   http
   python Requests
2. 解析网页内容
   html网页结构
   python Beautiful Soup
3. 储存或分析

二、爬虫的原则

1. 不爬取公民隐私
2. 不爬取受著作权保护的内容
3. 不爬取国家事务，尖端科学领域的计算机系统
4. 请求数量和频率不能过高
5. 不强行突破设防
6. 查询robot.txt文件确定哪些文件允许被爬取