python爬虫例子

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

总结一下近期的学习成果，沉淀一下自己。从python爬虫开始。爬虫作为一种网络“流氓”工具，有利也有弊。 它可以帮助我们自动化获取数据，但是同样也给服务器端带来了很大的麻烦。 如果运用不好可能会触犯法律，大家在使用时一定要注意。

---

一、python爬虫要注意什么！！！

在爬取一个网站之前，一定要确保这个网站允许爬虫，一定要看清楚爬虫允许的范围。
在网址后面加上robots.txt，查看该网站对爬虫的允许范围。
下面举三个例子

1. 没有限制（以新东方官网为例 www.xdf.cn）

在输入网址栏输入 www.xdf.cn/robots.txt

如果出现找不到页面，404 not found等页面