爬虫小程序 - 提高文章阅读量

学习原因：

爬虫是一门有趣的技术，它可以让我们感受到程序的魅力，给我们带来视觉冲击感和成就感，可以极大地提高我们对编程的学习兴趣。

1. 君子协议

我们应该自觉遵守君子协议（爬虫协议的俗称），掌握爬虫的技术。
在对应网址之后增加 /robots.txt， 即可查看爬虫协议，具体可自行了解。
例如: https://www.baidu.com/robots.txt

2. 用户代理

网站可以识别出是程序还是浏览器访问的, 具有反爬虫措施, 所以需要进行伪装, 伪装需要添加用户代理(User-Agent)

查找方法1: 网址中输入 about:version

查找方法2: 查看请求头的中User-Agent