个人对爬虫的一些看法

自从网络时代兴起，数据交互便打破了距离的限制，向地球村更进一步。

随着数据的膨胀和机器学习的兴起，数据的附加值也慢慢展现出来。

个别的灰色企业获取数据的手段暴力血腥超出了我个人对网络的理解，我们应该正视技术。
技术虽无界，但人却分好坏。

我个人认为，爬虫可以提高我们的浏览效率，提高数据的个性化设计。

比方说有的小伙伴买东西，要逐个对比，这个时候，可以用爬虫将数据获取下来，做表分析更加直观。

浏览网站，提取需要的数据，将数据进行自定义分类，数据浏览更加直观，屏蔽无关的干扰。

这都是局部数据进行分析，如果需要大规模商业使用数据使用，我建议还是联系数据提供方，这是一个互利的过程。

---

爬虫的发展方向应该是可视化操作，技术方面我比较赞同八爪鱼这种数据采集器，获取数据的方式不用代码，这样更加适合非专业人员的操作。

---

过度爬虫算是网络暴力，希望爬虫为大家提供方便的同时，大家也爱护数据网站。