目录
对爬虫的兴趣起源于现有的搜索引擎没法满足我对于数据的好奇心,比如说,有时候我看到了一篇新闻,里面讲了某个事件,这个事件信息里又有很多引申的信息,这个时候,想知道更多就得再搜一轮(熬夜就是这么来的...)。这个过程可以无限拓展,一直刷到手机没电...... 所以呢,就想能不能有个自动化的,定制化的信息获取方式。爬虫就是干这个的。我是个新手,也不知前面有啥坑,但是身为有节操的程序猿,废话不多说,搞起。
我是先从python的爬虫研究起,因为教程多。还有java,go啊啥的,原理应该差不多,先搞清楚一个吧。下面的东西比较基础,老鸟绕行哦
环境搭建
python 解释器安装
- 选择对应的版本安装即可,具体过程就不赘述了
- 装的时候可以指定一个路径,例如我的路径是:D:\Python37
Pycharm安装
我使用的IDE是jetbrains的python ide,当然,IDE有很多,这个看个人喜好了。主要是它家的东西用惯了,比较顺手~