浅学爬虫基础--day1

一、IDE与编辑器

1. IDE：PyCharm、Spyder、Visual Studio等

2. 编辑器：Vim、emacs、Atom等

二、Python版本

python3 Python3 中字符编码默认是Unicode，所以爬虫相关字符会更方便。python2和3 的版本差距不是很大，学习起来不会很费劲

三、为什么需要学习网络爬虫

我们是大数据时代，而数据从哪里来？

企业产生的用户数据：百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数

数据平台购买数据：数据堂、国云数据市场、贵阳大数据交易所

政府/机构公开的数据：中华人民共和国国家统计局数据、世界银行公开数据、联合国数据、纳斯达克。

数据管理咨询公司：麦肯锡、埃森哲、艾瑞咨询

爬取网络数据：如果需要的数据市场上没有，或者不愿意购买，那么可以选择招/做一名爬虫工程师，自己动手丰衣足食。拉勾网Python爬虫职位