爬虫前奏
什么是爬虫:
爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并把数据抓取下来,然后使用一定的规则提取有价值的数据。
爬虫应用场景:
- 搜索引擎(百度或谷歌等)
- 伯乐在线。
- 惠惠购物助手。
- 数据分析。
- 抢票软件等。
为什么用Python写爬虫:
- PHP:PHP是世界是最好的语言,但他天生不是做这个的,而且对多线程、异步支持不是很好,并发处理能力弱。爬虫是工具性程序,对速度和效率要求比较高。
- Java:生态圈很完善,是Python爬虫最大的竞争对手。但是Java语言本身很笨重,代码量很大。重构成本比较高,任何修改会导致代码大量改动。爬虫经常要修改采集代码。
- C/C++:运行效率是无敌的。但是学习和开发成本高。写个小爬虫程序可能要大半天时间。
- Python:语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单。
开发工具的安装:
安装Python:
下载地址:https://www.python.org/
或者使用Anaconda:https://www.anaconda.com/
哪个软件无所谓,只要是Python3.6以上的版本就可以了。
安装Pycharm:
Pycharm Commnity(社区版):对于不需要做web开发,不需要使用Professional(专业版),使用Community版就足够了,并且这个软件功能很强大,而且免费!
下载地址:https://www.jetbrains.com/pycharm/download/#section=windows
安装Chrome:
下载地址:https://www.google.com/chrome/
如果是下载不了,说明被墙了,需要翻墙。