1. 爬虫程序简介
目录
爬虫程序是一组客户端程序,它的功能是访问web服务器,从服务器中获取网页代码。网页代码中包含各种各样的数据信息,程序从中提取所需要的数据,把数据整理后存储到本地数据库中,这些数据将应用在数据分析等领域中。
编写一个爬虫程序可以使用Python、Java、C++、C# 等各种常用的开发语言,使用Python是比较简单也是比较流行的一种方法。
2. Python开发环境搭建
(1)Python自带开发环境
Python的官网: https://www.python.org/
这个环境是命令行环境,只能运行一些简单的测试语句。Python自带一个IDE,但是这个IDE的功能十分有限,不适合开发Python工程项目。
(2)PyCharm 与 Python 的开发环境
PyCharm的官网: https://www.jetbrains.com/pycharm/
(3)Anaconda 与 Python 的开发环境
Ananonda的官网: https://www.anaconda.com/products/distribution
Anaconda自带Python解释器,它还带有一个功能强大的IDE开发环境Spider。
Anaconda最大的好处是可以帮助用户找到与安装Python的各种各样的开发库,使得Python的开发十分方便与高效。另外,Anaconda对Windows用户十分有用,因为Python的一些开发库在Windows环境下安装常常出现各种问题,而Anaconda能顺利解决这些问题。
下一篇文章:1.2Flask Web网站