网络爬虫,可以理解成在互联网上面爬行的一只蜘蛛,而互联网就像一张大网一样,爬虫可以在这张大网上面爬来爬去,如果有遇到自己喜欢的猎物(资源)就会把它抓取下来。一些不常用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫,那么,python为什么叫爬虫?它可以用来做什么呢?
为什么把python叫做爬虫?
作为一门编程语言而言,Python是纯粹的自由软件,以简洁清晰的语法和强制使用空白符进行语句缩进的特点从而深受程序员的喜爱。举一个例子:完成一个任务的话,c语言一共要写1000行代码,java要写100行,而python则只需要写20行的代码。使用python来完成编程任务的话编写的代码量更少,代码简洁简短可读性更强,一个团队进行开发的时候读别人的代码会更快,开发效率会更高,使工作变得更加高效。
这是一门非常适合开发网络爬虫的编程语言,而且相比于其他静态编程语言,Python抓取网页文档的接口更简洁;相比于其他动态脚本语言,Python的urllib2包提供了较为完整的访问网页文档的API。此外,python中有优秀的第三方包可以高效实现网页抓取,并可用极短的代码完成网页的标签过滤功能。
python爬虫的构架组成如下图:
1. URL管理器:管理待爬取的url集合和已爬取的url集合,传送待爬取的url给网页下载器;
2. 网页下载器:爬取url对应的网页,存储成字符串,传送给网页解析器;
3. 网页解析器:解析出有价值的数据,存储下来,同时补充url到URL管理器。
python可以用来做什么?
1、人工智能
现在的人工智能非常的火爆,各种培训班都在疯狂打广告招生.机器学习,尤其是现在火爆的深度学习,其工具框架大都提供了Python接口。
Python在科学计算领域一直有着较好的声誉,其简洁清晰的语法以及丰富的计算工具,深受此领域开发者喜爱。说白了就是因为Python简单易学框架丰富。
2、数据分析
一般我们用爬虫爬到了大量的数据之后,我们需要处理数据用来分析,不然爬虫白爬了,我们最终的目的就是分析数据,在这方面 关于数据分析的库也是非常的丰富的,各种图形分析图等 都可以做出来。
也是非常的方便,其中诸如Seaborn这样的可视化库,能够仅仅使用一两行就对数据进行绘图,而利用Pandas和numpy、scipy则可以简单地对大量数据进行筛选、回归等计算。而后续复杂计算中,对接机器学习相关算法,或者提供Web访问接口,或是实现远程调用接口,都非常简单。
3、web应用开发
在国内,豆瓣一开始就使用Python作为web开发基础语言,知乎的整个架构也是基于Python语言,这使得web开发这块在国内发展的很不错。
以上便是对python为什么叫爬虫,它可以用来做什么的简单介绍,如果你一名小白,想学习python入门基础,推荐你阅读以下几篇文章