1.python爬虫的概念
在大数据时代要获取所需信息需要通过编写网站程序,网络爬虫是一种程序,可以抓取网络上的一切数据,比如网站上的图片和文字视频,只要我们能访问的数据都是可以获取到的,python是可以按照规则去进行抓取网站上的所有有价值的信息,并且保存到本地,其实很多爬虫都是使用python开发的。
2.python爬虫的构架
其主要由五个部分组成,分别是调度器、URL管理器、网页下载器、网页解析器、应用程序(爬取的有价值数据)。
调度器:相当于一台电脑的CPU,主要负责调度URL管理器、下载器、解析器之间的协调工作。
URL管理器:包括待爬取的URL地址和已爬取的URL地址,防止重复抓取URL和循环抓取URL,实现URL管理器主要用三种方式,通过内存、数据库、缓存数据库来实现。
网页下载器:通过传入一个URL地址来下载网页,将网页转换成一个字符串,网页下载器有urllib2(Python官方基础模块)包括需要登录、代理、和cookie,requests(第三方包)。
网页解析器:将一个网页字符串进行解析,可以按照我们的要求来提取出我们有用的信息,也可以根据DOM树的解析方式来解析。
应用程序:就是从网页中提取的有用数据组成的一个应用。
3.python视频学习心得
python是一门强大的计算机编程语言,它简洁灵活,易学,易读,可移植并且功能强大,有很好的前景,但是学习python也同样不容易,在我看来,要做到“开心,高效,踏实” 地把Python学好,有一样东西必不可少——兴趣!不管是学习什么,兴趣是最好的老师,找到自己感兴趣的东西,你将体验什么是自带buff加成!!!
关于学习python爬虫视频的总结
最新推荐文章于 2022-12-27 17:55:57 发布