网络爬虫:抓取网页数据的程序。。爬虫属于工具性程序,对速度和要求非常高。
网页的三大特征:
1、网页都有自己一个唯一的url(统一资源定位符)
2、网页都用HTML(超文本标记语言)来描述页面信息
3、页面都用HTTP/HTTPS(超文本传输协议)协议来传输HTml数据
爬虫的设计思路:
1、设定需要爬去的网页的URL地址
2、通过HTTP协议获取对应的HTML页面
3、提取HTML页面信息
1)如果有用数据,保存
2)如果需要继续爬取的连接,重新制定第二部
Python做爬虫的优势:
1、php 写web页面,而且对多线程,异步支持比较差,并发能力较弱。
2、java的爬虫生态圈非常完善,但是代码量非常大。相比较而言,做功能的修改后代码改动量比较的。开发成本和重构成本比较高。
3、C/C++运行效率和性能几乎最强(汇编),学习成本太高。项目代码成型慢。
4、Python语法精炼,编写快速灵活,开发效率高,相关的HTTP请求库和HTML解析库非常丰富,有强大的爬虫框架Scrapy,及高效成熟的scrapy-redis分布式策略。
相比Java/c/c++,性能速度较差。Python属于变异性语言,可以通过硬件弥补。
知识储备:
1、Python基础语法、基本web知识
2、HTML页面的抓取:urlib,urlib2,requests三个HTTP请求处理库。通过处理,可以模拟浏览器发送HTTP请求,并获取服务器返回的HTML相应页面
3、HTML页面的解析:正则,xpath,BeautifulSoup4,jsonpath(处理json数据)。使用某种描述性语言来提取需要的页面数据。制定匹配规格,复合规则的数据。
4、动态页面的处理,验证码的处理
Selenium +PhantomJS模拟正式浏览器加载数据,js/ajax
Tesseract OCR:光学字符识别系统,识别图像的内容,返回文本内容
5、Scrapy框架:高定制性高性能的Python爬虫框架
函数-类-模块/包/库-框架:框架包括了很多不同功能 的模块,提供了数据下载,数据提取,数据存储,请求去重等。
并且使用了twisted异步网络框架,下载速度非常快。
6、scrapy-redis分布式策略
scrapy本省不支持分布式,scrapy-redis就是一套以redis数据库为核心的组件,让scrapy具有了支持分布式的功能,所有的请求、
请求去重指纹、数据都存储在同一个redis数据库里,可以统一调度和分配。(多态机器一起爬的同时,有一台机器来统筹)
7、爬虫-反爬虫-反 反爬虫
User-Agent()
代理IP、
验证码、
动态数据加载。。