目录
爬虫前奏
爬虫的实际例子:
- 搜索引擎(百度,谷歌,360)
- 伯乐在线
- 惠惠购物助手
- 数据分析和研究
什么是网络爬虫?
通俗的理解:爬虫是一个模拟人类请求网站行为的程序.可以自动请求网页,并把数据抓取下来,然后使用一定的规则提取有价值的数据
通用爬虫和聚焦爬虫
- 通用爬虫:通用爬虫是搜索引擎抓取系统(百度,谷歌,搜狗等)的重要组成部分.主要是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份.
- 聚焦爬虫:是面向特定请求的一种网络爬虫程序,他与通用爬虫的区别在于:聚焦爬虫在实施网页抓取时会对内容进行筛选.
http协议和Chrome抓包工具
什么是http和https协议:
- HTTP协议:全称是HyperText Transfer Protocol,中文意思是超文本传输协议,是一种发布和接受HTML页面的方法,服务器端口号是80端口
- HTTPS协议:是HTTP协议的加密版本,在HTTP下加入了SSL层,服务器端口号是443端口,一般要求网页安全的都会使用https协议(例如一些支付的页面)
在浏览器中发送一个http请求的过程:
- 当用户在浏览器的地址栏输入一个URL并按回车键之后,