爬虫(1)爬虫概述,爬虫抓包工具

爬虫前奏

爬虫的实际例子:

• 搜索引擎(百度,谷歌,360)
• 伯乐在线
• 惠惠购物助手
• 数据分析和研究

什么是网络爬虫?

通俗的理解:爬虫是一个模拟人类请求网站行为的程序.可以自动请求网页,并把数据抓取下来,然后使用一定的规则提取有价值的数据

通用爬虫和聚焦爬虫

• 通用爬虫:通用爬虫是搜索引擎抓取系统(百度,谷歌,搜狗等)的重要组成部分.主要是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份.
• 聚焦爬虫:是面向特定请求的一种网络爬虫程序,他与通用爬虫的区别在于:聚焦爬虫在实施网页抓取时会对内容进行筛选.

http协议和Chrome抓包工具

什么是http和https协议:

• HTTP协议:全称是HyperText Transfer Protocol,中文意思是超文本传输协议,是一种发布和接受HTML页面的方法,服务器端口号是80端口
• HTTPS协议:是HTTP协议的加密版本,在HTTP下加入了SSL层,服务器端口号是443端口,一般要求网页安全的都会使用https协议(例如一些支付的页面)

在浏览器中发送一个http请求的过程:

• 当用户在浏览器的地址栏输入一个URL并按回车键之后,浏览器会向HTTP服务