一、静态网页爬取概述
1,静态网页介绍
2.简单静态网页爬取
二、使用urllib3实现HTTP请求
1.使用urllib3库实现
每一信息资源都有统一的且在网上唯一的地址,该地址就叫URL
使用浏览器为火狐和chrome浏览器,操作系统为“Windows NT 6.1; Win64; x64”
请求重试设置
生成完整HTTP请求
网页 User-Agent 的获取
1.网页内右击鼠标点检查
2.点Network
3.按 ctrl+R 刷新
4.点第一行,查看Headers,找到 User-Agent
三.使用requests库实现HTTP请求
四、谷歌开发者工具介绍
使用chrome开发者工具查看网页
也可以单击chrome浏览器右上角快捷菜单,如图所示,单击“更多工具”选项中的“开发者工具”选项,或使用快捷键组合Ctrl+Shift+I。
chrome开发者工具目前包括了9个面板,界面如图所示。
chrome开发者工具各面板功能如下。
网页源代码属于半结构化数据
它属于文本,文本是非结构化数据
但它可以通过对树状结构的索引找到对应元素所在的位置
五、使用正则表达式解析网页
例子
1.正则表达式的广义化
2.使用正则表达式获取网页标题信息
六、用Xpath解析网页
七、用 Beautiful Soup解析网页