简单静态网页爬取

一、静态网页爬取概述
1,静态网页介绍
2.简单静态网页爬取
二、使用urllib3实现HTTP请求
1.使用urllib3库实现
每一信息资源都有统一的且在网上唯一的地址，该地址就叫URL

使用浏览器为火狐和chrome浏览器，操作系统为“Windows NT 6.1; Win64; x64”

请求重试设置
生成完整HTTP请求

网页 User-Agent 的获取
1.网页内右击鼠标点检查

2.点Network

3.按 ctrl+R 刷新
4.点第一行，查看Headers，找到 User-Agent

三.使用requests库实现HTTP请求

四、谷歌开发者工具介绍

使用chrome开发者工具查看网页

也可以单击chrome浏览器右上角快捷菜单，如图所示，单击“更多工具”选项中的“开发者工具”选项，或使用快捷键组合Ctrl+Shift+I。
chrome开发者工具目前包括了9个面板，界面如图所示。
chrome开发者工具各面板功能如下。


网页源代码属于半结构化数据
它属于文本，文本是非结构化数据
但它可以通过对树状结构的索引找到对应元素所在的位置






五、使用正则表达式解析网页

例子

1.正则表达式的广义化

2.使用正则表达式获取网页标题信息

六、用Xpath解析网页







七、用 Beautiful Soup解析网页