第15章 Python网络爬虫
1.爬虫简介
网页爬取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。
2.爬取网页的基础知识-HTTP协议
3.HTML与JavaScript基础-网页结构
- 网页一般由三部分组成,分别是 HTML(超文本标记语言)、CSS(层叠样式表)和 JScript(活动脚本语言)。
- HTML是整个网页的结构,相当于整个网站的框架。带“<”、“>”符号的都是属于 HTML 的标签,并且标签都是成对出现的。
- 常见的标签如下:
html表示标记中间的元素是网页
body 表示用户可见的内容
div 表示框架
p 表示段落
li表示列表
img表示图片
h1表示标题
a href=表示超链接 - CSS
css 表示样式,
<style type="text/css">表示下面引用一个 CSS,在 CSS 中定义了外观。 - JScript 表示功能。
交互的内容和各种特效都在 JScript 中,JScript 描述了网站中的各种功能。
4.爬虫的合法性
5.爬取网页的urllib库
- rllib库
- 用urllib库获取网页信息response对象的方法info()方法: 返回一个httplib.HTTPMessage对象。
getcode()方法:返回HTTP状态码。如果是HTTP请求,200表示请求成功完成,404表示网址未找到。
geturl():返回请求的url。
6.爬取网页的requests库
- requests库概述简洁的处理HTTP请求的第三方库,建立在Python的urllib3库基础上,是对urllib3库的再封装。
- equests库解析requests库的requests.get()方法功能是网络爬虫和信息提交
7.beautifulsoup4库
- eautifulsoup4库概述beautifulsoup4库也称为bs4库或BeautifulSoup库
- eautifulsoup4库的对象 BeautifulSoup将HTML文档转换成一个树形结构,每个结点都是 对象,可以归纳为4种类型:Tag、NavigableString、BeautifulSoup、Comment。