3.python爬虫 - 简单静态网页爬（一）

目录

1.认识爬虫相关库

2.爬虫基本流程：

3.下面做一个简单的网页爬起：

①获取浏览器头部 User-agent

②基本代码

③ 完善一下代码，提取作者名称和评论信息：

---

先讲一些基本原理，后面接上案例说明

建议把Jupyter和Pycharm都装上

1.认识爬虫相关库

目前Python有着形形色色的爬虫相关库，按照库的功能，整理如下：

 

2.爬虫基本流程：

--- 发起请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等

     信息，等待服务器响应。

 

--- 面内容，类型可能有HTML，Json字符串，二进制数据（如图片视频）等类型。

 

---  解析内容：得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以

     直接转为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。

 

---  保存数据