简单学习python爬虫

学爬虫之前首先知道什么是爬虫：

　　 编写程序，根据URL获取网站信息
 　　历史背景：2015起，我国对数据爬取进行立法

ret.content 按照字节显示
ret.text 按照字符串显示

注：以上内容跟下面无关

1.新建一个python项目spyder（名字自起）

2.点击file中的settings

3.点击Project:spyder下的Project Interpreter

4.安装bs4和requests

5.在1.py中进行导包

6.在1.py中用requests伪造浏览器行为，注意ret是一个对象，

ret.encoding = ret.apparent_encoding是测数据类型（转换成中文）

7.添加html.parser内置解释器，目前市场上有两中内置解释器分别是html.parser和lxml,lxml需要我们单独安装。优点：速度更快.一般情况我建议优先使用html。parser

8，点击网站https://www.autohome.com.cn/news/打开F12，复制一下id

 

9.找到div

10.进行图片处理，同理也可以将li.find("img")改为li.find("a")等等，也可以进行修改div.find_all(name='li')为div.find_all(name='ul')等等靠自己发掘

注意：不到万不得已避免使用正则表达式。

使用bs4就能完成HTML解析，解析之后就变成一个对象

 

转载于:https://www.cnblogs.com/wangningning/p/11211462.html