爬虫:
1.百度百科
2.自己理解:
通过代码、模拟浏览器上网 然后抓取数据的过程 数据解析
2.爬虫是否合法?
1.法律允许
2.有法律风险的
3.统一规定? 【法律界限】
robots.txt协议
4.爬虫的分类:
1.获取一整张页面 【通用爬虫】
2.获取一整张页面 部分数据 【聚焦爬虫】
3.检查页面更新、获取页面最新的更新的数据 【增量式爬虫】
5.爬虫的规则:
1.反爬策略:
门户网站 通过 技术手段 防止爬虫程序对页面爬取数据
2.反 反爬策略
爬虫程序 通过 技术手段 对页面爬取数据
http 与https
service 与 client 进行数据交互的一种形式
request:
User-Agent: 请求载体的身份标识
response:
Content-Type:服务器响应client的数据类型
6.爬虫技术
1.urllib 【老】
2.requests 【好用】
requests:
1.是什么
python自带的 基于网络请求的模块 功能强大 简单高效
2.干什么
模拟浏览器发送请求
3.怎么用:
1.指定url
2.发送请求【get、post】
3.获取相应的数据
4.存储数据
pip install requests
如何获取一整张页面的部分内容?
1.整个html + html数据解析【数据解析没讲】
2.获取部分html
爬取图片:
数据解析:
1.为什么要进行数据解析?
1.为了获取指定的页面数据
html
2.数据解析分类:
1.正则 【了解】
2.bs4
3.xpath 【重要】 scrapy
3.解析的数据有哪些?
1.数据源:
html
2.文本 或者 图片 =》 html标签里面 或者 标签的属性
4.如何解析?
1.标签定位
2.解析数据
5.聚焦爬虫?
1.指定url
2.发起请求
3.获取相应数据
4.数据解析
5.存储数据
bs4:
数据解析的工具
原理:
1.标签定位
2.解析数据
怎么用:
1.实例化bs4类 BeautifulSoup => 加载 html
2.调用api 标签定位+ 解析数据
pip install bs4 -i https://pypi.douban.com/simple
————————————————
版权声明:本文为CSDN博主「虞悰」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/m0_46563929/article/details/123883941