1.爬虫:通过代码、模拟浏览器上网,然后抓取数据的过程(数据解析)
2.爬虫是否合法?
1.法律允许
2.有法律风险的
3.统一规定? 【法律界限】
robots.txt协议
4.爬虫的分类:
1.获取一整张页面 【通用爬虫】
2.获取一整张页面 部分数据 【聚焦爬虫】
3.检查页面更新、获取页面最新的更新的数据 【增量式爬虫】
5.爬虫的规则:
(1)反爬策略:
门户网站 通过 技术手段 防止爬虫程序对页面爬取数据
(2)反 反爬策略
爬虫程序 通过 技术手段 对页面爬取数据
http与https
service 与 client 进行数据交互的一种形式
request:
User-Agent: 请求载体的身份标识
response:
Content-Type:服务器响应client的数据类型
6.爬虫技术
(1)urllib 【老】、requests 【好用】
requests:下载pip install requests
是什么:
python自带的 基于网络请求的模块 功能强大 简单高效
干什么:
模拟浏览器发送请求
怎么用:
指定url
发送请求【get、post】
获取相应的数据
存储数据
如何获取一整张页面的部分内容?
整个html + html数据解析
获取部分html
数据解析:为了获取指定的页面数据
数据解析分类:正则 、bs4 、xpath (scrapy)
解析的数据有哪些?
数据源:html
文本 或者 图片 =》 html标签里面 或者 标签的属性
如何解析? 标签定位和解析数据
聚焦爬虫?
1.指定url
2.发起请求
3.获取相应数据
4.数据解析
5.存储数据
(2)bs4:下载pip install bs4 -i https://pypi.douban.com/simple
是什么:
数据解析的工具
原理:
标签定位
解析数据
怎么用:
实例化bs4类 BeautifulSoup => 加载 html
调用api 标签定位+ 解析数据
使用:bs4 api