爬虫基础内容及技术

1.爬虫：通过代码、模拟浏览器上网，然后抓取数据的过程（数据解析）

2.爬虫是否合法？
    1.法律允许
    2.有法律风险的

3.统一规定？ 【法律界限】
    robots.txt协议

4.爬虫的分类：
    1.获取一整张页面 【通用爬虫】
    2.获取一整张页面 部分数据 【聚焦爬虫】
    3.检查页面更新、获取页面最新的更新的数据 【增量式爬虫】

5.爬虫的规则：
    (1)反爬策略：
        门户网站 通过 技术手段 防止爬虫程序对页面爬取数据
    (2)反 反爬策略
        爬虫程序 通过 技术手段 对页面爬取数据

http与https 
    service 与 client 进行数据交互的一种形式
request： 
    User-Agent： 请求载体的身份标识
response： 
    Content-Type:服务器响应client的数据类型

6.爬虫技术
    (1)urllib 【老】、requests 【好用】

requests：下载pip install requests 
    是什么：
        python自带的 基于网络请求的模块 功能强大 简单高效
    干什么：
        模拟浏览器发送请求
    怎么用：
        指定url
        发送请求【get、post】
        获取相应的数据
        存储数据

如何获取一整张页面的部分内容？
    整个html + html数据解析
    获取部分html

数据解析：为了获取指定的页面数据
数据解析分类：正则 、bs4 、xpath （scrapy） 
解析的数据有哪些？
    数据源：html 
    文本 或者 图片 =》 html标签里面 或者 标签的属性
如何解析？ 标签定位和解析数据

聚焦爬虫？
    1.指定url 
    2.发起请求
    3.获取相应数据
    4.数据解析
    5.存储数据

(2)bs4：下载pip install bs4 -i https://pypi.douban.com/simple 
    是什么：
        数据解析的工具 
    原理： 
        标签定位 
        解析数据    
    怎么用：
        实例化bs4类 BeautifulSoup => 加载 html
        调用api 标签定位+ 解析数据

使用：bs4 api