爬虫学习1

爬虫：
    1.百度百科

爬虫：
    1.百度百科
    2.自己理解：
        通过代码、模拟浏览器上网 然后抓取数据的过程

2.爬虫是否合法？
    1.法律允许
    2.有法律风险的

3.统一规定？ 【法律界限】
    robots.txt协议

4.爬虫的分类：
    1.获取一整张页面 【通用爬虫】
    2.获取一整张页面 部分数据 【聚焦爬虫】
    3.检查页面更新、获取页面最新的更新的数据 【增量式爬虫】

5.爬虫的规则：
    1.反爬策略：
        门户网站 通过 技术手段 防止爬虫程序对页面爬取数据
    2.反 反爬策略
        爬虫程序 通过 技术手段 对页面爬取数据

http 与https
    service 与 client 进行数据交互的一种形式
request：
    User-Agent： 请求载体的身份标识
response：
    Content-Type:服务器响应client的数据类型