python-爬虫学习（一）

1.概念

通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程

1.1在使用场景中的分类
      

1.1.1通用爬虫
            抓取系统的重要组成部分，抓取的是一整张页面的数据
1.1.2聚焦爬虫
            建立在通用爬虫的基础上，抓取的是页面中指定的部分
 1.1.3 增量爬虫
            监测网站中数据更新的情况，只会抓取网站中最新更新出来的数据

 1.2爬虫的矛与盾
     
  

 1.2.1反爬机制       

        相关门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取
 1.2.2反反爬策略
        爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站中的数据
 1.2.3robots.txt协议
        君子协议 ，规定了网站中哪些数据可以被爬取，哪些数据不可以被爬取

   1.3 http/https协议
      

 1.3.1 概念
            就是服务器和客户端进行数据交互的一种形式
 1.3.2常用请求头信息
            user-agent
                请求载体的身份标识（浏览器版本，操作系统版本）
            connection
                请求完毕后，是断开连接（close）还是保持连接（keepalived）
        常用响应头信息
            content-type
                服务器响应回客户端的数据类型
1.3.3 https
        安全的http协议
            加密方式
                对称密钥加密
                    客户端将数据加密-密文和密钥一块发送-服务器解密
                非对称密钥加密
                    服务器端设定加密方式-发送给客户端-客户端采用该加密方式加密（公钥）-发送给服务器-服务器采用私钥解密
                效率低、拦截公钥并篡改
                证书密钥加密
                    服务器端制定公钥-公钥提交给ca-ca对公钥进行数字签名，封装到证书中-发送给客户端-对数据加密-将加密数据发送给服务端
                确保公钥为服务器发送来的

   1.4requests模块

        python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高
       1.4.1 作用：模拟浏览器发送请求
       1.4.2如何使用（requests模块编码流程）

1. 指定url
2. 发起请求
3. 获取响应数据
4. 持久化存储

        实战编码
            需求
                爬取搜狗首页的数据
                    #爬取搜狗首页的页面数据
import requests
if __name__ == "__main__":

#step 1 :指定url
    url = 'https://www.sogou.com/index.php'
#step 2 :发起请求
#get方法会返回一个响应对象
    response = requests.get(url=url,)
#step 3 :获取响应数据,text放回的是字符串形式的数据
    page_text = response.text
    print(page_text)
#step 4 :持久化存储
    with open('./sougou.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬取数据结束！！！')

                爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）
                    #UA伪装：门户网站的服务器会检测对应请求载体的身份标识，如果检测到请求的载体身份标识为某一浏览器，则为正常请求，否则为不正常的请求。让爬虫对应的ua伪装成某一浏览器
import requests
if __name__ == "__main__" :
   #ua伪装
    headers = {
       'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0'
     }
    url='https://www.sogou.com/web'
    #处理url携带的参数：封装到字典中
    kw = input('enter a word:')
    param = {
        'query':kw
    }
    #对指定的url发起请求是携带参数的，并且请求过程中处理了参数
    response = requests.get(url=url,params=param,headers=headers)

    page_text = response.text
    fileName = kw+ '.html'
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName,'保存成功！！！')

#破解百度翻译
import requests
import json
if __name__ == '__main__':
    headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0'
    }
    post_url = 'https://fanyi.baidu.com/sug'
    word = input('enter a word:')
    data = {
        'kw':word

    }
    response = requests.post(url=post_url,data=data,headers=headers)
    #获取响应数据：json（）方法返回的是obj（确认响应数据是json的才可以使用）
    dic_obj = response.json()
    print(dic_obj)
    fileName = word + '.json'
    fp = open(fileName,'w',encoding='utf8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)

    print('over!!!')