2021-03-27python爬虫学习

import requests
if __name__=="__main__":
    url='https://www.sogou.com/'
    response=requests.get(url=url)
    page_text=response.text
    print(page_text)
    with open('./sogou.html','w',encoding='utf-8')as fp:
        fp.write(page_text)
    print('爬起数据结束')

2.简易网页采集
-UA检测
-UA伪装

#UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到标识为某一浏览器
#说明该请求是正常的请求，如果不是基于浏览器，则该请求不正常（爬虫）服务器拒绝该次请求
#UA伪装：让爬虫对应的请求载体伪装成某一款浏览器

import requests
if __name__=="__main__":
    #UA伪装：将对应的user-agent封装到一个字典中
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
                          '/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'}
    url='https://www.sogou.com/web'
    #处理url携带参数：封装到字典中
    kw=input('enter a word:')
    param={
        'query':kw
    }
    #对指定的url发起的请求对应url是携带参数的，并且请求过程中处理了参数
    response=requests.get(url=url,params=param,headers=headers)
    page_text=response.text
    fileName=kw+'.html'
    with open(fileName,'w',encoding='utf-8')as fp:
        fp.write(page_text)
    print(fileName,'保存成功！！！')

破解百度翻译
-post请求（携带了参数）
-响应数据是一组json数据

import requests
import json
if __name__=="__main__":
    #1指定url
    post_url='https://fanyi.baidu.com/sug'
    #2进行UA伪装：
    hearders={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
                      '/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'
    }
    #3post请求参数处理（同get请求一致）
    data={
        'kw':'cat'
    }
    #4请求发送
    response=requests.post(url=post_url,data=data)
    #5获取响应数据json()返回obj/如果确认响应数据是json类型才能使用-Content-Type:application/json
    dic_obj=response.json()
    print(dic_obj)
    #6进行持久化存储
    fp=open('./cat.json','w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print("over")

设置动态

import requests
import json
if __name__=="__main__":
    #1指定url
    post_url='https://fanyi.baidu.com/sug'
    #2进行UA伪装：
    hearders={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
                      '/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'
    }
    #3post请求参数处理（同get请求一致）
    word=input('enter a word:')
    data={
        'kw':word
    }
    #4请求发送
    response=requests.post(url=post_url,data=data)
    #5获取响应数据json()返回obj/如果确认响应数据是json类型才能使用-Content-Type:application/json
    dic_obj=response.json()
    print(dic_obj)
    #6进行持久化存储
    fileName=word+'.json'
    fp=open(fileName,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print("over")

4.爬取豆瓣电源榜

import requests
import json
if __name__=="__main__":
    url='https://movie.douban.com/j/chart/top_list'
    parm={
        'type': '24',
        'interval_id': '100:90',
        'action':'',
        'start': '0',#第1部电影去取
        'limit': '20',#一次取出的个数
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                      'AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'
    }
    response=requests.get(url=url,params=parm,headers=headers)
    list_data=response.json()
    fp=open('./douban.json','w',encoding='utf-8')
    json.dump(list_data,fp=fp,ensure_ascii=False)
    print('查询结束！！')