Python 爬虫学习入门（二）

前言

上篇文章大体介绍了一下爬虫的基础和环境问题，本篇文章从四个不同的案例去理解爬虫的入门

爬取搜狗首页的页面数据

简单来说就是爬取搜狗首页的html代码，将其代码放入到本地文本中
上节介绍requests时，说了编码流程一定牢记！这里在贴一下

• 指定url
• 发送请求
• 获取响应数据
• 持久化存储

根据流程尝试自己将代码写出

import requests
if __name__ == "__main__":
    #step1:指定url
    url = 'https://www.sogou.com/'
    #step2:发起请求
    response = requests.get(url=url,headers=headers)
    #step3:获取响应数据
    page_text = response.text
    print(page_text)
    #setp4:持久化存储
    with open('sougou.html', 'w', encoding='utf-8') as fp:
        fp.write(page_text)
    print('success!')

以上就是简单的一个抓取搜狗首页html代码的过程，上节说了由于浏览器在访问网页时有一个User-Agent身份标识，门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的身份标识为某一浏览器，则该请求是正常请求，如果是爬虫程序，就不是正常请求。因此，在爬取网页时要使用UA伪装。

爬取搜狗指定词条应对的搜索结果页面（网页采集器）

使用检查找到浏览器在访问网页所用的用户身份标识User-Agent

获取到参数query

import requests
#使用UA伪装：User-Agent(请求载体的身份标识)
#UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的身份标识为某一浏览器，则该请求是正常请求，如果是爬虫程序，就不是正常请求。
#UA伪装：让爬虫对应的身份标识伪装成某一款浏览器
if __name__ == "__main__" :
    url = 'https://www.sogou.com/web'
    # 处理url携带参数,封装到字典中
    kw = input('enter a word')
    param = {
        'query':kw
    }
    #UA伪装：将对应的User-Agent
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
    }
    #对指定url发起请求，是携带参数的，并且参数在字典中被处理实现动态拼接
    response = requests.get(url=url,params=param,headers=headers)
    #获取
    page_text = response.text
    filename = kw+'.html'
    with open(filename,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(filename,'保存成功！')

破解百度翻译

百度翻译的返回类型是json格式，因此获取url需要在检查的XHR中查找。

获取参数类型kw

import requests
import json
if __name__ == "__main__":
    #指定url
    post_url = 'https://fanyi.baidu.com/sug'
    # UA伪装：将对应的User-Agent
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
    }
    #post请求参数处理同get请求一致
    word = input("enter your word ")
    data = {
        'kw':word
    }
    response = requests.post(url=post_url,data=data,headers = headers)
    #获取响应数据，返回的是obj数据类型
    dic_obj = response.json()
    #持久化存储
    filename = word+'.json'
    fp = open(filename,'w',encoding='utf-8')
    #中文不能用ascii进行编码
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print("保存成功！")

爬取豆掰电影分类排行榜 中的电影详情数据

爬取豆掰电影喜剧top电影
豆掰电影网同时也是通过json来进行更新

获取url，后面的参数可以删掉，然后根据自己需要封装到字典中定义。

获取参数：

• type 电影类型24表示喜剧
• interval_id 好评度
• action
• start 抓取的起点，下标为0是第一个
• limit 每次抓取的数量

import requests
import json
if __name__ == "__main__":
    url = 'https://movie.douban.com/j/chart/top_list'
    limit = input()
    param = {
        'type':'24',
        'interval_id':'100:90',
        'action':'',
        'start':'0',
        'limit':limit
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
    }
    response = requests.get(url=url,params=param,headers=headers)
    list_data = response.json()

    fp = open('./douban.json','w',encoding='utf-8')
    json.dump(list_data,fp=fp,ensure_ascii=False)
    print("sucess!")