爬虫Day2 获得AJAX包响应

最新推荐文章于 2022-03-09 14:38:23 发布
最新推荐文章于 2022-03-09 14:38:23 发布
阅读量666 收藏 2
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43955530/article/details/113938686
版权

1 requests模块

python中原生的一款基于网络请求的模块，功能强大，简单便捷，效率极高

作用：模拟浏览器发送请求
使用：（requests模块的使用流程）

  • 指定url 网址
  • 发起请求
  • 获取响应数据
  • 持久化存储响应数据

首先要pip install requests

2 实战：爬取搜狗首页的页面数据

import requests


if __name__ == "__main__":
    # step1: 指定url
    url = "https://www.sogou.com/"
    # step2: 发起请求
    # get方法会返回一个响应对象
    responds = requests.get(url = url)
    # step3：响应数据的获取,字符串形式
    page_text = responds.text
    print(page_text)
    # step4: 持久化数据
    with open("D:/pachong/sogou.txt","w",encoding = "utf-8") as f:
        f.write(page_text)
    print("爬取数据结束")

3 实战：破解百度翻译
不再爬取整个页面了，只爬取翻译到的文本

UA检测&UA伪装：反爬与反反爬机制
在这里插入图片描述
观察网址变成了带dog的，读取这张页面的信息能找到翻译结果。
这里翻译的时候出现了局部刷新的情况，存在局部刷新的包，捕捉这些包里面发送刷新局部页面的包：
在这里插入图片描述
在XHR中逐个查看包中的post和请求信息（request）
在这里插入图片描述
对应的是一个post请求，且携带了参数，相应的数据是一个json数据

import requests
import json

if __name__ == "__main__":
    # 1.url指定
    post_url = "https://fanyi.baidu.com/sug"
    
    # 2.进行UA伪装
    headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.74"}
    
    # 3.发送一个post请求，post可以携带数据
    data = {"kw":'dog'} # 没有参数也可以不加data
    response =  requests.post(url = post_url, data = data, headers = headers) # 返回一个相应
    
    print(response.text) #得到相应的字符串形式
    print(response.json()) #得到json字典
    
    dic_obj = response.json()
    
    #进行持久化存储，存储为json文件
    fp = open(r"D:\pachong\Day2\dog.json","w", encoding = "utf-8")
    json.dump(obj = dic_obj, fp = fp, ensure_ascii = False) # 中文不能使用ASCII编码的
    
    print("over!!!")

其中，post的参数可以从sug包里面看到应该是一个字典，形式如下：
在这里插入图片描述
进行UA伪装的时候，可以根据User-Agent伪装
在这里插入图片描述
在确认是json形式的数据之后，可以直接.json()获取一个字典对象，可以从Content-Type看出来
在这里插入图片描述
这样可以实现对任意单词的翻译：

import requests
import json

if __name__ == "__main__":
    # 1.url指定
    post_url = "https://fanyi.baidu.com/sug"
    
    # 2.进行UA伪装
    headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.74"}
    
    # 3.发送一个post请求，post可以携带数据
    word = input("输入一个单词：")
    data = {"kw":word} # 没有参数也可以不加data
    response =  requests.post(url = post_url, data = data, headers = headers) # 返回一个相应
    
    # print(response.text) #得到相应的字符串形式
    # print(response.json()) #得到json字典
    
    dic_obj = response.json()
    
    
    print(dic_obj["data"][0]["v"])

在这里插入图片描述
只能对单个单词翻译！

4 实战：爬取豆瓣电影分类排行榜https://movie.douban.com/中的电影详情
点开豆瓣电影排行榜里的戏剧排行榜，打开局部请求的数据抓包情况，XHR包
在这里插入图片描述
随着网页上鼠标的下滑，页面会发送一个局部页面刷新的请求，就是新刷新出来的电影信息
在这里插入图片描述
那随着下滑，页面刷新会发现，多了一些局部信息请求的包，那这些
在这里插入图片描述
查看请求得到的响应的数据类型，还是json类型
在这里插入图片描述
打开响应，也可以看到响应的具体内容
在这里插入图片描述

import requests
import json
import pandas as pd

if __name__ == "__main__":
    # 1.url指定
    post_url = "https://movie.douban.com/j/chart/top_list"
    # 这里网址里面有参数，将参数单独拿出来
    param = {
        "type": "24",
        "interval_id" : "100:90",
        "action": " ",
        "start": "0", # 从排名60开始
        "limit": "20" # 一次请求取出20个
        }
      
    # 2 UA伪装
    headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.74"}
    
    # 3 get请求
    response = requests.get(url = post_url, params = param, headers = headers)
    response = response.json()
    print(response)
    
    # 持久化数据
    fp = open("movie_rank.json","w",encoding = "utf-8")
    json.dump(response, fp, ensure_ascii = False)

在这里插入图片描述
如果要将爬取的数据变成表格按列存储起来，可以将json数据形式变成dataframe：

    # 持久化数据
    fp = open("movie_rank.json","w",encoding = "utf-8")
    json.dump(response, fp, ensure_ascii = False)
    
    dic = response[0]
    k = dic.keys()
    
    df = pd.DataFrame(response)
    oder = k
    file_path = pd.ExcelWriter('movie_rank.xlsx')  # 打开excel文件
    df = df[oder] # 按指定顺序排序df的各个属性
    # 替换空单元格
    df.fillna(' ', inplace=True)
    # 输出
    df.to_excel(file_path, encoding='utf-8', index=False,sheet_name="sheet1")
    file_path.save()

在这里插入图片描述

5 实战：爬取肯德基查询网站中指定地点的餐厅数量
在肯德基餐厅信息查询网址 http://www.kfc.com.cn/kfccda/storelist/index.aspx 里面
在搜索框中搜索“北京”，发现网址并没有变化，说明发送的请求是一个局部刷新请求，Ajax请求
在这里插入图片描述
对于Ajax请求都可以在XHR里面找到发送的请求包，根据这个包的样式，可以伪装成浏览器进行数据的爬取
在这里插入图片描述
那这里点了四页信息，抓取出来了四个包
可以查看param情况，和获取的response的数据类型
在这里插入图片描述
在这里插入图片描述
此处拿到的不再是json串了，拿到了一个的是一个text，注意

import requests
import json
import pandas as pd

if __name__ == "__main__":
    # 指定url
    post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    # post_url = "http://www.kfc.com.cn/kfccda/storelist/index.aspx"
    params = {
        "cname":"", 
        "pid":"", 
        "keyword": "北京",
        "pageIndex": "7",
        "pageSize": "10"
    }
    
    # UA伪装
    headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.74"}
    
    # 3 get请求
    response = requests.get(url = post_url, params = params, headers = headers)
    response = response.text
    print(response)
    
    # 持久化数据
    with open("D:/pachong/Day2/kfc_place.txt","w",encoding = "utf-8") as f:
        f.write(response)

在这里插入图片描述
这里的网址也是带参数的，要是不带参数，就要把参数传到params里面

在这里插入图片描述
如果要爬取每一页的信息下来，那么只需要加一个循环：

import requests
import json
import pandas as pd

t = ""

if __name__ == "__main__":
    # 指定url
    post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx'
    for ind in range(1,8):
        params = {
            "op":"keyword",
            "cname":"", 
            "pid":"", 
            "keyword": "北京",
            "pageIndex": str(ind),
            "pageSize": "10"
        }
        
        # UA伪装
        headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.74"}
        
        # 3 get请求
        response = requests.get(url = post_url, params = params, headers = headers)
        response = response.text
        t = t + '\n' + response
        print(t)

t里面储存的就是每一页的信息，加一些匹配查找，就可以找出地址，后面还可以存储到excel表格里面

6 实战：爬取国家药品监督管理局中基于化妆品生产许可证的相关数据
根据网址提供的这些许可证书，爬取每个证书的详细信息，就是点进去之后的信息，网址发生变化，不是局部刷新，是根据超链接跳转了页面。
http://scxk.nmpa.gov.cn:81/xk/
在这里插入图片描述
首先看一下，对网址发请求，能不能得到每个许可证的超链接。

import requests
import json
import pandas as pd

if __name__ == "__main__":
    url = "http://scxk.nmpa.gov.cn:81/xk/"
    
    headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.74"}
    
    response = requests.get(url, headers = headers)
    response = response.text
    
    with open("jiaojianju.html","w") as f:
        f.write(response)

将保存的html文件用网页打开看，发现是这样的
在这里插入图片描述
没有得到许可证目录，为什么会这样呢？
说明这组数据不是通过"http://scxk.nmpa.gov.cn:81/xk/"网址请求到的，是通过动态请求到的，这里查看AJAX请求的包，发现有这么一个包，响应里面有我们要的数据
在这里插入图片描述

通过对详细信息的网址观察，可以看出id值加到网址后面，就是每个证书详情页的url

import requests
import json
import pandas as pd

if __name__ == "__main__":
    url = "http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList"
    params = {
        'on': 'true',
        'page': '1',
        'pageSize': '15',
        'productName': '',
        'conditionType': '1',
        'applyname': '',
        'applysn':'',
        }
    
    headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.74"}
    response = requests.post(url = url, data = params, headers = headers)
    response = response.json()
    
    print(response)

注意，写post的时候参数是data，而写get的时候，参数是params，这里用get请求不到数据，但是用post可以，不知道为啥（以后决定多用post）

详情页中的详情信息也是动态请求到的，AJAX请求
在这里插入图片描述
参数的id可以通过首页的信息得到，所有请求的url都是一样的，只有id不一样，所以通过对参数的调整完成详情页的AJAX请求

这里首先要把id从response中提取出来

import requests
import json
import pandas as pd

if __name__ == "__main__":
    url = "http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList"
    id_lis = []
    for y in range(10): # 爬一百页信息
        params = {
            'on': 'true',
            'page': str(y + 1),
            'pageSize': '15',
            'productName': '',
            'conditionType': '1',
            'applyname': '',
            'applysn':'',
            }
        
        headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.74"}
        response = requests.post(url = url, data = params, headers = headers)
        response = response.json()
        
        # print(response)
        
        lis = response['list']
        for i in lis:
            id_lis.append(i['ID'])
    print(len(id_lis))

这里把10页的150条公司id列举出来了（本来循环了100页，但是到第50页的时候出错了，发现根本没有第50页，是真狗啊！！），根据id来查询详情页信息，并且把详细信息都存储在excel里面

    # 在url里面分别查询id参数时候的结果
    m_lis = []
    url_ = "http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById"
    for id in id_lis: 
        data = {"id": id}
        message = requests.post(url = url_ , data = data, headers = headers).json()
        m_lis.append(message)

    df = pd.DataFrame(m_lis) #DataFrame的参数必须是一个[{},{},{},{},...]类型的

    file_path = pd.ExcelWriter('yaojianju.xlsx')  # 打开excel文件
    
    # 替换空单元格
    df.fillna(' ', inplace=True)
    # 输出
    df.to_excel(file_path, encoding='utf-8', index=False,sheet_name="sheet1")
    file_path.save()

在这里插入图片描述

逆夏11111
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
js的jQuery里的ajax爬虫
05-19
可以设置方式、请求次数、请求网址（会报错，我也不知道是怎么回事）。注：请求次数 不要太多，会耗CPU。
【网络】如何在浏览器中直接爬取Ajax数据包？在控制台使用 GET/POST
mark_clemens的博客
03-18 2608
20210316- MARK CLEMENS Tag: 浏览器; Console; javascript; 爬虫; | get; post; 待完善 如何在浏览器中直接爬取Ajax数据包呢？在控制台使用GET/POST 问题来源 使用IDE编写爬虫代码，固然是一件常规的事情，但终究还是比较麻烦，尤其是在我们的数据需求不大的情况下 (面对需求比较小的情况，比如想获得一个数据列表)。 一件事情，如果可以变得简单，那就让它变得最简单吧！！ 所以，其实爬虫这个事情吧，直接在浏览器console 上直接写个脚本
ajax使用params
第三世界的博客
10-19 1万+
给params赋值两种方式和alert显示params var params={}; params.name="object"; params["age"] =22; var key="keyhaha"; params[key]="keyValue";//!!! alert(params.keyhaha); var jas=JSON.stringify(obj);//!!! a
ajax put完整示例,Java AjaxParams.put方法代码示例
weixin_30458701的博客
08-05 409
import net.tsz.afinal.http.AjaxParams; //导入方法依赖的package包/类private void commitShare() {try {if (mCommitList.size() == 0 || (mLocNet == null && mLocData == null)) return;final CommitBean commitB...
Ajax --- 获取服务器端的响应
weixin_47505105的博客
03-09 1946
介绍了 获取 ajax 状态码 以及 如何使用 onreadystatechange事件获取服务器端响应
XHR简介
weixin_30906701的博客
11-30 435
在XHR诞生前，网页要获取客户端和服务器的任何状态更新，都需要刷新一次，在XHR诞生后就可以完全通过JS代码异步实现这一过程。XHR的诞生也使最初的网页制作转换为开发交互应用，拉开了WEB2.0的序幕。 XHR是一种浏览器API，极大简化了异步通信的过程，开发者并不需要关注底层的实现，因为浏览器会为我们完成这些工作，如连接管理、协议协商、HTTP请求格式化等等。最初版本的XHR能...
python爬虫ajax学习
05-16
学习ajax爬虫的代码 文章链接：https://blog.csdn.net/iwantrain/article/details/130712467
使用爬虫获得表情包并进行resize处理
02-18
使用爬虫技术获得想要的表情包，然后进行resize操作（resize到750*750）。得到的表情包可以上传到B站贴纸投稿！ 可以在取得自己心爱的表情包的同时，精进自己的编程能力和工程化应用能力！
Python3爬虫中关于Ajax分析方法的总结
09-16
在本篇文章里小编给大家整理的是一篇关于Python3爬虫中关于Ajax分析方法的总结，需要的朋友们可以学习下。
爬虫总结1——爬取异步请求（XHR/JS）数据方法
热门推荐
CLOUD
08-16 2万+
在爬取到http://icloudy.cechina.cn/网页的时候，发现点击“加载更多”会出现新的内容，但是网页却没有发生变化，于是打开F12查看Network发现，会每次点击都会多出来一行，如下： 随便点开一个就可以看到我们真正访问的URL地址： 从这里我们就可以清楚的在xhr返回的header里面看到异步请求的url，这里我们直接访问该url（或者在preview里面可以看到返回的...
一个完整的xhr请求
qq_38435906的博客
12-20 2163
以下是创建 XHR 对象的完整代码，告诉该对象要请求什么信息，设置成功或错误处理程序，然后实际地发送请求： function handleSuccess () { console.log( this.responseText ); // the HTML of https://unsplash.com/} function handleError () { console.log(
axios（二）XHR的理解和使用
cheng_09的博客
02-09 1164
ch2. XHR的理解和使用 2.1 理解 使用XMLHttpRequest(XHR)对象可以与服务器交互，也就是发送ajax请求 前端可以获取到数据，而无需让整个的页面刷新 这使得Web页面可以只更新页面的局部，而不影响用户的操作 2.2 区别一般http请求与ajax请求 ajax请求是一种特别的http请求 对服务器来说，没有任何区别，区别在浏览器端 浏览器端发请求：只有XHR或fetch发出的才是ajax请求，其他所有的都是非ajax请求 浏览器端接收到响应 (1)一般请求：浏览
XHR 是什么？
程序员写的技术 FAQ 和杂文
01-15 1万+
XHR 全称：XMLHttpRequest 参考： https://www.cnblogs.com/syfwhu/p/6116323.html
xhr基本使用
weixin_51810350的博客
02-17 1万+
1. XMLHttpRequest（简称xhr）是浏览器提供的 JavaScript对象，通过他它，可以请求服务器上的数据资源 。之前所学的jQuery中的Ajax函数，就是基于xhr对象封装出来了的 2.用xhr发起 get请求 创建xhr对象 调用xhr. open（）函数 调用xhr. send（）函数 监听xhr.onreadystatechange事件 3. xhr的readyState属性，用来表示当前 Ajax请求所处的状态 。每个Ajax请求必然处于以下状态中的一个 : ...
XHR简介及基本使用
wenxin_liu的博客
06-14 7275
XHR简介 XHR是XMLHttpRequest 的简写 XMLHttpRequest 对象提供了对 HTTP 协议的完全的访问，包括做出 POST 和 HEAD 请求以及普通的 GET 请求的能力。XMLHttpRequest 可以同步或异步地返回 Web 服务器的响应，并且能够以文本或者一个 DOM 文档的形式返回内容。XHR接口强制要求每个请求都具备严格的HTTP语义–应用提供数据和URL，浏览器格式化请求并管理每个连接的完整生命周期，所以XHR仅仅允许应用自定义一些HTTP首部，但更多的首部是不能自
Python爬虫进阶（六）：爬取Ajax内容
AugustTheodor的博客
12-28 3782
ajax 1 ajax的定义 关于ajax的详细介绍请读者自行百度或者参考进阶Django（一）：Django与Ajax|AugustTheodor的博客中的“ajax”一节。 简单的来说，ajax请求返回的是一串组织好的数据。浏览器会在符合条件（js脚本）的情况下发送一系列符合条件的链接，来向服务器请求更新一组数据。服务器发送数据后，浏览器直接在当前页面改写DOM，达到不跳转链接进行更新的目的。 2 为什么要爬取ajax请求 很多网站利用ajax对页面进行美化处理，同时也能节省服务器的带宽。
后端开发是一个涉及广泛技术和工具的领域.docx
最新发布
04-30
后端开发是一个涉及广泛技术和工具的领域，这些资源对于构建健壮、可扩展和高效的Web应用程序至关重要。以下是对后端开发资源的简要介绍： 首先，掌握一门或多门编程语言是后端开发的基础。Java、Python和Node.js是其中最受欢迎的几种。Java以其跨平台性和丰富的库而著名，Python则因其简洁的语法和广泛的应用领域而备受欢迎。Node.js则通过其基于JavaScript的单线程异步I/O模型，为Web开发提供了高性能的解决方案。 其次，数据库技术是后端开发中不可或缺的一部分。关系型数据库（如MySQL、PostgreSQL）和非关系型数据库（如MongoDB、Redis）各有其特点和应用场景。关系型数据库适合存储结构化数据，而非关系型数据库则更适合处理大量非结构化数据。 此外，Web开发框架也是后端开发的重要资源。例如，Express是一个基于Node.js的Web应用开发框架，它提供了丰富的API和中间件支持，使得开发人员能够快速地构建Web应用程序。Django则是一个用Python编写的Web应用框架，它采用了MVC的软件设计模式，使得代码结构更加清晰和易于维护。
华为数字化转型实践28个精华问答glkm.pptx
04-30
华为数字化转型实践28个精华问答glkm.pptx
新员工入职培训全流程资料包gl.zip
04-30
新员工入职培训全流程资料包（100+个文件） 1入职流程指引 万科新职员入职通知书 万科新职员入职引导手册 新进员工跟进管理表 新员工入职报到工作单(文职) 新员工入职报到流程 新员工入职流程表 新员工入职手续办理流程(工厂 新员工入职手续清单 新员工入职须知 新员工入职训流程 新员工入职引导表(导师用) 2 入职工具表格 3 培训方案计划 4培训管理流程 5培训教材课件 6 培训效果检测 7 员工管理制度 8 劳动合同协议 9 新员工培训PPT模板(28套)
python爬虫如何快速找到网页内容所在的响应包
05-10
2. 查看响应包的状态码（status code），如果状态码为200，则表示请求成功，可以继续查看响应包的内容。 3. 查看响应包的头部信息，其中可能包含网页内容的编码方式（例如UTF-8、GB2312等）。 4. 查看响应包的内容，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值