百度指数数据

已于 2024-06-03 15:13:08 修改
阅读量2.7k 收藏 38
点赞数 22
文章标签： python 网络爬虫
于 2024-06-01 22:37:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64120598/article/details/139358364
版权

一.相关环境

开发工具：pycharm

开发环境：Python

操作系统:windows

二.目标数据

在百度指数首页登录，之后输入我们需要的关键词，我们需要抓取指定关键词的搜索指数趋势图中某一短时间的数据，我们首先需要登录我们的百度账号以获取cookie。

我们需要获取曲线上的每一点所对应的数据，打开开发者工具F12，在元素栏中搜索其中数据，搜索结果不到，说明数据不是网页中的，而是通过后方数据库，动态获取的。

三.获取动态数据

动态数据都是后台数据库返回的，所以我们需要找到这个文件。

打开开发者工具-->点击到网络栏-->选中XHR项-->刷新页面

XHR选项：XMLHttpRequests（XHR）请求通常会返回从服务器获取的数据。这些数据可以是各种格式，取决于服务器端和前端的配置以及应用程序的需求

我们逐个点击左侧请求的名称并查看右侧响应预览

我们可以发现在index开头的请求中包含数据，观察一下我们发现应该就是我们要的数据，其中all是指全部数据，PC是指pc端，wise是指移动端，但是data被加密了，所以我们需要通过‘JS逆向‘找到对应的解密方式。

四.JS逆向

我们分析以上请求中给我们返回的json数据

"data": {
        "userIndexes": [
            {
                "word": [
                    { }
                ],
                "all": {
                        "startDate": "",
                        "endDate": "",
                        "data": ""
                },
                },
                "pc": {
                },
                "wise": {
                },
                "type": "day"
            }
        ],
        "generalRatio": [
            {}                 
        ],
        "uniqid": "c195cf6d98dde7b9d7f06238796a1e42"
    },

其中当我们想从data中获得数据时，必然会用到类似data.userIndexes的方式从response中来取出整个数组数据，并且最终会用all.data来获取最后一层数据。为此，我们尝试使用generalRadio,userIndexes去搜索。

Ctrl+F打开全局搜索框,搜索userIndexes（我们需要其中的数据），定位到三个JS

逐个查看后发现第一个JS就是之前我们看的数据，第二个JS中·userIndexes只有一处，是在处理请求函数中，并没有解密数据

第三个JS中userIndexes有3处，其中第一处是向后端发送axios请求（响应数据等）。第二第三处在一块，可以发现这里调用了all.data,pc,data,wise.data。我们可以看到其中有一个decrypt函数，至此咱们可以知道就是解密函数，我们可以看到dectypt函数传入了两个参数，

从其中我们可以看出其中第二个参数是从后端获取的加密数据，第一个参数暂时看不出来，因此我们搜索decrypt，并在函数中打上断点进行调试，跳转到函数内部

我们可以看到t="kAhjeN4z3WOuaD6-918652.4+370,%"这样的加密字符

搜索这个字符，我们可以发现结果显示参数是从https://index.baidu.com/Interface/ptbk?uniqid=223acdc67372b787e7619f43834b6d15返回的

打开文件的负载我们发现其中有个参数uniqid发现好几个请求都有该参数，同时在我们请求数据接口时，后台数据库也给我们返回了该参数

因此我们整理一下思路我们要获取数据因此去访问数据库，随后，数据库给我们返回了一个加密厚的数据，同时给我们返回了一个uniqid参数（此参数用于获取t参数，又叫ptbk参数）,获取这个ptbk参数的url：https://index.baidu.com/Interface/ptbk?uniqid=851b6825de9a14255d199cbd73338cd2需要一个参数uniqid，我们进行GET请求，返回一个JSON数据，获取uniqid和data的url：https://index.baidu.com/api/SearchApi/index?area=0&word=[[%7B%22name%22:%22%E7%8E%AF%E5%A2%83%E6%B1%A1%E6%9F%93%22,%22wordType%22:1%7D]]&days=30

（如果要指定日期只需在word后面追加&startDate=,&endDate=,days代表多少天，area代表位置等于0就是全国）

总结：

1.通过URL获取uniqid和data

2.通过uniqid获取ptbk

3.通过ptbk和data解密

五.代码实现

因为百度指数的请求会验证用户登录，所以我们在发送请求需要携带Cookie信息，百度Cookie的核心是BDUSS，所以我们要登录账户--》开发者工具--》Cookie-->BDUSS

1，请求头和我们需要的参数

cookies = ''  # 自己的cookie

search_param = {
  "area": "0",
  "word": [
    [
      {
        "name": "环境污染",
        "wordType": 1
      }
    ]
  ],
  "days": 30
}
search_url = 'https://index.baidu.com/api/SearchApi/index?'

headers = {
    'Accept': 'application/json, text/plain, */*',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Cipher-Text': '1716807885460_1716889185749_Nl3QA+PCPMLfYvM8U1T5ZxzmJhWSzfcSr46qfguTO1HbBO67J3CJLqUjtGlJCXGNiTVpkYh0icU2ZDkQO8g563PDL/4t+GtDE3A7xaxw8pNR5ih53NZTVWDCGGebbvonuH9whIQAnsS7IkMVf5kOyXvMpEmA80LLdpLn4tXtUSo1UK5WwoJxGNph7EvWY1JuVN5vqEvqhYdxAz7IzQ398zN7des33r7I3n9/3fTxVXa/Dx1hAJdm4h32YB4Ked60dI7Dl8U3SLFRIEjZIUiKhwx2+Dfm5SM22XwvGNCmkW6qr53R5JVo8XMpGYQZZYJr4+YnXcGn709ns/cRMHGuvHjZMxqI217Nrdsbo8nfD2n6QyfCmdngXhGpycCVMNIKJJqXQeoLX1IwF7NvcQXkwi1e+ZofFgXj50iLi3lciLlc853OY7xcURptTZQCdslP4Z7wyh3qiqciMR7sQAucTQ==',
    'Connection': 'keep-alive',
    'Cookie': cookies,
    'Host': 'index.baidu.com',
    'Referer': 'https://index.baidu.com/v2/main/index.html',
    'Sec-Ch-Ua-Platform': "Windows",
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode': 'cors',
    'Sec-Fetch-Site': 'same-origin',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'
}

随后，我们向api发送get请求，获取到加密数据，同时保存好uniqid

response = requests.get(search_url, params=search_param, headers=headers)
encrypted_data = response.json()['data']
print(type(encrypted_data))
uniqid = encrypted_data['uniqid']

获得到加密数据后我们要对他进行解密

2.解密数据

为此我们要先获得解密参数

ptbk_url = f'http://index.baidu.com/Interfac/ptbk?uniqid={uniqid}'
ptbk_response = requests.get(ptbk_url, headers=headers)
ptbk = ptbk_response.json()['data']

随后我们需要改写JS中的解密函数

改写后的python版

def decrypt(ptbk, encrypted_data):
    """
    :param ptbk: 解密参数
    :param encrypted_data: 加密数据
    :return: 解密后的数据
    """
    if not ptbk:
        return ""
    n = len(ptbk) // 2
    d = {ptbk[o]: ptbk[n + o] for o in range(n)}
    decrypted_data = [d[data] for data in encrypted_data]
    return ''.join(decrypted_data)

扩展

搜素关键词以及设置时间和指定省份

search_param = {
    'area': '0',  # 这是省份城市编号，当area = 0代表全国
    'word': json.dumps([[{"name": "环境污染", "wordType": 1}]]),  # 将参数值转换为 JSON 字符串，其中name是搜索关键词
    # 'days': 30,
    'startDate': '2024-01-03',  # 输入查询开始时间
    'endDate':'2024-05-30',  # 输入查询结束时间
}  # 我们更改参数去查询

总代码如下

import requests
import pandas as pd
import json
# from fake_useragent import UserAgentent

cookies = ''  # 自己的cookie

search_param = {
    'area': '0',  # 这是省份城市编号，当area = 0代表全国
    'word': json.dumps([[{"name": "环境污染", "wordType": 1}]]),  # 将参数值转换为 JSON 字符串，其中name是搜索关键词
    # 'days': 30,
    'startDate': '2024-01-03',  # 输入查询开始时间
    'endDate':'2024-05-30',  # 输入查询结束时间
}  # 我们更改参数去查询
search_url = 'https://index.baidu.com/api/SearchApi/index'

headers = {
    'Accept': 'application/json, text/plain, */*',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Cipher-Text': '1716807885460_1716889185749_Nl3QA+PCPMLfYvM8U1T5ZxzmJhWSzfcSr46qfguTO1HbBO67J3CJLqUjtGlJCXGNiTVpkYh0icU2ZDkQO8g563PDL/4t+GtDE3A7xaxw8pNR5ih53NZTVWDCGGebbvonuH9whIQAnsS7IkMVf5kOyXvMpEmA80LLdpLn4tXtUSo1UK5WwoJxGNph7EvWY1JuVN5vqEvqhYdxAz7IzQ398zN7des33r7I3n9/3fTxVXa/Dx1hAJdm4h32YB4Ked60dI7Dl8U3SLFRIEjZIUiKhwx2+Dfm5SM22XwvGNCmkW6qr53R5JVo8XMpGYQZZYJr4+YnXcGn709ns/cRMHGuvHjZMxqI217Nrdsbo8nfD2n6QyfCmdngXhGpycCVMNIKJJqXQeoLX1IwF7NvcQXkwi1e+ZofFgXj50iLi3lciLlc853OY7xcURptTZQCdslP4Z7wyh3qiqciMR7sQAucTQ==',
    'Connection': 'keep-alive',
    'Cookie': cookies,
    'Host': 'index.baidu.com',
    'Referer': 'https://index.baidu.com/v2/main/index.html',
    'Sec-Ch-Ua-Platform': "Windows",
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode': 'cors',
    'Sec-Fetch-Site': 'same-origin',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'
}

response = requests.get(search_url, params=search_param, headers=headers)
encrypted_data = response.json()['data']
print(type(encrypted_data))
uniqid = encrypted_data['uniqid']

ptbk_url = f'http://index.baidu.com/Interface/ptbk?uniqid={uniqid}'
ptbk_response = requests.get(ptbk_url, headers=headers)
ptbk = ptbk_response.json()['data']


def decrypt(ptbk, encrypted_data):
    """
    :param ptbk: 解密参数
    :param encrypted_data: 加密数据
    :return: 解密后的数据
    """
    if not ptbk:
        return ""
    n = len(ptbk) // 2
    d = {ptbk[o]: ptbk[n + o] for o in range(n)}
    decrypted_data = [d[data] for data in encrypted_data]
    return ''.join(decrypted_data)


def fill_zero(data):
    """
    :param data: 字符串格式的数据
    :return:data为空则返回0，否则返回原数据
    """
    if data == '':
        return 0
    else:
        return data


result = pd.DataFrame(columns=['关键词', '日期', '全部', '电脑端', '移动端'])
for userIndexes_data in encrypted_data['userIndexes']:
    word = userIndexes_data['word'][0]['name']

    start_date = userIndexes_data['all']['startDate']
    end_date = userIndexes_data['all']['endDate']
    timestamp_list = pd.date_range(start_date, end_date).to_list()
    date_list = [timestamp.strftime('%Y-%m-%d') for timestamp in timestamp_list]

    encrypted_data_all = userIndexes_data['all']['data']
    decrypted_data_all = [int(fill_zero(data)) for data in decrypt(ptbk, encrypted_data_all).split(',')]
    encrypted_data_pc = userIndexes_data['pc']['data']
    decrypted_data_pc = [int(fill_zero(data)) for data in decrypt(ptbk, encrypted_data_pc).split(',')]
    encrypted_data_wise = userIndexes_data['wise']['data']
    decrypted_data_wise = [int(fill_zero(data)) for data in decrypt(ptbk, encrypted_data_wise).split(',')]
    df = pd.DataFrame(
        {'关键词': word, '日期': date_list, '全部': decrypted_data_all, '电脑端': decrypted_data_pc, '移动端': decrypted_data_wise})
    result = pd.concat([result, df])
result.to_csv('./result.csv', index=False)
问题及心得

1.在爬取数据过程关键词用json格式，否则可能报错

2.在逆向过程中断点可以帮助我们更好的跟踪数据

Python爬虫-爬取百度指数之需求图谱近一年数据
Python进阶专栏《爬虫实战进阶》，《Pyppeteer从入门到精通》原创作者
04-05 1009
本文是该专栏的第51篇，后面会持续分享python爬虫干货知识。百度指数，对于接触SEO领域项目或者频繁跟搜索热词打交道的同学来说，并不陌生。而百度指数是基于百度搜索引擎的海量数据，对网民搜索行为进行统计分析后得出的数值。其对市场销售人员来说，在市场趋势分析，目标客户定位，品牌推广等等领域非常有帮助；对市场研究人员来说，在社会热点研究，行业研究辅助等等领域也非常有帮助。而本文，笔者将以百度指数平台为例子，基于Python爬虫实现获取“近一年的百度指数需求图谱”数据。那利用Python对此要如何实现呢？
Python 爬虫实战：如何爬取百度指数数据并进行分析
最新发布
2201_76125261的博客
03-17 1109
百度指数提供了对某个关键词的搜索量、搜索趋势、地域分布等数据，可以帮助我们分析某个关键词的流行程度与变化趋势。搜索热度：表示该关键词在一段时间内的搜索量。地域分布：展示该关键词的搜索量在各个地区的分布情况。相关搜索：列出与该关键词相关的其他搜索词。本文介绍了如何使用 Python 爬取百度指数数据，并对数据进行存储和分析。通过本文的学习，你可以掌握如何爬取关键词的百度指数，并进一步扩展到更复杂的应用，如多关键词趋势分析、地域热度分析等。
baidu_index:爬取百度指数数据
04-16
百度索引 百度索引-从index.baidu.com/baidu-index-mobile/获取数据 安装 点安装baidu_index 运行pipenv update ， pipenv shell和python 一个简单的使用示例 from baidu_index import Client # cookie can be found in browser # pleas note that you must visit the index website first # so the BDUSS will be valid # you can neither pass in cookie_str or BDUSS # to initialize the class # client = Client(cookie_str="cookie strings") client = C
百度指数采集软件链接：https://pan.baidu.com/s/1djG9o1bQphyiXZVgmo9gNw  提取码：l5md
01-09
软件支持从2014年12月改版后的百度指数，批量采集百度指数的整体指数，移动指数，导出从2011年开始的每天的整体指数，移动指数数据。 支持如下功能： 1）可以从文件导入关键词，不限导入数量。 2）可以批量导出关键词及指数数据为excel文件。 3）支持百度验证码自动识别（第三方打码平台）。 4）支持百度指数数据的自动保存，自动恢复（退出软件自动保存，打开软件自动恢复上次查询的结果及未查询的关键词列表） 5）支持查询百度指数有近一天整体指数/近一天PC指数/近一天移动指数/一周平均整体指数/一周平均PC指数/一周平均移动指数/月平均整体指数/月平均PC指数/月平均移动指数/周环比/周同比/月环 网盘地址 ：链接：https://pan.baidu.com/s/16U4cyiQzwPEpENSYiwMpwQ 提取码：y460
【Python爬虫】百度指数爬取+导入数据库+QuickBI展示
weixin_34200157的博客
11-28 5726
python+mysql+quickbi，十大车厂的百度指数可视化趋势
百度指数采集、资讯指数采集
12-05
快速采集百度指数、百度资讯指数。包括整体指数、PC指数、移动端指数 链接：https://pan.baidu.com/s/1djG9o1bQphyiXZVgmo9gNw  提取码：l5md 
百度指数关键词采集
weixin_45459911的博客
03-23 1029
参考自：https://blog.csdn.net/minge89/article/details/103149250 并做了一定改动与补充 直接上代码 import requests,json,time def get_index(keyword,cook): headers={ 'Accept': 'application/json, text/plain, */*...
百度指数数据抓取Python+selenuim+OpenCV(一)
LMR的博客
02-04 8574
早就想写博客，但是做的东西感觉很low就不好意思发出来，最近由于女票需要百度指数得数据，于是研究起爬虫。以前毕设的题目就是爬虫，不过是特别简单的那种。在爬取百度指数的指数数据时，才感觉到爬虫不是那么简单。自己也是在网上找了许多大神的教程，但是都不能够很好的抓到数据。下面就将我所使用的方法做一个简单介绍，全部代码在整理完后后放到github上。 （一）需要的工具  我使用的是Python+Sel
利用Python爬取百度指数数据
u014363023的博客
03-23 2179
利用Python的requests库编写爬取百度指数数据的爬虫程序
使用Selenium抓取百度指数一
quickzhao3223的专栏
05-30 2363
本来是想给学生们演示如果使用selenium+浏览器抓取淘女郎网站的图片。但是淘宝不给面子，网站已经访问不了。所以改抓百度指数的数据了，这是第一部分，比较简单的演示：selenium+浏览器(我这是Firefox)的代码。代码如下：from selenium import webdriverfrom selenium.webdriver.common.action_chains import Ac...
爬取百度指数关键词平均值
01-12
使用python爬取百度指数关键词平均值，下完看不懂可以私聊我。
百度指数工具 V2.3 百度指数采集 资讯指数采集 百度指数软件
12-05
链接：https://pan.baidu.com/s/1djG9o1bQphyiXZVgmo9gNw  提取码：l5md
2020 百度指数工具 V2.4 百度指数采集 资讯指数采集 百度指数软件
12-06
链接：https://pan.baidu.com/s/1djG9o1bQphyiXZVgmo9gNw  提取码：l5md
2015 百度指数批量采集软件
04-21
软件支持从2014年12月改版后的百度指数，批量采集百度指数的整体指数，移动指数，导出从2011年开始的每天的整体指数，移动指数数据。 支持如下功能： 1）可以从文件导入关键词，不限导入数量。 2）可以批量导出关键词及指数数据为excel文件。 3）支持百度验证码自动识别（第三方打码平台）。 4）支持百度指数数据的自动保存，自动恢复（退出软件自动保存，打开软件自动恢复上次查询的结果及未查询的关键词列表） 5）支持查询百度指数有近一天整体指数/近一天PC指数/近一天移动指数/一周平均整体指数/一周平均PC指数/一周平均移动指数/月平均整体指数/月平均PC指数/月平均移动指数/周环比/周同比/月环比/月同比。 6）支持查询关键词每一天的百度指数数，支持按地域对比查询百度指数。
百度指数
02-23
百度指数
百度指数数据分析python完整示例代码
03-01
在本示例中，我们将深入探讨如何使用Python进行百度指数数据分析。百度指数是衡量关键词在百度搜索中的热门程度的一个工具，它可以反映出公众关注的热点和趋势。通过Python编程，我们可以自动化收集、处理和分析这些...
Python分省份百度指数词条热度日数据爬取
02-28
Python分省份百度指数词条热度日数据爬取
基于Python的通用百度指数数据整合对比与分析.docx
09-09
基于 Python 的通用百度指数数据整合对比与分析 本文主要探讨基于 Python 的通用百度指数数据整合对比与分析，旨在研究如何使用 Python 爬虫技术获取百度指数数据，并对其进行整合和分析，以提供对新型冠状病毒疫情...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值