python_爬虫_七麦网

最新推荐文章于 2024-07-14 22:27:58 发布
最新推荐文章于 2024-07-14 22:27:58 发布
阅读量2k 收藏 4
点赞数
分类专栏： python
原文链接：https://blog.csdn.net/weixin_44585839/article/details/104209246
版权

本文用于学习交流使用，如有侵权，联系删除

1 爬取需求

1.1 七麦网简介

七麦网（https://www.qimai.cn/），该平台支持提供iOS、Android应用市场、微信、小程序等数据查询，是同时打通App数据、微信公众号数据、小程序数据的数据分析平台。
在这里插入图片描述

1.2 爬取需求

根据关键词文件，在检索栏内输入检索关键词。以滴滴出行为例，获得如下界面，在这里点击第一个获得相应的appID（554499054），在此基础上获得更详细的信息。
在这里插入图片描述在这里插入图片描述

2 url构造

2.1 analysis加密

相信来看的各位都是因为七麦网的analysis的加密，参考了一系列的文章解决了这个问题，由于侵权问题，就不放破解的js代码了。下面将参考用的博客放给大家

  • https://mp.weixin.qq.com/s/1E_ONUnMwTFozd9-dB70Yw
  • https://blog.csdn.net/wg5foc08/article/details/102831489
  • https://blog.csdn.net/Herishwater/article/details/90733267

由于此文做的是研究某一个APP的ID，之前人做的JS是研究IOS的排行信息，所以在JS传参方向有细节不同。可以通过申请网址来看（https://www.qimai.cn/search/index/country/cn/search/%E6%BB%B4%E6%BB%B4%E5%87%BA%E8%A1%8C），这里传参的param不一样，除此以外，加密方式一样。

2.2 构造链接代码

我的代码实在jupyter notebook里面写的，下面是图片，把代码集中贴在后面。
在这里插入图片描述
在这里插入图片描述

import requests
import execjs
import urllib
import os
import json
import random
import re
import csv

# 读入整理的app名称
search_list = []
with open("/Users/didi/Downloads/七麦网爬虫/key_word.txt", "r") as f:
    for line in f.readlines():
        line = line.strip('\n')
        search_list.append(line)

# 读入解密js
with open('/Users/didi/Downloads/七麦网爬虫/qimai_app.js', 'r', encoding='utf-8') as f:
    get_analy_js = f.read()
jsData = execjs.compile(get_analy_js)


# 准备UA
user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
    "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
 "Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25",
]

# 通过访问七麦得到时间戳
def get_synct():
    headers = {
        "User-Agent": random.choice(user_agent),
        'Origin': 'https://www.qimai.cn',
        'Referer': 'https://www.qimai.cn/rank',
        "Accept": "application/json,text/plain,*/*",
    }
    
    resp = requests.get('https://www.qimai.cn/rank', headers=headers, verify=False)
    t = resp.cookies.get_dict()
    synct = t.get('synct')
    
    return synct

# 获得加密后的url
def get_analysis_url(synct,app_name):
    params = {
        'country':'cn',
        'search':app_name
    }
    
    analysis = jsData.call('getAnalysis',synct,params)
    base_url = "https://api.qimai.cn/search/index?analysis="
    params_str = "&country=cn&search=" + str(app_name)
    
    url = str(base_url) + str(analysis) + str(params_str)
    return url


def get_appID(url):
    headers = {
        "User-Agent": random.choice(user_agent),
        'Origin': 'https://www.qimai.cn'
    }
    
    html = requests.get(url, headers=headers)
    response = html.text
    
    try:
        pattern = r'"appId":"(.*?)","appName"'  
        appID = re.search(pattern, response, re.I)[1]
    except:
        appID = None
    
    return appID


def write_csv(file,appInfo):
    with open(file, 'a', encoding='utf-8',newline='') as csv_file:
        writer = csv.weiter(csv_file)
        writer.writerow(appInfo)


def main(app_name):
    synct = get_synct()
    url = get_analysis_url(synct,app_name)
    appID = get_appID(url)
    print(appID)


if __name__ == '__main__':
    for i in range(len(search_list))
    app_name = "滴滴出行"
    main(app_name)

import requests
import execjs
import urllib
import os
import json
import random
import re
import csv

# 读入整理的app名称
search_list = []
with open("/Users/didi/Downloads/七麦网爬虫/key_word.txt", "r") as f:
    for line in f.readlines():
        line = line.strip('\n')
        search_list.append(line)

# 读入解密js
with open('/Users/didi/Downloads/七麦网爬虫/qimai_app.js', 'r', encoding='utf-8') as f:
    get_analy_js = f.read()
jsData = execjs.compile(get_analy_js)


# 准备UA
user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
    "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
 "Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25",
]

# 通过访问七麦得到时间戳
def get_synct():
    headers = {
        "User-Agent": random.choice(user_agent),
        'Origin': 'https://www.qimai.cn',
        'Referer': 'https://www.qimai.cn/rank',
        "Accept": "application/json,text/plain,*/*",
    }
    
    resp = requests.get('https://www.qimai.cn/rank', headers=headers, verify=False)
    t = resp.cookies.get_dict()
    synct = t.get('synct')
    
    return synct

# 获得加密后的url
def get_analysis_url(synct,app_name):
    params = {
        'country':'cn',
        'search':app_name
    }
    
    analysis = jsData.call('getAnalysis',synct,params)
    base_url = "https://api.qimai.cn/search/index?analysis="
    params_str = "&country=cn&search=" + str(app_name)
    
    url = str(base_url) + str(analysis) + str(params_str)
    return url


def get_appID(url):
    headers = {
        "User-Agent": random.choice(user_agent),
        'Origin': 'https://www.qimai.cn'
    }
    
    html = requests.get(url, headers=headers)
    response = html.text
    
    try:
        pattern = r'"appId":"(.*?)","appName"'  
        appID = re.search(pattern, response, re.I)[1]
    except:
        appID = None
    
    return appID


def write_csv(file,appInfo):
    with open(file, 'a', encoding='utf-8',newline='') as csv_file:
        writer = csv.weiter(csv_file)
        writer.writerow(appInfo)


def main(app_name):
    synct = get_synct()
    url = get_analysis_url(synct,app_name)
    appID = get_appID(url)
    print(appID)


if __name__ == '__main__':
    for i in range(len(search_list))
    app_name = "滴滴出行"
    main(app_name)

 

 

3 其他反爬

破解analysis后还有其他的反爬，下面是一张测试结果，这是对于访问频率的封禁，可以看出七麦网的反爬是非常厉害的。在这里插入图片描述

csab153
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
七麦数据爬虫案例
李玺
01-13 2829
本文案例主要分析七麦数据榜单中的analysis参数。
【七麦数据】七麦数据js爬虫(附代码)
2333333
02-05 1725
一、你踢没踢假球都对得起你这个结果 1、目标网址:我在这里 2、主要环境:python3.8 exejs base64 requests 二、打小我爷爷就跟我说一定要做有把握的事 首先F12搞一搞，看一下ajax请求的url，硬看，就硬看。 url大致相同，不同的是后面索引0，1，2,目测一下页面，一共三列，权当每列一次请求吧。 三、谁要的主食？恶习赶紧改掉啊！吃龙虾一样能吃饱 全局搜一下真实url，得到下图结果，打个断点调试一下，目标是搞清楚analysis是怎样生成的 一路F9下来，看到
Python加密破解爬取七麦数据网APP榜单数据
hefy780144的博客
08-24 5321
Python加密破解爬取七麦数据网APP榜单数据 免责声明 七麦数据(原ASO100)是七麦科技推出的国内专业的移动应用数据分析平台，是国内同时打通App数据、微信公众号数据、小程序数据的数据分析平台。 软件均仅用于学习交流，请勿用于任何商业用途！感谢大家！ 运行环境 Version: Python3 Python代码 # !/user/bin/env python # -*- coding:utf-8 -*- # time: 2020/08/24---17:07 __author__ = 'Hefeng
Qimai爬取七麦数据网APP榜单数据
08-10
Qimai爬取七麦数据网APP榜单数据
七麦js破解，python爬取app榜单
vivi
04-17 4611
七麦网app榜单链接：https://www.qimai.cn/rank 七麦网analysis参数破解请查看妄为写代码，链接为：https://mp.weixin.qq.com/s/1E_ONUnMwTFozd9-dB70Yw 前言 在此非常感谢【 妄为写代码】，我一直都没有接触过js混淆这块，想找个简单的js混淆学习，也没有接触过chrome的断点调试，通过作者的讲解，已经了解了chrome的...
python_爬虫_python_
09-30
Python是一种强大的、易学易用的编程语言，尤其在数据处理和网络爬虫领域有着广泛的应用。本项目专注于Python爬虫技术，通过编写程序来抓取网页内容和图片，同时也展示了如何对特定的天气网站进行数据抓取。下面将...
网络爬虫-Python和数据分析.rar_python 爬虫_爬虫 python_爬虫 python_爬虫python
07-15
利用Python来实现的爬虫，高效且可靠。
网络爬虫-Python和数据分析_爬虫python_爬虫python_爬虫_materialii2_python_
10-01
《网络爬虫-Python和数据分析》是一本深入探讨Python编程技术在数据抓取与分析领域的专业书籍。本书针对想要学习和提升网络爬虫技能以及掌握Python数据分析基础的读者，提供了全面且实用的知识体系。 首先，Python...
Python爬虫利器二之Beautiful Soup的用法.zip_python_爬虫_爬虫 python_爬虫 pyth
09-19
在Python的世界里，爬虫开发是一项重要的技能，用于自动化数据抓取。Beautiful Soup是一个非常流行的库，专为解析HTML和XML文档设计。本教程将深入探讨如何利用Beautiful Soup进行高效且精准的网络爬虫开发。 首先...
用Python写网络爬虫_爬虫python_爬虫_python爬虫_python_meii2_源码
09-30
标题中的“用Python写网络爬虫”意味着我们将深入探讨如何使用Python编程语言来构建网络爬虫，这是一种自动抓取互联网信息的程序。Python因其简洁易读的语法和丰富的库支持，成为了开发网络爬虫的首选语言。在这个...
七麦APP数据爬虫.zip
03-01
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
七麦网爬虫协议分析
myworld3322的博客
08-27 1021
第一次写博客，看网上有朋友在寻找该网站爬虫思路，这里我就分享下心得吧 首先还是抓包，通过翻页可以找到一下URL: 参数如下： 切入正题，我们直接分析analysis参数来源 chrome下断点，查看调用回溯会断在如下代码: 可以看到上面的代码参数e里包含了加密的参数 ，继续向上寻找 终于在统一代码块中，找到了参数生成的地方,那么接下来就是扣取js代码，放到本地运行了 网站可以看到是webpack打包形式，所以需要将相关js文件一同扣取下来 最后运行效果如下: ...
爬虫js逆向之-七麦数据
m0_63533079的博客
05-07 2093
对加密参数进行逆向分析
Ajax-Hook爬取七麦数据
我是张先生
07-01 3627
github
Scrapy 爬取七麦 app数据排行榜
所谓向日葵族
07-18 6368
目录 前言 创建项目 创建Item 创建Spider 解析付费榜 运行爬取初始app列表 Selenium调用JS脚本 获取app详情 前言 熟悉Scrapy之后，本篇文章带大家爬取七麦数据（https://www.qimai.cn/rank ）的ios appstore付费应用排行榜前100名应用。 爬取内容包括app在列表中的下标，app图标地址，app的名称信息，app的类型，在分...
七麦数据逆向爬虫 混淆加密全解析！
最新发布
weixin_52392194的博客
07-14 626
在数据分析领域，七麦数据作为一个强大的工具平台，为我们提供了丰富的数据资源。然而，其数据接口往往经过复杂的加密和混淆，增加了爬取的难度。今天，我们将带你一起深入探讨如何通过Python与JS逆向工程技术，破解七麦数据的加密逻辑，实现数据的获取。让我们一起开启这场挑战与乐趣并存的逆向爬虫之旅吧！
java抓取七麦app排行榜单数据 导出excel-20211201
u014792378的博客
06-29 2345
网页查看了下 数据接口都有一个analysis参数是加密的，网上部分前辈的文章已经不适用了，这里整理后 再加上自己逆向得出可用解密方案。 目录 发送请求 接口参数部分 参数加密 写入excel 提示 发送请求 private static String HOST = "https://api.qimai.cn"; public static void main(String[] args) throws Exception { RankParam p...
python爬虫大作业任务书_爬虫大作业
06-08
Python爬虫大作业任务书通常包含以下内容： 1. 任务背景和目的：介绍本次爬虫大作业的背景和目的，以及要爬取的网站或数据。 2. 爬虫需求和要求：明确爬虫的需求和要求，包括爬取的数据类型、爬虫的频率、数据保存...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值