【企查查】高级查询下突破导出5000条/10次限制思路tips，完整全量导出

已于 2022-10-27 15:00:22 修改
阅读量1.2w 收藏 14
点赞数 4
分类专栏： 数据采集 文章标签： python 爬虫 大数据 数据库 json
于 2021-03-15 17:20:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43297217/article/details/114694249
版权

【企查查、天眼查、企业信息，企业目录】

高级查询界面

你好！ 这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

限制条件

  • 即使VIP，对单个筛选条件下的查询数据也只能有前5000条。并且有导出次数限制
    在这里插入图片描述

突破思路

  • 1、将一个查询条件下的数据进行时间拆分，例如拆分为5天时间段，每次的数据量会下降到5000以内
  • 2、用selenium对查询进行时间拆分点击，写算法对数据量判断自动拆分时间，保证时间段内的数据大于4000小于5000

这样处理以后几十万的数据量会被拆分成每个时间段处理从而达到全量导出的效果，一天数据量超过5千，可以按原理拆分城市、行业
在这里插入图片描述

  • 3、最后实现主要用selenium+requests方法完成，selenium查询点击，requests导出数据

结果展示

导出结果与官方数据一致，仅展示部分字段
在这里插入图片描述

DM。
关注
  • 4
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
企查查app新增企业数据抓取
成小新的博客
07-09 4970
企查查每日新增企业数据抓取 尚未完成的工作： 需要自行抓包获取设备id，appid，sign等等 sign和时间戳保持一致即可 把所有的数据库、redis配置 无法自动登录，账号需要独立 redis数据转存mysql 企查查限制，每分钟请求大概不能超过30次，所有功能未加并发，请不要使用代理并发，会封账户的 有些工作尚未完成，需要自己进行继续开发，可以找我要app的脱壳源代码，继续分析。 已经完...
requests+selenium 爬取企查查网，1000+条数据轻轻松松
qq_44936246的博客
09-01 5428
对于这个我们就很简答了， 我们需要获取公司的具体链接 我们根据如下链接去爬取公司的具体链接： https://blog.csdn.net/qq_44936246/article/details/120049948?spm=1001.2014.3001.5501 selenium 轻松模拟登录企查查，获取企业详细信息链接 数据 注意注意注意注意 我们在根据链接，去获取 HTML的时候，前后获取的我们需要设置停顿时间---time.sleep(60)，我一般是60s,如果我们不设置十分容易被封IP，本人就是时
Python爬虫：无账号无限制获取企查查信息
攻城狮的家园
08-10 1万+
无限制企查查爬虫 ​通过网上爬虫获取了全国所有企业，然后就需要补充企业信息，首先想到的就是企查查，启信宝等专业网站，最终选择了企查查，尝试了多种方法： 1、selenium爬虫，绕过企查查的登录验证，但账号和IP限制太大，最终放弃 2、通过requests直接请求+cookies，遇到了cookie有效期和限制问题 不断的尝试和修改参数，最终发现一种有效方式selenium+ wep 只需要IP代理，不需要账号，没有限制，因为是没有登录，拿到的信息有限，能展示的都能获取。 一、初始化..
【Python网络爬虫】企查查批量查询接口爬虫
moyuweiqing的博客
10-24 3319
在http请求中，主要包含两种方式，一种是get请求另一种是post请求，在post请求中，请求headers中的哈希加密参数的生成a_default()函数和r_default()函数中生成，函数中的其中一个参数名为data，此时，data为post请求中的数据，为字典类型；但在get请求中，由于和post请求不一样，数据中并没有data部分的内容，因此，在get请求中，headers中哈希加密参数的生成不需要传递参数data，或者data的值为默认值，即为空字典。
Python爬虫：输入公司名称，爬取企查查网站中的公司信息
热门推荐
深蓝旭的博客
06-23 2万+
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 以下文章来源于Python爬虫数据分析挖掘 ，作者：李运辰 根据输入的公司名称来爬取企查查网站中公司的详细信息 1、获取headers 2、登录成功后，可根据输入的公司名称进行查询操作，得到所需要的内容。 3、将获取到的文本进行文本特殊化处理，并将其汇总成一个dataframe,方便后面保存为csv 4、输入公司名称 5、最后执行此代码，查询companys列表中所有公司名称的详细信息并保存为..
探索企业信息的宝库 - 天眼查与企查查爬虫深度解析
最新发布
gitblog_00030的博客
06-07 1035
探索企业信息的宝库 - 天眼查与企查查爬虫深度解析 项目地址:https://gitcode.com/bouxin/company-crawler 在这个信息爆炸的时代，对企业的深入洞察已成为商业战略的关键。今天，我们要向您推荐一款强大且实用的开源工具——天眼查、企查查公司信息爬虫。这款神器不仅能够帮助您高效获取企业的核心信息，还能作为技术实践的优秀案例，为开发者带来灵感和便利。下面，让我们一起揭...
爬取企查查信息
05-15
通过关键词的检索，爬取企查查网站上失信人信息。测试环境：python2.7，windows7操作系统；
企查查批量导出后数据整理——以股东信息为例，并上传至数据库。（附完整代码python）
d666jjjiii的博客
08-17 2011
由于企查查上的企业数据时间线较长，关于最新公示部分的数据列有两种形式，本文选择提取年代较新的部分列，列开头为：序号 股东名称 持股比例 XXX。但是若多次导入数据不设置自增列，导入的数据可能id不为1开始。由于需要区分工商登记数据还是最新公示数据，所以选择将这两部分数据分开存放，当然也可以放在一起。（本文认为最新公示的企业属于上市企业，但是也存在一些未上市却即将上市的企业，工商登记属于未上市企业）。提醒：企查查导出的数据列名随时都存在变化的可能，可能会新增列也可能改变列名，需要对导出的数据进行一个检查。
angularjs 获取复选框的值_如何利用Python批量获取天眼查企业信息？
weixin_39739661的博客
11-08 146
中间很长一段时间，由于各种原因，没有时间继续学习Python。最近为了捡起Python，我开始不断锻炼自己的爬虫技术——爬取各种网页信息。一直苦恼于网页登录时各种验证码的处理，感觉无从下手，可能是因为自己太过业余吧，哈哈……对于审计人员来说，工作中需要经常查询企业信息，为了方便快捷地获取我们想要的企业信息，我一直在思考如何用Python去爬取各大企业信息查询网站。其实，这个爬虫有很多大佬...
企查查导出excel数据添加WGS84坐标系
sumuses的博客
11-29 756
使用前准备 删除表格的第一行“企查查”图片，在最后两列添加新的字段（经度和纬度），然后另存为xlsx格式。 代码可直接赋值粘贴使用，只需修改 可能要替换的位置 直接对原excel进行操作——谨慎操作. from urllib.request import urlopen, quote import time from openpyxl.reader.excel import load_workbook import re from urllib import parse import hashlib f
企查查爬虫python版本2022年
11-23
1、python爬取企查查公司信息 2、添加应对反爬的设置 3、开箱即用，有示例数据文件 4、windows版本 5、需要登录或者人工验证 6、采用selenium模块+chromedriver驱动
使用企查查通过高德地图爬虫所有企业python代码
06-11
1. 高德对 IP地址 无反爬机制 2. 高德POI信息查询,若数据量小于3万,可通过认证个人开发者,获取免费api接口,实现每天 3万次 / 50-200 并发量 3. 若数据量远大于3万,可通过页面爬虫,若 CPU\内存\网速 够用,可开 50-100 条线程并发(python内核是伪线程,可以自己测试并发效率, 并非数越多越好) ——学习参考资料：仅用于个人学习使用！ 本代码仅作学习交流，切勿用于商业用途，否则后果自负。若涉及侵权，请联系，会尽快处理! 未进行详尽测试，请自行调试!
天眼查数据excel模板无数据
09-10
天眼查每次能到处5000条数据，模板暂时看是固定的，，，特地发上来一个给大家。没有数据。不过本人有个可以批量管理天眼查excel的简单通用企业信息共享软件正在开发中。。。已经可以在线更新，所以想了解和提建议的可以看一下。
批量工商信息查询
02-03
自动从excel文件中读取待查名单，查询信息，自行根据需要提取相关信息
js 导出 Excel 测试 demo【支持大量数据导出，10w条数据大约3秒】
12-21
js 导出 Excel 【支持大量数据导出，亲测】、支持IE噢
易语言高级表格导出excel
08-16
易语言高级表格导出excel源码 系统结构:excel导出, ======程序集1 | | | |------ _启动子程序 | | | |------ _临时子程序 | | | |------ excel导出
易语言源码易语言高级表格导出EXCEL.rar
02-22
易语言源码易语言高级表格导出EXCEL.rar 易语言源码易语言高级表格导出EXCEL.rar 易语言源码易语言高级表格导出EXCEL.rar 易语言源码易语言高级表格导出EXCEL.rar 易语言源码易语言高级表格导出EXCEL.rar ...
易语言源码易语言高级表格快速导出EXCEL.rar
02-22
易语言源码易语言高级表格快速导出EXCEL.rar 易语言源码易语言高级表格快速导出EXCEL.rar 易语言源码易语言高级表格快速导出EXCEL.rar 易语言源码易语言高级表格快速导出EXCEL.rar 易语言源码易语言高级表格快速...
微信聊天记录导出恢复/备份/离线查看工具(文字/语音/图片/视频/文件/表情包)
09-04
导出的html格式文件通过浏览器打开后，会显示网页聊天对话框，像微信聊天窗口一样完美展现聊天内容， 除了显示文字外，图片/表情/文件/语音/视频也显示在网页聊天窗口中，并方便定位到对应文件夹中的文件。 （1）...
java 导出excel限制条数
06-06
在 Java 中，要限制导出的 Excel 条数，可以使用 Apache POI 库来实现。具体步骤如下： 1. 创建一个 Workbook 对象，如 XSSFWorkbook（用于处理 .xlsx 文件）或 HSSFWorkbook（用于处理 .xls 文件）； 2. 创建一个 Sheet 对象，用于存储数据； 3. 创建一个 Row 对象，表示 Excel 中的一行； 4. 遍历数据列表，依次创建 Row 对象，并设置每个单元格的值； 5. 判断当前导出的条数是否达到限制，如果达到限制则退出循环； 6. 将 Sheet 对象写入到输出流中，如 FileOutputStream； 7. 关闭 Workbook 对象和输出流。 以下是一个简单的示例代码，限制导出 100 条数据： ```java // 创建 Workbook 对象 XSSFWorkbook workbook = new XSSFWorkbook(); // 创建 Sheet 对象 XSSFSheet sheet = workbook.createSheet("Sheet1"); // 设置表头 XSSFRow headerRow = sheet.createRow(0); headerRow.createCell(0).setCellValue("列1"); headerRow.createCell(1).setCellValue("列2"); // 遍历数据列表 for (int i = 0; i < dataList.size(); i++) { if (i >= 100) { break; // 达到限制，退出循环 } // 创建 Row 对象 XSSFRow row = sheet.createRow(i + 1); // 设置单元格的值 row.createCell(0).setCellValue(dataList.get(i).getColumn1()); row.createCell(1).setCellValue(dataList.get(i).getColumn2()); } // 将 Workbook 对象写入输出流 try (FileOutputStream outputStream = new FileOutputStream("output.xlsx")) { workbook.write(outputStream); } // 关闭 Workbook 对象 workbook.close(); ``` 需要注意的是，上述代码仅限制了导出的条数，如果数据量很大，仍会影响性能。在实际应用中，可以考虑分批导出数据，或者使用其他技术如分页查询等来提高导出性能。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DM。

对您有帮助的话，打赏一下吧~~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值