【企查查】高级查询下突破导出5000条/10次限制思路tips，完整全量导出

已于 2022-10-27 15:00:22 修改
阅读量1.2w 收藏 13
点赞数 3
分类专栏： 数据采集 文章标签： python 爬虫 大数据 数据库 json
于 2021-03-15 17:20:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43297217/article/details/114694249
版权

【企查查、天眼查、企业信息，企业目录】

高级查询界面

你好！ 这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

限制条件

  • 即使VIP，对单个筛选条件下的查询数据也只能有前5000条。并且有导出次数限制
    在这里插入图片描述

突破思路

  • 1、将一个查询条件下的数据进行时间拆分，例如拆分为5天时间段，每次的数据量会下降到5000以内
  • 2、用selenium对查询进行时间拆分点击，写算法对数据量判断自动拆分时间，保证时间段内的数据大于4000小于5000

这样处理以后几十万的数据量会被拆分成每个时间段处理从而达到全量导出的效果，一天数据量超过5千，可以按原理拆分城市、行业
在这里插入图片描述

  • 3、最后实现主要用selenium+requests方法完成，selenium查询点击，requests导出数据

结果展示

导出结果与官方数据一致，仅展示部分字段
在这里插入图片描述

DM。
关注
  • 3
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
requests+selenium 爬取企查查网，1000+条数据轻轻松松
qq_44936246的博客
09-01 5328
对于这个我们就很简答了， 我们需要获取公司的具体链接 我们根据如下链接去爬取公司的具体链接： https://blog.csdn.net/qq_44936246/article/details/120049948?spm=1001.2014.3001.5501 selenium 轻松模拟登录企查查，获取企业详细信息链接 数据 注意注意注意注意 我们在根据链接，去获取 HTML的时候，前后获取的我们需要设置停顿时间---time.sleep(60)，我一般是60s,如果我们不设置十分容易被封IP，本人就是时
企查查app新增企业数据抓取
成小新的博客
07-09 4939
企查查每日新增企业数据抓取 尚未完成的工作： 需要自行抓包获取设备id，appid，sign等等 sign和时间戳保持一致即可 把所有的数据库、redis配置 无法自动登录，账号需要独立 redis数据转存mysql 企查查限制，每分钟请求大概不能超过30次，所有功能未加并发，请不要使用代理并发，会封账户的 有些工作尚未完成，需要自己进行继续开发，可以找我要app的脱壳源代码，继续分析。 已经完...
爬取企查查信息
05-15
通过关键词的检索，爬取企查查网站上失信人信息。测试环境：python2.7，windows7操作系统；
Python爬虫：无账号无限制获取企查查信息
热门推荐
攻城狮的家园
08-10 1万+
无限制企查查爬虫 ​通过网上爬虫获取了全国所有企业，然后就需要补充企业信息，首先想到的就是企查查，启信宝等专业网站，最终选择了企查查，尝试了多种方法： 1、selenium爬虫，绕过企查查的登录验证，但账号和IP限制太大，最终放弃 2、通过requests直接请求+cookies，遇到了cookie有效期和限制问题 不断的尝试和修改参数，最终发现一种有效方式selenium+ wep 只需要IP代理，不需要账号，没有限制，因为是没有登录，拿到的信息有限，能展示的都能获取。 一、初始化..
企查查批量导出后数据整理——以股东信息为例，并上传至数据库。（附完整代码python）
d666jjjiii的博客
08-17 1845
由于企查查上的企业数据时间线较长，关于最新公示部分的数据列有两种形式，本文选择提取年代较新的部分列，列开头为：序号 股东名称 持股比例 XXX。但是若多次导入数据不设置自增列，导入的数据可能id不为1开始。由于需要区分工商登记数据还是最新公示数据，所以选择将这两部分数据分开存放，当然也可以放在一起。（本文认为最新公示的企业属于上市企业，但是也存在一些未上市却即将上市的企业，工商登记属于未上市企业）。提醒：企查查导出的数据列名随时都存在变化的可能，可能会新增列也可能改变列名，需要对导出的数据进行一个检查。
探索企业信息的宝库 - 天眼查与企查查爬虫深度解析
最新发布
gitblog_00030的博客
06-07 962
探索企业信息的宝库 - 天眼查与企查查爬虫深度解析 项目地址:https://gitcode.com/bouxin/company-crawler 在这个信息爆炸的时代，对企业的深入洞察已成为商业战略的关键。今天，我们要向您推荐一款强大且实用的开源工具——天眼查、企查查公司信息爬虫。这款神器不仅能够帮助您高效获取企业的核心信息，还能作为技术实践的优秀案例，为开发者带来灵感和便利。下面，让我们一起揭...
angularjs 获取复选框的值_如何利用Python批量获取天眼查企业信息？
weixin_39739661的博客
11-08 146
中间很长一段时间，由于各种原因，没有时间继续学习Python。最近为了捡起Python，我开始不断锻炼自己的爬虫技术——爬取各种网页信息。一直苦恼于网页登录时各种验证码的处理，感觉无从下手，可能是因为自己太过业余吧，哈哈……对于审计人员来说，工作中需要经常查询企业信息，为了方便快捷地获取我们想要的企业信息，我一直在思考如何用Python去爬取各大企业信息查询网站。其实，这个爬虫有很多大佬...
企查查导出excel数据添加WGS84坐标系
sumuses的博客
11-29 744
使用前准备 删除表格的第一行“企查查”图片，在最后两列添加新的字段（经度和纬度），然后另存为xlsx格式。 代码可直接赋值粘贴使用，只需修改 可能要替换的位置 直接对原excel进行操作——谨慎操作. from urllib.request import urlopen, quote import time from openpyxl.reader.excel import load_workbook import re from urllib import parse import hashlib f
python爬虫采集企查查数据
AI创世纪的博客
10-18 5470
这时候就需要使用爬虫代理IP 去解决，登陆之后获取企业信息的页面源码，解析所采集的数据，获取到企业的名称和数据代码，处理好验证码，避免爬虫行为被限制，大部分网站均限制了IP的访问量，对于爬虫频繁访问，导致被网站限制，我们还可以通过使用爬虫代理来解决。然后将采集的数据信息保存到文件中即可。企查查，一个查询企业信息的网站，这个网站也是网络爬虫选择采集的对象，这个网站反爬提别厉害，没有一定的爬虫技术，是无法采集成功的。4、储存采集的数据信息。2、采集企业信息页面。3、解析所采集的数据。
爬虫过程中遇到的防爬措施
u013155359的博客
08-27 2751
1.用scrapy爬取赶集网租房信息时，由于访问频繁，需要通过验证码才能访问页面； 解决方案： 网站通过用户的Cookie信息对用户进行识别与分析，所以要防止目标网站识别我们的会话信息。 在Scrapy中，我们可以在爬虫项目的setting.py文件中进行设置 将setting.py中的下面两行代码里的 COOKIES_ENABLED = False 的注释去掉即可。 2.爬虫过程...
企查查爬虫python版本2022年
11-23
1、python爬取企查查公司信息 2、添加应对反爬的设置 3、开箱即用，有示例数据文件 4、windows版本 5、需要登录或者人工验证 6、采用selenium模块+chromedriver驱动
使用企查查通过高德地图爬虫所有企业python代码
06-11
1. 高德对 IP地址 无反爬机制 2. 高德POI信息查询,若数据量小于3万,可通过认证个人开发者,获取免费api接口,实现每天 3万次 / 50-200 并发量 3. 若数据量远大于3万,可通过页面爬虫,若 CPU\内存\网速 够用,可开 50-100 条线程并发(python内核是伪线程,可以自己测试并发效率, 并非数越多越好) ——学习参考资料：仅用于个人学习使用！ 本代码仅作学习交流，切勿用于商业用途，否则后果自负。若涉及侵权，请联系，会尽快处理! 未进行详尽测试，请自行调试!
天眼查数据excel模板无数据
09-10
天眼查每次能到处5000条数据，模板暂时看是固定的，，，特地发上来一个给大家。没有数据。不过本人有个可以批量管理天眼查excel的简单通用企业信息共享软件正在开发中。。。已经可以在线更新，所以想了解和提建议的可以看一下。
批量工商信息查询
02-03
自动从excel文件中读取待查名单，查询信息，自行根据需要提取相关信息
js 导出 Excel 测试 demo【支持大量数据导出，10w条数据大约3秒】
12-21
js 导出 Excel 【支持大量数据导出，亲测】、支持IE噢
MongoDB导出查询结果到文件例子
09-10
主要介绍了MongoDB导出查询结果到文件例子,本文直接给出示例代码,简洁易懂,需要的朋友可以参考下
易语言高级表格导出excel
08-16
易语言高级表格导出excel源码 系统结构:excel导出, ======程序集1 | | | |------ _启动子程序 | | | |------ _临时子程序 | | | |------ excel导出
SQLServer导出带数据的脚本
09-18
SQL Server 导出带数据的脚本 SQL Server 是一个功能强大的关系数据库管理系统，它提供了多种方式来导出数据库结构和数据。今天，我们将探讨如何使用 SQL Server Management Studio (SSMS) 导出带数据的脚本。 一...
易语言源码易语言高级表格导出EXCEL.rar
02-22
易语言源码易语言高级表格导出EXCEL.rar 易语言源码易语言高级表格导出EXCEL.rar 易语言源码易语言高级表格导出EXCEL.rar 易语言源码易语言高级表格导出EXCEL.rar 易语言源码易语言高级表格导出EXCEL.rar ...
java 导出excel限制条数
06-06
在 Java 中，要限制导出的 Excel 条数，可以使用 Apache POI 库来实现。具体步骤如下： 1. 创建一个 Workbook 对象，如 XSSFWorkbook（用于处理 .xlsx 文件）或 HSSFWorkbook（用于处理 .xls 文件）； 2. 创建一个 Sheet 对象，用于存储数据； 3. 创建一个 Row 对象，表示 Excel 中的一行； 4. 遍历数据列表，依次创建 Row 对象，并设置每个单元格的值； 5. 判断当前导出的条数是否达到限制，如果达到限制则退出循环； 6. 将 Sheet 对象写入到输出流中，如 FileOutputStream； 7. 关闭 Workbook 对象和输出流。 以下是一个简单的示例代码，限制导出 100 条数据： ```java // 创建 Workbook 对象 XSSFWorkbook workbook = new XSSFWorkbook(); // 创建 Sheet 对象 XSSFSheet sheet = workbook.createSheet("Sheet1"); // 设置表头 XSSFRow headerRow = sheet.createRow(0); headerRow.createCell(0).setCellValue("列1"); headerRow.createCell(1).setCellValue("列2"); // 遍历数据列表 for (int i = 0; i < dataList.size(); i++) { if (i >= 100) { break; // 达到限制，退出循环 } // 创建 Row 对象 XSSFRow row = sheet.createRow(i + 1); // 设置单元格的值 row.createCell(0).setCellValue(dataList.get(i).getColumn1()); row.createCell(1).setCellValue(dataList.get(i).getColumn2()); } // 将 Workbook 对象写入输出流 try (FileOutputStream outputStream = new FileOutputStream("output.xlsx")) { workbook.write(outputStream); } // 关闭 Workbook 对象 workbook.close(); ``` 需要注意的是，上述代码仅限制了导出的条数，如果数据量很大，仍会影响性能。在实际应用中，可以考虑分批导出数据，或者使用其他技术如分页查询等来提高导出性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DM。

对您有帮助的话，打赏一下吧~~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值