成都工商企业数据爬取解读

最新推荐文章于 2024-08-16 12:23:01 发布

chukailuan0148

最新推荐文章于 2024-08-16 12:23:01 发布

阅读量1.3k

点赞数

文章标签：爬虫大数据

原文链接：https://my.oschina.net/mynote/blog/3100197

版权

如今大数据盛行的年代，数据以及开始引导政策的抉择，城市经济的发展主要有企业引导；因此，企业数据，和企业经济数据已经成为数据分析的一部分。

下面我讲讲述如果取得企业的数据。

1、政府部门数据共享

公司注册各个区（县）市，都可以要到自己当地的工商数据，一般可以通过部门协调是可以得到区（县）市的工商数据。在工商局得到的数据是比较完整，准备的。但好多工商局不会提供数据接口，直接访问和调用，一般都是通过离线数据拷贝。这样通过人工拷贝一般会是一两月的周期进行数据拷贝。

优点：准确性高、完整性、权威性

缺点：需要人力协调

难度：数据操作容易

2、国家工商信息网

全国工商网地址：http://www.gsxt.gov.cn/

四川工商网地址：http://sc.gsxt.gov.cn/

不管是全国还是四川工商网，其实都是一个平台，只是二级域名不一样，这个是对外公开信息最权威，数据最及时的平台，没有之一。很多工商会把信息工商网最为首先的抓取平台。由于平台作为企业爬虫的首选，可见系统的防爬虫能力很强，而且平台不用考虑流量和用户操作的简易性，所以平台在这方面做得很多验证码。很多大一点的企业会找几个专业的人事来解决验证码的问题，往往花费的人力与财力大于抓取的数据。对应没有企业名单，在国家工商网往往无能为力。

国家工商网也会发布一部分搜索名单（全国：http://www.gsxt.gov.cn/corp-query-entprise-info-hot-search-list.html?province=100000 地方：http://sc.gsxt.gov.cn/corp-query-entprise-info-hot-search-list.html?province=510000）这里省份的变化就是province=510000编号的问题，一个给到300个企业名单，而且还是热门搜索，对应每天新增的企业来说微不足道。国家工商信息网对应小型企业或者才做企业库的企业来说不是首先，后期的发展可以作为数据更新的选择平台。

优点：准确性高、完整性、权威性

缺点：数据不易得到

难度：技术要求高

3、地方工商网

成都本地也推出了工商信息网，成都的叫着信用网。

四川信用网（http://www.creditsc.gov.cn/）

成都信用网（http://credit.chengdu.gov.cn/www/index.html#/m///home）

这两个信用网对应数据来说是数据准确性很高，基本和工商网数据同步，而且这两个平台防爬虫能力相对简单，只有有时网速慢点而已。四川信用网工商注册相对简单，成都信用网数据完整性比较高，企业和社保局打通，能取到企业真实的社保信息和公积金信息（这两个可以直接分析企业的经营情况）。虽然地方上的企业信息网数据不完整，但也有自己专业的数据。国家信息网等信息网站也会公布社保人数，但社保人数都是每年企业知己填写的年报，社保人数可以自由填写。所以导致社保人数完全部准确，只有一些上市的公司会公布准确的社保人数。

有些成都企业信息在成都信用网查询不到，需要在四川信用网才能查询。

优点：准确性高、权威性

缺点：数据不完整

难度：技术要求一般、数据处理复杂

4、第三方数据公司

天眼查：https://www.tianyancha.com

企查查：https://www.qichacha.com/

启信宝：https://www.qixin.com/

查企猫：https://www.qichamao.com/

第三方企业数据公司很多，他们的数据做的都比较好。而且他们会考虑到一些客户使用和SEO优化，使用做了一些简单的防爬虫。对应技术来说，这几个平台是可以研究的。而且网上相关案例也比较多。是开始抓取企业信息的选择。虽然低三方企业，在数据更新和准确性上有点误差。但对应大量数据来说，一点点数据的延迟和误差完全可以接受的。

优点：数据完整

缺点：及时性差点

难度：技术要求一般、数据处理简单

如果对爬虫技术有探讨和想更多了解数据，可以加我QQ：397713572 微信：yi18_net （手机：13880334484）专注于企业爬虫技术；

微信：可以探讨工商数据的商业应用如服务。