成都工商企业数据爬取解读

如今大数据盛行的年代，数据以及开始引导政策的抉择，城市经济的发展主要有企业引导；因此，企业数据，和企业经济数据已经成为数据分析的一部分。

下面我讲讲述如果取得企业的数据。

1、政府部门数据共享

    公司注册各个区（县）市，都可以要到自己当地的工商数据，一般可以通过部门协调是可以得到区（县）市的工商数据。在工商局得到的数据是比较完整，准备的。但好多工商局不会提供数据接口，直接访问和调用，一般都是通过离线数据拷贝。这样通过人工拷贝一般会是一两月的周期进行数据拷贝。

优点：准确性高、完整性、权威性

缺点：需要人力协调

难度：数据操作容易

2、国家工商信息网

    全国工商网地址：http://www.gsxt.gov.cn/

    四川工商网地址：http://sc.gsxt.gov.cn/

    不管是全国还是四川工商网，其实都是一个平台，只是二级域名不一样，这个是对外公开信息最权威，数据最及时的平台，没有之一。很多工商会把信息工商网最为首先的抓取平台。由于平台作为企业爬虫的首选，可见系统的防爬虫能力很强，而且平台不用考虑流量和用户操作的简易性，所以平台在这方面做得很多验证码。很多大一点的企业会找几个专业的人事来解决验证码的问题，往往花费的人力与财力大于抓取的数据。对应没有企业名单，在国家工商网往往无能为力。

    国家工商网也会发布一部分搜索名单（全国：http://www.gsxt.gov.cn/corp-query-entprise-info-hot-search-list.html?province=100000 地方：http://sc.gsxt.gov.cn/corp-query-entprise-info-hot-search-list.html?province=510000） 这里省份的变化就是province=510000编号的问题，一个给到300个企业名单，而且还是热门搜索，对应每天新增的企业来说微不足道。国家工商信息网对应小型企业或者才做企业库的企业来说不是首先，后期的发展可以作为数据更新的选择平台。

优点：准确性高、完整性、权威性

缺点：数据不易得到

难度：技术要求高

3、地方工商网

    成都本地也推出了工商信息网，成都的叫着信用网。

   四川信用网（http://www.creditsc.gov.cn/）

   成都信用网（http://credit.chengdu.gov.cn/www/index.html#/m///home）

    这两个信用网对应数据来说是数据准确性很高，基本和工商网数据同步，而且这两个平台防爬虫能力相对简单，只有有时网速慢点而已。四川信用网工商注册相对简单，成都信用网数据完整性比较高，企业和社保局打通，能取到企业真实的社保信息和公积金信息（这两个可以直接分析企业的经营情况）。虽然地方上的企业信息网数据不完整，但也有自己专业的数据。国家信息网等信息网站也会公布社保人数，但社保人数都是每年企业知己填写的年报，社保人数可以自由填写。所以导致社保人数完全部准确，只有一些上市的公司会公布准确的社保人数。

    有些成都企业信息在成都信用网查询不到，需要在四川信用网才能查询。

优点：准确性高、权威性

缺点：数据不完整

难度：技术要求一般、数据处理复杂

4、第三方数据公司

天眼查：https://www.tianyancha.com

企查查：https://www.qichacha.com/

启信宝：https://www.qixin.com/

查企猫：https://www.qichamao.com/

    第三方企业数据公司很多，他们的数据做的都比较好。而且他们会考虑到一些客户使用和SEO优化，使用做了一些简单的防爬虫。对应技术来说，这几个平台是可以研究的。而且网上相关案例也比较多。是开始抓取企业信息的选择。虽然低三方企业，在数据更新和准确性上有点误差。但对应大量数据来说，一点点数据的延迟和误差完全可以接受的。

优点：数据完整

缺点：及时性差点

难度：技术要求一般、数据处理简单

 

如果对爬虫技术有探讨和想更多了解数据，可以加我QQ：397713572 微信：yi18_net （手机：13880334484）专注于企业爬虫技术；

微信：可以探讨工商数据的商业应用如服务。

上面初步结束了一点数据抓取目标网站的解读，其实一个城市抓取数据也需要时间和人力成本，这里简单的介绍一下成都企业的基本情况：

工商注册：224.8万

企业主体：89.9 万

新增企业：12.2万（2016年）、14.3万（2017年）、16.7万（2018年）、7.9万（2019年半年）

排名 区域 企业数 第一产业 第二产业 第三产业 优质企业 新增企业

1 成华区 354,807家 392家 8,824家 164,339家 2,020家 8,849家

2 金牛区 323,729家 475家 12,155家 217,602家 2,489家 6,626家

3 武侯区 316,729家 673家 25,737家 217,197家 4,711家 8,100家

4 高新区 196,833家 560家 14,035家 148,262家 6,094家 10,260家

5 锦江区 180,875家 520家 8,854家 98,807家 2,169家 8,523家

6 青羊区 136,022家 484家 14,357家 95,445家 3,666家 4,105家

7 新都区 108,492家 1,231家 7,353家 64,576家 517家 2,004家

8 双流区 86,684家 957家 6,658家 49,364家 744家 2,102家

9 温江区 72,051家 2,740家 4,636家 40,954家 574家 1,515家

10 郫都区 68,851家 1,189家 4,181家 36,446家 434家 1,598家

11 龙泉驿区 65,492家 1,000家 4,951家 40,397家 684家 1,556家

12 天府新区 55,963家 936家 3,079家 34,487家 1,395家 3,795家

13 青白江区 48,964家 629家 3,035家 31,931家 386家 5,204家

14 金堂县 46,595家 1,855家 2,473家 23,299家 300家 650家

15 崇州市 42,997家 2,072家 4,593家 23,664家 269家 787家

16 邛崃市 32,116家 2,283家 1,879家 17,168家 247家 692家

17 简阳市 30,078家 2,739家 3,424家 20,855家 187家 626家

18 新津县 28,879家 863家 2,302家 15,874家 315家 607家

19 大邑县 26,964家 1,535家 1,961家 14,654家 187家 516家

20 都江堰市 25,960家 1,483家 1,626家 13,196家 143家 727家

21 彭州市 20,130家 925家 2,476家 8,815家 141家 723家

22 蒲江县 15,270家 1,298家 845家 8,306家 110家 278家

期待更多的数据应用

 

 

 

转载于:https://my.oschina.net/mynote/blog/3100197