企业工商抓取全方案

 爬虫程序一般采用python，数据库一般采用mysql结合es，或者是MongoDB。为了提供检索效率可以通过es全文索引。

根据自身需要去定制爬取是最合适的。一般爬取维度如下：包括工商基本信息，知识产权信息，公司发展信息，风险信息，司法信息，进出口信息，供应商信息，产品信息，分支机构信息等等。

网站一般的反扒措施有：

1：查询不到全部数据，网站需要根据指定条件进行搜索，并且当结果数据过大时不显示全部的搜索结果。这样杜绝了全量数据的展示，让用户看不到全量的数据。

2：需要通过登陆或者通过VIP账户才能看到某些信息，这样让普通用户获取不到全部信息，而且使用VIP用户的话，如果出现封号，会大大提高成本。

3：需要经常输入验证码或者校验cookie等。这些还需要借用打码平台，也大大提高了成本。

那么我们的思路就是绕过这些规则，通过全量的社会信用码的遍历来搜索全量的数据，我们再来看社会信用码的规则。

通过规则的研究，可以不是每位数据均需要遍历的，数据是有规则的，通过程序生成全量的信用码，再通过收集全量信用码完成全量采集。 

虽然爬取数据可以用来研究分析，但是切记爬取的内容是一条高压线，绝对不能触碰红线。

包括但不限于如下方面：

1.爬取用户信息谋利

用户个人信息隐私信息相当敏感，严禁使用爬虫爬取这些信息。已经有好多案例因为隐私信息的贩卖而被绳之于法。

2.爬取商业数据

很多公司为了获得竞争优势，会使用爬虫技术，爬取竞争对手的内容，但这一手段会构成不正当竞争。最著名的案例就是北大邵凌霜创办的公司“车来了”窃取竞争对手的数据而最后被判处罚金。

3.爬取知识产权数据

爬取大量带有知识产权的数据，并且用于商业目的，也是属于违法行为的。