工商数据抓取全部方法

爬虫程序一般采用python，数据库一般采用mysql结合es，或者是MongoDB。为了提供检索效率可以通过es全文索引。

当然根据自身需要去定制爬取是最合适的。一般爬取维度如下：包括工商基本信息，知识产权信息，公司发展信息，风险信息，司法信息，进出口信息，供应商信息，产品信息，分支机构信息等等。

通过研究社会信用码的规则如下，我们这里通过收集全量信用码完成全量采集。

切记爬取的内容是一条高压线，绝对不能触碰法律红线。