前言
文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun
通过网上爬虫获取了全国所有企业,然后就需要补充企业信息,首先想到的就是企查查,启信宝等专业网站,最终选择了企查查,尝试了多种方法:
1、selenium爬虫,绕过企查查的登录验证,但账号和IP限制太大,最终放弃
2、通过requests直接请求+cookies,遇到了cookie有效期和限制问题
不断的尝试和修改参数,最终发现一种有效方式selenium + wep
只需要IP代理,不需要账号,没有限制,因为是没有登录,拿到的信息有限,能展示的都能获取。
一、初始化selenium
Python数据分析实战