【python】批量获取企业公司的统一社会代码

目录

1.任务需求

输入

输出

2.解决办法 

3.运行结果

4.特殊情况

4.1 公司统一社会代码为0?

4.2 搜索次数过多,会弹出验证码或者登陆界面?

4.3 安装selenium包,提示没有find_element_by_id用法?


1.任务需求

输入

 给定一个公司企业的列表,用excel存放,如下图所示: 

输出

通过企查查(或者天眼查等)获取企业的18位统一社会代码,最终存放在excel中,如下所示:

2.解决办法 

使用python中的web自动化测试包selenium可以解决。

代码如下:

import openpyxl
from time import sleep

#获取查询名单
list_name = []
path = r'C:\Users\Aiken\Desktop\data.xlsx'
wb = openpyxl.load_workbook(path)
wb_sheet = wb['Sheet2']
maxrows = wb_sheet.max_row
for i in range(maxrows-1):
    name = wb_sheet.cell(i+2,1).value
    list_name.append(name)


from selenium import webdriver
# #进入企查查
driver = webdriver.Chrome()
url = 'https://www.qcc.com/?utm_source=baidu1&utm_medium=cpc&utm_term=pzsy'
driver.get(url)
driver.refresh()

sleep(15)
cnt = 0
for j in list_name:
    cnt += 1
    # 如果发生需要验证码或者登陆的情况,可以用if判断在上一次中断的地方继续
    # if(cnt >= 353) :
    # sleep(1)
    driver.find_element_by_id('searchKey').clear() #定位到搜索框
    driver.find_element_by_id('searchKey').send_keys(j) #在搜索框中输入查询企业名单
    try:
        driver.find_element_by_xpath('/html/body/div[1]/div[2]/section[1]/div/div/div/div[1]/div/div/span/button').click()
    except:
        driver.find_element_by_xpath('/html/body/div[1]/div[1]/div/div/div/div/div/div/span/button').click()
    try:
        name_id = driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[2]/div[3]/div/div[2]/div/table/tr[1]/td[3]/div/div[4]/div[1]/span[4]/span/div/span[1]').text
    except:
        name_id = "0000"
    print(cnt, j, name_id)

    wb_sheet.cell(list_name.index(j)+2,2,value = name_id)

wb.save(path)
wb.close()
driver.close()




3.运行结果

终端会输出相关信息,同时如果不报错的话,会直接写入到excel中。

4.特殊情况

4.1 公司统一社会代码为0?

部分公司数据可能为0,这是因为有的公司的企查查信息布局不一样,导致使用html语法定位时候没找到数据。如果数据量少,可以直接手动修改。如果数据量多,可以修改代码。

4.2 搜索次数过多,会弹出验证码或者登陆界面?

可以设置好睡眠时间sleep(10),手动扫码登陆,然后通过断点的方式继续输出,然后把输出的数据放到txt中,再转化一下就行。 (更好的办法肯定是解决反爬虫机制!)

 

4.3 安装selenium包,提示没有find_element_by_id用法?

这是因为高版本的selenium更改了语法方式。可以把selenium版本更改为3.3.1(亲测可行)

  • 7
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值