【python】批量获取企业公司的统一社会代码

目录

1.任务需求

输入

输出

2.解决办法 

3.运行结果

4.特殊情况

4.1 公司统一社会代码为0?

4.2 搜索次数过多,会弹出验证码或者登陆界面?

4.3 安装selenium包,提示没有find_element_by_id用法?


1.任务需求

输入

 给定一个公司企业的列表,用excel存放,如下图所示: 

输出

通过企查查(或者天眼查等)获取企业的18位统一社会代码,最终存放在excel中,如下所示:

2.解决办法 

使用python中的web自动化测试包selenium可以解决。

代码如下:

import openpyxl
from time import sleep

#获取查询名单
list_name = []
path = r'C:\Users\Aiken\Desktop\data.xlsx'
wb = openpyxl.load_workbook(path)
wb_sheet = wb['Sheet2']
maxrows = wb_sheet.max_row
for i in range(maxrows-1):
    name = wb_sheet.cell(i+2,1).value
    list_name.append(name)


from selenium import webdriver
# #进入企查查
driver = webdriver.Chrome()
url = 'https://www.qcc.com/?utm_source=baidu1&utm_medium=cpc&utm_term=pzsy'
driver.get(url)
driver.refresh()

sleep(15)
cnt = 0
for j in list_name:
    cnt += 1
    # 如果发生需要验证码或者登陆的情况,可以用if判断在上一次中断的地方继续
    # if(cnt >= 353) :
    # sleep(1)
    driver.find_element_by_id('searchKey').clear() #定位到搜索框
    driver.find_element_by_id('searchKey').send_keys(j) #在搜索框中输入查询企业名单
    try:
        driver.find_element_by_xpath('/html/body/div[1]/div[2]/section[1]/div/div/div/div[1]/div/div/span/button').click()
    except:
        driver.find_element_by_xpath('/html/body/div[1]/div[1]/div/div/div/div/div/div/span/button').click()
    try:
        name_id = driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[2]/div[3]/div/div[2]/div/table/tr[1]/td[3]/div/div[4]/div[1]/span[4]/span/div/span[1]').text
    except:
        name_id = "0000"
    print(cnt, j, name_id)

    wb_sheet.cell(list_name.index(j)+2,2,value = name_id)

wb.save(path)
wb.close()
driver.close()




3.运行结果

终端会输出相关信息,同时如果不报错的话,会直接写入到excel中。

4.特殊情况

4.1 公司统一社会代码为0?

部分公司数据可能为0,这是因为有的公司的企查查信息布局不一样,导致使用html语法定位时候没找到数据。如果数据量少,可以直接手动修改。如果数据量多,可以修改代码。

4.2 搜索次数过多,会弹出验证码或者登陆界面?

可以设置好睡眠时间sleep(10),手动扫码登陆,然后通过断点的方式继续输出,然后把输出的数据放到txt中,再转化一下就行。 (更好的办法肯定是解决反爬虫机制!)

 

4.3 安装selenium包,提示没有find_element_by_id用法?

这是因为高版本的selenium更改了语法方式。可以把selenium版本更改为3.3.1(亲测可行)

  • 8
    点赞
  • 37
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
### 回答1: 批量裁剪栅格数据是指对多个栅格数据进行统一的裁剪操作,可以使用Python编写代码来实现该功能。 首先,需要导入必要的库,如`osgeo`库用于读取和处理栅格数据,`os`库用于文件操作。 ```python from osgeo import gdal, gdalnumeric import os ``` 接下来,可以定义一个函数来实现裁剪操作。 ```python def crop_raster(input_path, output_path, extent): # 打开输入栅格数据 ds = gdal.Open(input_path) if ds is None: print("打开栅格数据失败!") return # 读取输入栅格数据的信息 geotransform = ds.GetGeoTransform() projection = ds.GetProjection() x_size = ds.RasterXSize y_size = ds.RasterYSize # 计算裁剪后的输出栅格数据大小 ulx, uly = extent[0], extent[3] lrx, lry = extent[2], extent[1] px_start = int((ulx - geotransform[0]) / geotransform[1]) px_end = int((lrx - geotransform[0]) / geotransform[1]) py_start = int((uly - geotransform[3]) / geotransform[5]) py_end = int((lry - geotransform[3]) / geotransform[5]) px_count = px_end - px_start py_count = py_end - py_start # 创建输出栅格数据 driver = gdal.GetDriverByName("GTiff") output_ds = driver.Create(output_path, px_count, py_count, 1, gdal.GDT_Float32) # 设置输出栅格数据的信息 output_ds.SetProjection(projection) output_ds.SetGeoTransform((ulx, geotransform[1], 0, uly, 0, geotransform[5])) # 读取输入栅格数据的像素值,并写入输出栅格数据 input_data = ds.GetRasterBand(1).ReadAsArray(px_start, py_start, px_count, py_count) output_band = output_ds.GetRasterBand(1) output_band.WriteArray(input_data) # 关闭栅格数据集 ds = None output_ds = None ``` 在主程序中,可以通过遍历需要裁剪的栅格数据路径列表,调用`crop_raster`函数进行裁剪。 ```python if __name__ == "__main__": # 定义输入栅格数据路径列表 input_paths = ["input_1.tif", "input_2.tif", "input_3.tif"] # 定义输出栅格数据路径列表 output_paths = ["output_1.tif", "output_2.tif", "output_3.tif"] # 定义裁剪范围,格式为 [xmin, ymin, xmax, ymax] extent = [100, 50, 200, 150] # 遍历所有输入栅格数据 for i in range(len(input_paths)): input_path = input_paths[i] output_path = output_paths[i] # 调用裁剪函数进行裁剪 crop_raster(input_path, output_path, extent) print("裁剪完成!") ``` 以上代码片段可以实现对多个栅格数据进行批量裁剪,并将裁剪结果保存到指定的输出路径中。裁剪范围可以根据实际需求进行调整。 ### 回答2: 批量裁剪栅格数据是指对多个栅格数据进行裁剪操作,并将结果保存为新的栅格数据。以下是一个用 Python 编写的简单批量裁剪栅格数据的代码示例: ```python import arcpy # 设置工作空间 arcpy.env.workspace = "C:/RasterData" # 设置裁剪区域 clip_features = "C:/ClipData/clip.shp" # 获取所有栅格数据的文件名 raster_files = arcpy.ListRasters() # 遍历每个栅格数据进行裁剪 for raster_file in raster_files: # 构建裁剪后的栅格数据的输出路径 out_raster = "C:/OutputData/" + raster_file.split('.')[0] + "_clipped.tif" # 裁剪栅格数据 arcpy.Clip_management(raster_file, "#", out_raster, clip_features, "#", "ClippingGeometry") print("成功裁剪栅格数据:" + raster_file) print("批量裁剪栅格数据完成!") ``` 以上代码中,首先通过`arcpy.env.workspace`设置工作空间为包含待裁剪栅格数据的文件夹路径。然后使用`arcpy.ListRasters()`获取所有栅格数据的文件名。接下来通过遍历每个栅格数据文件,使用`arcpy.Clip_management()`函数进行裁剪操作,并将结果保存到指定文件夹。在裁剪完成后,程序会打印出成功裁剪的栅格数据文件名,并最终显示“批量裁剪栅格数据完成!”的提示。 ### 回答3: 批量裁剪栅格数据是一种对多个栅格数据进行裁剪操作的需求,可以使用Python实现。下面是一个大致的代码示例: ```python import os from osgeo import gdal from osgeo import ogr from osgeo import gdalconst # 设置要裁剪的区域范围 extent = [xmin, xmax, ymin, ymax] # 根据实际需要设置裁剪范围坐标 # 设置输入栅格数据的文件夹路径 input_folder = '/path/to/input/folder/' # 设置输出栅格数据的文件夹路径 output_folder = '/path/to/output/folder/' # 获取输入文件夹中的所有栅格数据文件 file_list = os.listdir(input_folder) tif_list = [file for file in file_list if file.endswith('.tif')] # 遍历每个栅格数据文件 for tif_file in tif_list: # 打开栅格数据 input_path = os.path.join(input_folder, tif_file) input_ds = gdal.Open(input_path, gdalconst.GA_ReadOnly) # 获取栅格数据的投影信息、地理变换等 prj = input_ds.GetProjection() geotransform = input_ds.GetGeoTransform() # 根据裁剪范围创建输出栅格数据的文件名和路径 output_path = os.path.join(output_folder, tif_file) # 创建输出栅格数据 output_ds = gdal.Warp(output_path, input_ds, format='GTiff', cutlineDSName=extent, cropToCutline=True) # 关闭栅格数据文件 input_ds = None output_ds = None ``` 以上代码使用了`gdal`库来进行栅格数据的读取和裁剪操作。首先,设置要裁剪的区域范围(extent)和输入、输出文件夹的路径。然后,遍历输入文件夹中的每个栅格数据文件,在每次循环中,打开栅格数据文件,获取其投影信息和地理变换参数,并根据裁剪范围创建输出栅格数据的文件名和路径。最后,使用`gdal.Warp`函数对栅格数据进行裁剪,并关闭输入和输出栅格数据文件。 注意:以上代码仅为大致示例,并未完全测试,实际使用中可能需要根据具体数据格式和需求进行适当调整和优化。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值