【实战selenium框架下在爱企查爬取企业的历史变更信息】文末附Google浏览器和驱动的下载

已于 2024-05-15 13:07:10 修改
阅读量330 收藏 1
点赞数 3
文章标签： selenium chrome 爬虫
于 2024-05-15 10:30:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45363959/article/details/138897958
版权

代码如下

# 导入包
import random
import time
from tkinter import filedialog
import tkinter as tk
import xlrd
import os
import datetime
import csv
from selenium import webdriver
from selenium.webdriver import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC



def chooseFile():
    # 实例化
    root = tk.Tk()
    root.withdraw()
    # 获取文件夹路径
    f_path = filedialog.askopenfilename(title='选择公司列表文件', filetypes=[('xlsx', '*.XLSX'), ('xls', '*.xls')])
    if f_path == '':
        return f_path
    print('\n获取的文件地址：', f_path)
    # 打开文件
    with xlrd.open_workbook(f_path, formatting_info=False) as workbook:
        sheet1 = workbook.sheet_by_index(0)
    return f_path


def DList(tagList):
    nList = []
    if len(tagList) == 0:
        nList.append(" ")
        nList.append(" ")
        nList.append(" ")
    else:
        nList.append(tagList[0])
        nList.append(tagList[1])
        nList.append(tagList[2])

    return nList


def main():
    # 文件路径
    # xlsFile = "data//default_data_file.xlsx"
    xlsFile = chooseFile()
    if xlsFile == '':
        return
        # 打开文件
    workbook = xlrd.open_workbook(xlsFile, formatting_info=False)
    sheet1 = workbook.sheet_by_index(0)
    iIndex = 0
    allUrls = []

    while iIndex < sheet1.nrows:
        commodityId = str(sheet1.cell_value(iIndex, 0))
        allUrls.append([commodityId])
        iIndex = iIndex + 1

    currentDir = os.getcwd()  # "C:/scrapy" #os.path.dirname(os.path.abspath(__file__))
    dirName = currentDir + "//ouput//"
    curr_time = datetime.datetime.now()
    strNow = datetime.datetime.strftime(curr_time, '%Y%m%d%H%M%S')
    dirName = dirName + strNow
    os.makedirs(dirName)
    outCsv = dirName + "/out.csv"
    # region 定义浏览器
    # http请求头
    userAgent = [
        "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.289 Safari/537.36",
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0",
        "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.289 Safari/537.36",
        "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 SE 2.X MetaSr 1.0",
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.1311 SLBChan/128",
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.289 Safari/537.36",
        "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0"]
    # 指定谷歌的位置-- 本项目目录内，如果机器已经安装了Google浏览器。需要先卸载掉
    chrome_location = r'Chrome-bin\chrome.exe'
    # 定义options对象
    options = webdriver.ChromeOptions()
    options.binary_location = chrome_location
    # 1、禁止浏览器自动关闭
    options.add_experimental_option('detach', True)
    # 2、禁用测试控制
    options.add_experimental_option('excludeSwitches', ['enable-automation'])
    options.add_argument("--disable-blink-features")
    options.add_argument("--disable-extensions")
    options.add_argument("--disable-blink-features=AutomationControlled")
    options.add_argument('disable-infobars')
    options.add_argument('user-agent=%s' % userAgent[random.randint(1, 7)])  # 添加user-agent
    driver = webdriver.Chrome(options=options)
    driver.maximize_window()
    # 打开登录页
    driver.get("https://aiqicha.baidu.com/")
    # 随机等待1-3秒
    time.sleep(random.randint(799, 1999) / 1000)
    locator = (By.CLASS_NAME, 'login')
    try:
        WebDriverWait(driver, 25, 5.98).until(EC.presence_of_element_located(locator))
        # 找到登录按钮
        # driver.find_element(By.CLASS_NAME, "login").click()
        # time.sleep(random.randint(12799, 19999) / 1000)

    except Exception as e:
        print(f"打开爱企查首页发生异常{e}")

    # endregion
    with open(outCsv, "w") as csvfile:  # ,encoding='utf8' 增加编码
        csvwriter = csv.writer(csvfile, lineterminator='\n')

        outItems = {}
        outItems["公司名称"] = "公司名称"

        outItems["变更记录前-名称变更"] = "变更记录前-名称变更"
        outItems["变更记录后-名称变更"] = "变更记录后-名称变更"

        outItems["变更记录前-经营范围"] = "变更记录前-经营范围"
        outItems["变更记录后-经营范围"] = "变更记录后-经营范围"

        outItems["变更记录前-主要人员"] = "变更记录前-主要人员"
        outItems["变更记录后-主要人员"] = "变更记录后-主要人员"

        outItems["变更记录前-股东变更"] = "变更记录前-股东变更"
        outItems["变更记录后-股东变更"] = "变更记录后-股东变更"

        outItems["变更记录前-法定代表人"] = "变更记录前-法定代表人"
        outItems["变更记录后-法定代表人"] = "变更记录后-法定代表人"

        outItems["变更记录前-注册资金"] = "变更记录前-注册资金"
        outItems["变更记录后-注册资金"] = "变更记录后-注册资金"

        outItems["行政处罚"] = "行政处罚"
        csvwriter.writerow(outItems.values())
        for url in allUrls:
            lName1 = []
            lFanWei2 = []
            lMainMan3 = []
            lGuDong4 = []
            lFanRen5 = []
            lMoney6 = []

            outItems = {}
            commName = url[0]

            outItems["公司名称"] = commName

            try:

                # 确定搜索框元素
                search_box = driver.find_element(By.ID, "aqc-search-input")
                # 输入搜索关键词
                search_box.send_keys(commName)
                # 添加回车键进行搜索
                search_box.send_keys(Keys.RETURN)
                time.sleep(random.randint(12799, 19999) / 1000)

                title_list = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located(
                    (By.CSS_SELECTOR,
                     "body > "
                     " div.base.page-search.has-search-tab >"
                     " div.aqc-content-wrapper.has-footer >"
                     " div > "
                     " div.main >"
                     " div.list-wrap > "
                     " div.company-list > "
                     " div.wrap > "
                     " a.card")))
                print("enen", title_list)
                # 点击条目
                title_list[0].click()
                # 获取driver的句柄
                n = driver.window_handles
                # driver切换至最新生产的页面
                driver.switch_to.window(n[-1])
                # 等一会
                time.sleep(3)

                #
                # 获取企业详情
                detailInfo = driver.find_elements(By.ID, "basic-change")[0].text.split('\n')
                for i in range(len(detailInfo)):
                    print(detailInfo[i])
                    ################名称变更
                    if len(detailInfo[i].split(' ')) == 3 and "名称变更" in detailInfo[i] and len(lName1) == 0:
                        lName1.append(1)
                        lName1.append(detailInfo[i + 1])
                        lName1.append(detailInfo[i + 2])
                        continue
                    ################注册资本变更
                    if len(detailInfo[i].split(' ')) == 3 and "注册资本" in detailInfo[i] and len(lMoney6) == 0:
                        lMoney6.append(6)
                        lMoney6.append(detailInfo[i + 1])
                        lMoney6.append(detailInfo[i + 2])
                        continue
                    ################主要人员变更
                    if len(detailInfo[i].split(' ')) == 3 and "主要人员" in detailInfo[i] and len(lMainMan3) == 0:
                        lMainMan3.append(3)
                        lMainMan3.append(detailInfo[i + 2])
                        lMainMan3.append(detailInfo[i + 3])
                        continue
                    ################股东信息变更
                    if len(detailInfo[i].split(' ')) == 3 and "股东" in detailInfo[i] and len(lGuDong4) == 0:
                        lGuDong4.append(4)
                        lGuDong4.append(detailInfo[i + 1])
                        lGuDong4.append(detailInfo[i + 2])
                        continue
                    ################经营范围变更
                    if len(detailInfo[i].split(' ')) == 3 and "经营范围变更" in detailInfo[i] and len(lFanWei2) == 0:
                        lFanWei2.append(2)
                        lFanWei2.append(detailInfo[i + 1])
                        lFanWei2.append(detailInfo[i + 2])
                        continue
                    ################法定代表人变更
                    if len(detailInfo[i].split(' ')) == 3 and "法定代表人" in detailInfo[i] and len(lFanRen5) == 0:
                        lFanRen5.append(5)
                        lFanRen5.append(detailInfo[i + 1])
                        lFanRen5.append(detailInfo[i + 2])
                        continue
                time.sleep(3.7)
                try:
                    # 看看有没有下一页
                    m = 0
                    while True:
                        m = m + 1
                        print("开始翻页", m)
                        driver.find_element(By.CLASS_NAME, "ivu-page-next").click()
                        detailInfo = driver.find_elements(By.ID, "basic-change")[0].text.split('\n')
                        for i in range(len(detailInfo)):
                            print(detailInfo[i])
                            ################名称变更
                            if len(detailInfo[i].split(' ')) == 3 and "名称变更" in detailInfo[i] and len(lName1) == 0:
                                lName1.append(1)
                                lName1.append(detailInfo[i + 1])
                                lName1.append(detailInfo[i + 2])
                                continue
                            ################注册资本变更
                            if len(detailInfo[i].split(' ')) == 3 and "注册资本" in detailInfo[i] and len(lMoney6) == 0:
                                lMoney6.append(6)
                                lMoney6.append(detailInfo[i + 1])
                                lMoney6.append(detailInfo[i + 2])
                                continue
                            ################主要人员变更
                            if len(detailInfo[i].split(' ')) == 3 and "主要人员" in detailInfo[i] and len(lMainMan3) == 0:
                                lMainMan3.append(3)
                                lMainMan3.append(detailInfo[i + 2])
                                lMainMan3.append(detailInfo[i + 3])
                                continue
                            ################股东信息变更
                            if len(detailInfo[i].split(' ')) == 3 and "股东" in detailInfo[i] and len(lGuDong4) == 0:
                                lGuDong4.append(4)
                                lGuDong4.append(detailInfo[i + 1])
                                lGuDong4.append(detailInfo[i + 2])
                                continue
                            ################经营范围变更
                            if len(detailInfo[i].split(' ')) == 3 and "经营范围变更" in detailInfo[i] and len(lFanWei2) == 0:
                                lFanWei2.append(2)
                                lFanWei2.append(detailInfo[i + 1])
                                lFanWei2.append(detailInfo[i + 2])
                                continue
                            ################法定代表人变更
                            if len(detailInfo[i].split(' ')) == 3 and "法定代表人" in detailInfo[i] and len(lFanRen5) == 0:
                                lFanRen5.append(5)
                                lFanRen5.append(detailInfo[i + 1])
                                lFanRen5.append(detailInfo[i + 2])
                                continue
                        time.sleep(3.7)
                except Exception as ppa:
                    print(f"点击到下一页异常{ppa}")
            except Exception as eep:
                print(f"获取公司信息异常{eep}")

            # 保存数据

            outItems["变更记录前-名称变更"] = DList(lName1)[1]
            outItems["变更记录后-名称变更"] = DList(lName1)[2]

            outItems["变更记录前-经营范围"] = DList(lFanWei2)[1]
            outItems["变更记录后-经营范围"] = DList(lFanWei2)[2]

            outItems["变更记录前-主要人员"] = DList(lMainMan3)[1]
            outItems["变更记录后-主要人员"] = DList(lMainMan3)[2]

            outItems["变更记录前-股东变更"] = DList(lGuDong4)[1]
            outItems["变更记录后-股东变更"] = DList(lGuDong4)[2]

            outItems["变更记录前-法定代表人"] = DList(lFanRen5)[1]
            outItems["变更记录后-法定代表人"] = DList(lFanRen5)[2]

            outItems["变更记录前-注册资金"] = DList(lMoney6)[1]
            outItems["变更记录后-注册资金"] = DList(lMoney6)[2]


            try:
                driver.find_element_by_xpath("//span[text()='行政处罚']").click()
                outItems["行政处罚"] = "是"
            except Exception as eep:
                outItems["行政处罚"] = "否"



            csvwriter.writerow(outItems.values())
            csvfile.flush()
            time.sleep(random.randint(5000, 10000) / 1000)
            # 返回首页
            driver.find_element(By.CLASS_NAME, "header-img").click()


# 主函数
if __name__ == '__main__':
    main()

一口气搞定，功能算是实现了，细节有空再优化

Google浏览器和驱动下载点这里

weixin_45363959
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Python】UI 自动化测试：Selenium 自动化框架 —— 火狐、谷歌、IE 浏览器和驱动下载
顾三殇 —— 博客空间（软件测试）
01-09 2306
目录 一、火狐浏览器和驱动下载 二、谷歌浏览器和驱动下载 三、IE 浏览器和驱动下载 四、selenium 驱动下载 一、火狐浏览器和驱动下载 （1）selenium和火狐、浏览器驱动的版本对应： ①Selenium2：不用安装火狐浏览器驱动，便可以支持Firefox 46以下版本的火狐浏览器： 根据Selenium2的版本安装相应版本的Firefox即可兼容。若selenium2...
基于Python Selenium在Edge浏览器下爬取商品信息
Wanyunshou2018的博客
11-03 2779
问题背景描述 最近跑一个爬虫作业的时候用到了selenium，用的模板是Chrome浏览器的，而我自己用的是Edge，所以在一些代码上需要进行改动，否则会报错，比如Edge浏览器启动项。这里记录一下，也给有同样需要的人提供参考。其中借鉴了一些其他文章，我会放在末尾。 工具准备 工具一：需要下载Edge专用的驱动，网址为Edge Driver。 下载完成后，放入python脚本同一目录下，我用的是jupyter，所以我放的如图： 需要注意的是，下载完要改名字，改为：‘MicrosoftWebDriver.e
利用python加selenium模拟浏览器爬取百度爱企查企业详细信息
aabbcccddd01的博客
02-05 6381
目录说明企查查网页构成方式代码与详解 说明 本人不是什么爬虫大佬，只是最近在做一个项目的时候需要根据企业的名称把企业的信息爬取下来，例如营业执照、工商注册号等。在网上找了很多的信息与资源，都不是很符合我们的需求，是一种比较低频的爬虫需求，最开始是在企查查上面做的爬虫，但是这个平台经常需要登录，造成我们经常访问失败（其实也是楼主不会在爬虫的时候绕过登录????）。 后来就在百度的爱企查平台进行爬虫，毕竟大平台，对我们这种低频的爬虫容忍很大，目前为止没有产生需要登陆的情况。刚开始参考了一篇CSDN博客， 这篇文
Selenium实战-模拟登录淘宝并爬取商品信息
学而思(xiejava的blog)
02-26 4238
现在很多网站要获取数据都得要先登录。Selenium是一个用于Web应用程序测试的自动化工具。它直接运行在浏览器中，模拟真实用户的操作。本文介绍如何通过Selenium来登录淘宝并自动爬取商品信息。
基于chrome浏览器的selenium自动化测试和爬取名言和京东商品信息
weixin_46075647的博客
12-17 2006
文章目录一、selenium介绍二、准备工作1、下载selenium2、下载chrome浏览器驱动三、自动化测试四、爬取名言五、爬取淘宝商品信息六、总结七、参考链接 一、selenium介绍 Selenium是一系列基于Web的自动化工具，提供一套测试函数，用于支持Web自动化测试。函数非常灵活，能够完成界面元素定位、窗口跳转、结果比较。具有如下特点： 一、多浏览器支持 可以对多浏览器进行测试，如IE、Firefox、Safari、Chrome、Android手机浏览器等。 二、支持多种语言
python selenium 不用下载驱动且能执行js 代码爬取网页
热门推荐
东方佑
03-04 8万+
【代码】python selenium 不用下载驱动且能执行js 代码爬取网页。
selenium安装，以及浏览器驱动下载
m0_64246607的博客
05-07 5090
Specify version：选择下载包的版本。install package：开始下载包。输入selenium。
正经网站爬虫实战，如何快速使用Selenium爬取租房信息
刘滨浩的博客
02-17 2358
摘要        爬虫有风险，谨慎防入狱。你我皆是遵纪守法的好公民，怎么会爬虫这种面向监狱编程的技巧呢？这次就发几个简单的请求抓两条数据吧。笔者以前曾经也专门做过爬虫的工作（人称爬哥），后来见各位同行入狱笔者见事不妙跑路了，首先爬虫只是一种工具，望诸君坚守本心，在允许的情况下抓抓数据还是莫得问题的，这次笔者将使用python大法，再配合自动化神器selenium来爬个正经网站。 1.技术选型 1.1 Selenium  &n
基于selenium模拟天眼查登录并爬取企业注册等信息的爬虫
11-27
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆...
基于selenium模拟天眼查登录并爬取企业工商信息的爬虫
04-23
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆...
基于selenium模拟天眼查登录并爬取企业工商信息的python爬虫
05-04
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆...
google浏览器chromedriver驱动下载【chrome版本:102.0.5005.61】
10-21
内容概述：ChromeDriver.exe是一款实用的chrome浏览器驱动工具，能够用于自动化测试、网络爬虫和操作浏览器，其主要作用是模拟浏览器操作，在使用时需要与对应的chrome浏览器版本匹配，否则无法驱动。 应用场景：...
使用selenium打开浏览器之后，有浏览器内部的提示设置默认浏览器等，怎么屏蔽或关闭这些提示
liweiweili126的博客
05-28 331
当使用Selenium打开浏览器时，可能会遇到浏览器内部的一些提示或弹窗，例如设置默认浏览器的提示。你可以通过配置选项或设置浏览器参数来屏蔽或关闭这些提示。请注意，不同的浏览器和浏览器版本可能具有不同的配置选项和参数。因此，建议查阅相关的浏览器驱动程序文档，了解更多关于禁用或关闭特定提示的详细信息。对于其他浏览器，你可以查阅相关文档或参考其对应的浏览器驱动程序的配置选项，以了解如何禁用或关闭特定的提示或弹窗。
pytest断言与Selenium模拟操作的规划案例
weixin_42771529的博客
05-29 991
在使用pytest进行自动化测试时，断言是验证测试结果是否符合预期的关键步骤。pytest提供了简洁的断言语法，使得编写测试用例更加直观和易于维护。以下是一个简单的规划案例，展示了如何在pytest中使用断言来验证Selenium模拟操作的结果。实验目的学习使用pytest进行自动化测试的基本流程。掌握pytest中的断言方法及其在Selenium测试中的应用。通过实际操作，理解断言失败时的处理机制。实验步骤。
pytest的断言与Selenium 模拟操作的一个例子
weixin_42771529的博客
05-29 624
结合这两者，我们可以编写自动化测试脚本来验证网页的行为是否符合预期。下面是一个简单的例子，展示了如何使用。，你需要下载相应浏览器的WebDriver，并将它的路径添加到系统的PATH环境变量中，或者在你的脚本中指定其绝对路径。：这个方法同样打开一个网页，然后模拟点击页面上的一个按钮，并检查页面上的某个元素是否显示了预期的文本。和按钮的ID、类名都是假设的，你需要替换为你实际要测试的网页和元素的属性。语句检查页面的标题是否包含预期的文本。在这个例子中，我们创建了一个测试类。请注意，这个例子中的。
使用Selenium获取框架内网页源码
weixin_42771529的博客
05-29 205
首先，确保您已经安装了Selenium库以及对应的WebDriver。例如，如果您使用的是Chrome浏览器，则需要下载ChromeDriver。以上步骤展示了如何使用Selenium获取网页源码，包括处理iframe等特殊情况。如果网页中包含iframe，您需要先切换到iframe内部，然后再获取其中的网页源码。编写Python脚本，导入必要的Selenium模块，并创建浏览器操作对象。如果您需要获取特定元素的HTML源码，可以使用XPath定位该元素，然后使用。属性来获取整个页面的HTML源码。
Pytest 和 Selenium 的结合的一个例子及注意事项
weixin_42771529的博客
05-29 926
创建一个测试函数，并在函数上使用。
Vue3兼容低版本浏览器（ie11，chrome63）
最新发布
chajinglong的专栏
05-29 253
为了使你的项目兼容 Chrome 63，你需要确保包含适当的 polyfills 和插件配置。插件，但在代码中可能缺少一些配置或插件顺序有问题。build构建的时候，可能会出现内存溢出的情况，以下构建调整最大内存大小。中被正确引入和配置。
如何使用selenium查询CIR毒理数据然后爬取
04-18
您可以使用Python中的selenium库来查询CIR毒理数据并爬取它们。以下是Python代码示例： ```python from selenium import webdriver # 设置selenium浏览器 driver = webdriver.Chrome() # 搜索并打开CIR数据库页面 driver.get('https://www.cir-safety.org/search/node') # 找到查询输入框并输入需要查询的毒理数据 query_box = driver.find_element_by_name('keys') query_box.send_keys('toxicology data') # 提交查询 query_box.submit() # 找到结果页面并提取信息 results = driver.find_elements_by_css_selector('.search-title a') for result in results: print(result.text) # 关闭浏览器 driver.quit() ``` 请注意，这只是一个示例。您可能需要根据自己的需求进行适当的更改以查询和爬取CIR毒理数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值