自动化爬虫seleium获取tianyancha数据

最新推荐文章于 2023-09-17 21:00:00 发布
最新推荐文章于 2023-09-17 21:00:00 发布
阅读量345 收藏
点赞数
分类专栏： 软硬件与前后端详解 文章标签： python selenium xpath window
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liaoqingjian/article/details/116784225
版权

1.seleium进入tianyancha

2.代码


import xlwt
from selenium import webdriver

from selenium.webdriver.common.keys import Keys
import time

columns = ['公司名称','法定代表人','统一社会信用代码','营业期限','公司类型','参保人数','曾用名','注册地址','经营范围','经营状态','成立日期','注册资本','实缴资本','纳税人识别号','纳税人资质','行业','登记机关','英文名称','工商注册号',
           '组织机构代码','核准日期','人员规模']
workbook = xlwt.Workbook(encoding="utf-8")
worksheet = workbook.add_sheet('My Worksheet')
for k in range(len(columns)):
    worksheet.write(0, k, columns[k])
    workbook.save('Tian_yan_cha.xls')


def search_product():
    driver = webdriver.Chrome()
    driver.get("https://www.tianyancha.com/login")
    driver.maximize_window()  # 窗口最大化
    print("等待扫码登录......")
    time.sleep(30)  # 等待扫码登录或者输入密码登录
    b = []
    a = 0
    with open("a.txt", 'r', encoding="utf-8") as f:
        t = f.read()
        for i in t.split("\n"):
            b.append(i)
        print(b)
    for j in b:
        a = a + 1
        if a == 1:
            driver.find_element_by_id('home-main-search').send_keys(b[a - 1])  # key为传的形参
            driver.find_element_by_class_name("input-group-btn").click()  # 点击搜索按钮
            worksheet.write(a, 0, b[a - 1])
            workbook.save('Tian_yan_cha.xls')
            name = driver.find_element_by_xpath('//div[@class="content"]/div[3]/div[1]/a').text
            print(name)
            worksheet.write(a, 1, name)
            workbook.save('Tian_yan_cha.xls')
            driver.find_element_by_xpath('//div[@class="result-list sv-search-container"]/div[1]//div[@class="content"]/div[@class="header"]/a').send_keys(Keys.ENTER)

            windows = driver.window_handles
            driver.switch_to.window(windows[-1])
            time.sleep(3)
            c = driver.find_element_by_xpath('//div[@id="_container_baseInfo"]/table/tbody/tr[5]/td[2]').text
            worksheet.write(a, 2, c)
            workbook.save('Tian_yan_cha.xls')

            d = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[6]/td[2]/span').text
            worksheet.write(a, 3, d)
            workbook.save('Tian_yan_cha.xls')

            e = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[7]/td[2]').text
            worksheet.write(a, 4, e)
            workbook.save('Tian_yan_cha.xls')

            f = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[8]/td[2]').text
            worksheet.write(a, 5, f)
            workbook.save('Tian_yan_cha.xls')

            g = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[9]/td[2]').text
            worksheet.write(a, 6, g)
            workbook.save('Tian_yan_cha.xls')

            h = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[10]/td[2]').text
            worksheet.write(a, 7, h)
            workbook.save('Tian_yan_cha.xls')

            i = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[11]/td[2]/span').text
            worksheet.write(a, 8, i)
            workbook.save('Tian_yan_cha.xls')

            j = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[1]/td[4]').text
            worksheet.write(a, 9, j)
            workbook.save('Tian_yan_cha.xls')

            k = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[2]/td[2]').text
            worksheet.write(a, 10, k)
            workbook.save('Tian_yan_cha.xls')

            l = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[3]/td[2]/div').text
            worksheet.write(a, 11, l)
            workbook.save('Tian_yan_cha.xls')

            m = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[4]/td[2]').text
            worksheet.write(a, 12, m)
            workbook.save('Tian_yan_cha.xls')

            n = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[5]/td[4]').text
            worksheet.write(a, 13, n)
            workbook.save('Tian_yan_cha.xls')

            o = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[6]/td[4]').text
            worksheet.write(a, 14, o)
            workbook.save('Tian_yan_cha.xls')

            p = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[7]/td[4]').text
            worksheet.write(a, 15, p)
            workbook.save('Tian_yan_cha.xls')

            q = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[8]/td[4]').text
            worksheet.write(a, 16, q)
            workbook.save('Tian_yan_cha.xls')

            r = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[9]/td[4]').text
            worksheet.write(a, 17, r)
            workbook.save('Tian_yan_cha.xls')

            s = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[4]/td[4]').text
            worksheet.write(a, 18, s)
            workbook.save('Tian_yan_cha.xls')

            t = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[5]/td[6]').text
            worksheet.write(a, 19, t)
            workbook.save('Tian_yan_cha.xls')

            u = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[6]/td[6]').text
            worksheet.write(a, 20, u)
            workbook.save('Tian_yan_cha.xls')

            v = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[7]/td[6]').text
            worksheet.write(a, 21, v)
            workbook.save('Tian_yan_cha.xls')
			driver.close()
            driver.switch_to.window(windows[0])
            print("1")
        else:
            driver.find_element_by_class_name("clear-input").click()  # 清空搜索框中的内容
            driver.find_element_by_id('header-company-search').send_keys(b[a - 1])  # key为传的形参
            driver.find_element_by_class_name("input-group-btn").click()  # 点击搜索按钮
            worksheet.write(a, 0, b[a - 1])
            workbook.save('Tian_yan_cha.xls')

            name = driver.find_element_by_xpath('//div[@class="content"]/div[3]/div[1]/a').text
            worksheet.write(a, 1, name)
            workbook.save('Tian_yan_cha.xls')

            driver.find_element_by_xpath('//div[@class="result-list sv-search-container"]/div[1]//div[@class="content"]/div[@class="header"]/a').send_keys(Keys.ENTER)

            windows = driver.window_handles
            driver.switch_to.window(windows[-1])
            
            c = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[5]/td[2]').text
            worksheet.write(a, 2, c)
            workbook.save('Tian_yan_cha.xls')

            d = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[6]/td[2]/span').text
            worksheet.write(a, 3, d)
            workbook.save('Tian_yan_cha.xls')

            e = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[7]/td[2]').text
            worksheet.write(a, 4, e)
            workbook.save('Tian_yan_cha.xls')

            f = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[8]/td[2]').text
            worksheet.write(a, 5, f)
            workbook.save('Tian_yan_cha.xls')

            g = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[9]/td[2]').text
            worksheet.write(a, 6, g)
            workbook.save('Tian_yan_cha.xls')

            h = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[10]/td[2]').text
            worksheet.write(a, 7, h)
            workbook.save('Tian_yan_cha.xls')

            i = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[11]/td[2]/span').text
            worksheet.write(a, 8, i)
            workbook.save('Tian_yan_cha.xls')

            j = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[1]/td[4]').text
            worksheet.write(a, 9, j)
            workbook.save('Tian_yan_cha.xls')

            k = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[2]/td[2]').text
            worksheet.write(a, 10, k)
            workbook.save('Tian_yan_cha.xls')

            l = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[3]/td[2]/div').text
            worksheet.write(a, 11, l)
            workbook.save('Tian_yan_cha.xls')

            m = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[4]/td[2]').text
            worksheet.write(a, 12, m)
            workbook.save('Tian_yan_cha.xls')

            n = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[5]/td[4]').text
            worksheet.write(a, 13, n)
            workbook.save('Tian_yan_cha.xls')

            o = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[6]/td[4]').text
            worksheet.write(a, 14, o)
            workbook.save('Tian_yan_cha.xls')

            p = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[7]/td[4]').text
            worksheet.write(a, 15, p)
            workbook.save('Tian_yan_cha.xls')

            q = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[8]/td[4]').text
            worksheet.write(a, 16, q)
            workbook.save('Tian_yan_cha.xls')

            r = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[9]/td[4]').text
            worksheet.write(a, 17, r)
            workbook.save('Tian_yan_cha.xls')

            s = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[4]/td[4]').text
            worksheet.write(a, 18, s)
            workbook.save('Tian_yan_cha.xls')

            t = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[5]/td[6]').text
            worksheet.write(a, 19, t)
            workbook.save('Tian_yan_cha.xls')

            u = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[6]/td[6]').text
            worksheet.write(a, 20, u)
            workbook.save('Tian_yan_cha.xls')

            v = driver.find_element_by_xpath('//table[@class="table -striped-col -breakall"]//tr[7]/td[6]').text
            worksheet.write(a, 21, v)
            workbook.save('Tian_yan_cha.xls')
			driver.close()
            driver.switch_to.window(windows[0])
            print("2")
    driver.quit()


if __name__ == '__main__':
    search_product()

在这里插入图片描述

如何使用 Python 爬虫 Scrapy 获取网页（某度）内容？
weixin_43263566的博客
06-08 1787
如何使用 Python 爬虫 Scrapy 获取网页内容？
如何利用Python爬虫抓取某眼查网站中的q业信息？
weixin_43263566的博客
06-07 2664
因此，该专栏的更新会比较随缘，主要会在以后遇到实用的Python脚本时进行分享。最近在朋友圈看到了一个Python爬虫兼职的机会，但是由于一些原因我没有接到，于是我自己写了一个某眼查搜索结果爬取的Python脚本。也是运行不起来了，我懒的排查修改了，我这些直接使用PyQt5和WebKit来构建重新构建脚本了，这种方法构建脚本更加简单，使用也方便。首先，询问用户要保存的文件类型，并根据用户的输入进行判断和处理。这段脚本使用Python和PyQt5库，实现了一个简单的网页搜索功能，并将搜索结果保存到本地文件。
python应用：selenium之爬取天眼查信息
weixin_30723433的博客
01-20 1487
inform_table.py 1 # -*-coding:utf8-*- 2 3 from selenium import webdriver 4 from selenium.webdriver.common.proxy import Proxy 5 from selenium.webdriver.common.proxy import ProxyT...
python+selenium+xpath 爬取天眼查工商基本信息
weixin_30235225的博客
08-27 888
# -*- coding:utf-8 -*-# author: kevin# CreateTime: 2018/8/16# software-version: python 3.7import timefrom selenium import webdriverfrom selenium.webdriver import Firefoximport osclass GetCompanyInfo(o...
基于selenium模拟天眼查登录并爬取企业工商信息的python爬虫
05-04
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问;必须将deckodriver放在相同路径 记住：自己输入账号和密码！每次输入之后都要回车！
基于selenium模拟天眼查登录并爬取企业工商信息的爬虫
04-23
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问
采用seleium爬虫-Tianyancha
萧鼎的博客
05-07 130
1.seleium自动化安装 2.完整代码 import xlwt from selenium import webdriver import time columns = ['公司名称', '公司电话号码', '公司地址'] workbook = xlwt.Workbook(encoding="utf-8") worksheet = workbook.add_sheet('My Worksheet') for k in range(len(columns)): worksheet.write(0
天眼查数据抓取 自动登陆 跳转抓取 翻页 写入数据库.zip
03-03
这个项目展示了如何利用编程工具自动化获取网络数据并进行存储，对于理解网络爬虫的工作原理以及C#在数据抓取领域的应用有着实际的指导意义。在实际操作中，开发者还需要考虑如何处理反爬策略，如验证码、IP限制等...
Selenium自动化爬虫
weixin_40547993的博客
04-20 1042
Selenium爬取淘宝关键词搜索ipad页面信息，并保存到csv文件中： #!/usr/bin/python # -*- coding: UTF-8 -*- """ @author:Awen @file:spidertaobao.py @time:2020/04/20 """ from selenium import webdriver from selenium.common.except...
【python爬虫实战】python3.7+selenium3.7 登录天眼查网站查询企业的公开信息
陈小超的技术博客
12-04 1715
【xpath使用详解】 http://www.cnblogs.com/VseYoung/p/8686383.html 通过xpath 父子节点、兄弟节点反查目标节点的方式来定位标签，使得python代码可读性和可维护性，大大增强。 【分析过程】 待补充   【实验结果】   【代码如下】 #!/usr/bin/python3 # -*- coding: utf-8 ...
基于selenium模拟天眼查登录并爬取企业注册等信息的爬虫
04-21
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器等等
Selenium 根据输入的公司名称来爬取公司的详细信息
qq_40694671的博客
10-04 2203
Selenium 根据输入的公司名称来爬取公司的详细信息1、下载驱动 1、下载驱动
天眼查企业名称爬取极简版（部分代码）#python#selenium
m0_73284237的博客
09-08 261
爬虫 — 自动化爬虫 Selenium
最新发布
记录学习过程，欢迎讨论交流~
09-17 1328
用 Selenium 爬取网页时，当前访问的 url 就是爬虫当中的目标 url，获取内容只要是页面上可见的，都可以爬取（可见即可爬）。
GUI自动化 - 浏览器与企业微信之间自由切换、复制验证码
ryanlll3的博客
10-02 492
【代码】GUI自动化 - 浏览器与企业微信之间自由切换、复制验证码。
python之Selenium+pyquery爬取有大量反爬虫的天眼查
热门推荐
NH4L的博客
12-06 1万+
天眼查：一个还有大量公司的信息的网站。所以反爬程度是相当高的，
pythonselenium模拟登陆爬取信息_python3 使用selenium模拟登陆天眼查抓取数据
weixin_39771987的博客
12-10 736
由于之前用Scrapy 抓了一些公司的名称，但是没有准确的联系方式，所以就自己就学习了一下使用selenium自动化工具，速度比较慢，网上也有很多这方面的代码，但是大部分的网页解析部分都出错了，可能是这种网站定时会更改一下网页的固定几个标签。网上也有很多说如果遇到一些防爬虫特别强的网站，比如企查查...使用了滑动验证和图像验证码选择，实在是逆天，对于刚接触爬虫还是不要去选择攻破，可以考虑通过sel...
python实现自定义搜索内容的天眼查爬虫
m0_49710816的博客
09-27 4989
声明：爬虫技术话题比较敏感，本文仅作技术交流，不得用作任何非法途径 用python实现一个简单的小爬虫，可以把你输入的文本作为关键字，向天眼查发起请求，得到返回的页面，然后清洗网页，得到数据，存储在本地。比如我最近有个需求，查询某市注册资本超过500w的教培公司名称、数量、地址。示例只做了简单的反爬，配置了一下headers参数，修改cookie参数即可使用。 这是代码运行效果 使用前需要配置requests库和BeautifulSoup库 代码注释的很详细，就不赘述了，直接上代码，拿来吧你！！！ 定义请
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

萧鼎

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值