天眼查 selenium模拟登录爬虫

最新推荐文章于 2024-07-09 11:06:28 发布
最新推荐文章于 2024-07-09 11:06:28 发布
阅读量1.3k 收藏 1
点赞数 1
分类专栏： reptile
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38250124/article/details/85238666
版权
本文介绍了使用Python的selenium库，结合Firefox头less模式实现天眼查网站的模拟登录和搜索操作。通过XPath定位元素，进行点击和输入，最后成功获取并打印了目标公司名称及成立日期等信息。
摘要由CSDN通过智能技术生成

phantomjs 已经不支持了，所以改用chrome或firefox headless，但是chrome headless 不稳定，容易出问题，

采用firefox headless ，

 

import time

 

from selenium import webdriver

 

options = webdriver.FirefoxOptions()

options.add_argument('-headless')

browser = webdriver.Firefox(options=options)

# browser=webdriver.Firefox()

browser.get('https://www.tianyancha.com/login')

browser.find_element_by_xpath('//*[@id="web-content"]/div/div[2]/div/div[2]/div/div[3]/div[1]/div[2]').click()

 

browser.find_element_by_xpath(

    '//*[@id="web-content"]/div/div[2]/div/div[2]/div/div[3]/div[2]/div[2]/input').send_keys('')

browser.find_element_by_xpath(

    '//*[@id="web-content"]/div/div[2]/div/div[2]/div/div[3]/div[2]/div[3]/input').send_keys('')

最低0.47元/天 解锁文章
AuroraPetard
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
selenium模拟爬虫
景霄之上的博客
03-16 247
1.为什么使用selenium 很多网站使用了ajax技术进行异步加载,直接使用requests抓取,只能抓取静态内容,无法抓取异步加载的ajax 2.selenium的基本加载和使用 # 需要安装 $ pip install selenium 启动浏览器的步骤 from selenium import webdriver # executable_path为驱动位置, geckodri...
python爬虫之天眼查模拟登录.zip
11-27
代码仅供参考学习~ 代码仅供参考学习~ 代码仅供参考学习~ 代码仅供参考学习~ 代码仅供参考学习~ 天眼查模拟登录 天眼查模拟登录是指通过爬虫脚本模拟用户在天眼查网站上进行登录，以方便执行需要登录权限的操作，如查看更多企业信息、导出数据等。 2. 实现目标： 使用Python编写爬虫脚本，模拟用户在天眼查网站上进行自动登录，获取登录后的页面信息
Python使用selenium过天眼查滑块验证码反爬实现模拟登录
csdn724647311的博客
02-20 5041
通过python的selenium突破天某查滑块验证码，实现模拟登录。
【爬虫】Python实现，模拟天眼查登录验证获取token
最新发布
扶摇直上
07-09 1423
注：本程序测试时期：2024.7.9，稳定可用天眼查登录接口升级更新之后，后台接口login接口登录运用了4代极验gt，js逆向部分相当复杂。不建议走js逆向接口登录。建议通过selenium自动化破解验证码登录，成功获取token，也同样可以完成稳定持续性爬虫。
学习系列之天眼查爬虫
u010512096的博客
11-07 3123
天眼查APP爬虫爬虫不用逆向app爬取天眼查 爬虫不用逆向app爬取天眼查 遇到个好人破解了天眼查app的参数加密，链接如下 https://blog.csdn.net/ggl1438/article/details/102937819 ...
基于selenium模拟天眼查登录并爬取企业工商信息的爬虫
04-23
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问
天眼查爬取企业信息-企业信用信息查询系统-天眼查爬虫
01-07
运行main_all.py即可爬取90%的天眼查公司 运行main_top100.py只爬取96个行业的前100家公司 运行main_search.py根据你的公司名搜索进行爬取指定公司 注意： 1，代理IP请自费或自力更生建免费IP池 2，本项目自带云数据库，可直接使用，用你的电脑直接加入爬虫计划，我愿称之为 “分布式”爬虫 3，如果想用自己的数据库，配置信息在 config.py里 修改为你的数据库和蘑菇代理appkey即可 4，此程序随时可停，随时可继续从上次停止的地方开始，不会重复爬取 5, 如果有其他问题，或者想要数据，加Q群： 231436610 步骤1： 查看data文件夹，看数据是否满足你的数据分析要求。 公司信息.xlsx 超过2万条的企业信息 行业TOP100.sql 各个行业Top100的企业信息 大概9000条记录。 步骤2： 如果数据不满足你的要求，你想操练一下，花点钱爽爽。 安装好mysql,建好表，sql文件夹下有建表脚本。 买好蘑菇代理或者其他代理池的代理 修改config.py 里面的配置，与数据库配置以及蘑菇代理API 的a
滑动验证码识别----解决天眼查自动登录问题
天才幻想家
06-11 6367
滑动验证码验证如下图所示： 解决这个问题的思路： 1、获取无缺口和有缺口的两张图片，即：下图所示： 2、对比两张图片的像素点，像素点差值超过一定值即可视为缺口点(这里对比像素点时最好将开始的那一部分截取出来不对比，因为滑块滑动的距离肯定不会为0)。 3、找到缺口之后计算活动距离，并模拟人工滑动滑块。 有了这个思路之后贴一下核心代码： 截取图片(首先需要定位到图片的位置并获...
scrapy 模拟登录
q328730422的博客
09-18 1228
注意：模拟登陆时，必须保证settings.py里的 COOKIES_ENABLED (Cookies中间件) 处于开启状态 COOKIES_ENABLED = True 或 # COOKIES_ENABLED = False 策略一：直接POST数据（比如需要登陆的账户信息) 只要是需要提供post数据的，就可以用这种方法。下面示例里post的数据是账户密码： # -*
天眼查企业查询爬虫
baidu_40492134的博客
07-07 6431
写一个天眼查的爬虫，大家有需要的可以直接拿来用,是基于selenium写的。所以使用之前得下载上这个插件。 爬的是上面的那个页面 from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC, wait from selenium.webdriver.common
基于selenium模拟天眼查登录并爬取企业注册等信息的爬虫
11-27
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器等
基于selenium模拟天眼查登录并爬取企业工商信息的python爬虫
05-04
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问;必须将deckodriver放在相同路径 记住：自己输入账号和密码！每次输入之后都要回车！
爬虫实战——天眼查企业信息
wurobb的博客
05-19 1615
【代码】【无标题】
【python爬虫实战】python3.7+selenium3.7 登录天眼查网站查询企业的公开信息
陈小超的技术博客
12-04 1674
【xpath使用详解】 http://www.cnblogs.com/VseYoung/p/8686383.html 通过xpath 父子节点、兄弟节点反查目标节点的方式来定位标签，使得python代码可读性和可维护性，大大增强。 【分析过程】 待补充   【实验结果】   【代码如下】 #!/usr/bin/python3 # -*- coding: utf-8 ...
Python自动化爬取天眼查数据
qq_36767214的博客
06-12 1万+
首先要注册一个账号密码
pythonselenium模拟登陆爬取信息_python3 使用selenium模拟登陆天眼查抓取数据
weixin_39771987的博客
12-10 683
由于之前用Scrapy 抓了一些公司的名称，但是没有准确的联系方式，所以就自己就学习了一下使用selenium自动化工具，速度比较慢，网上也有很多这方面的代码，但是大部分的网页解析部分都出错了，可能是这种网站定时会更改一下网页的固定几个标签。网上也有很多说如果遇到一些防爬虫特别强的网站，比如企查查...使用了滑动验证和图像验证码选择，实在是逆天，对于刚接触爬虫还是不要去选择攻破，可以考虑通过sel...
python爬虫从企查查获取企业信息-手工绕开企查查的登录验证
热门推荐
rock4you
03-06 3万+
爬虫绕开验证，从企查查获取企业信息
天眼查 selenium 登录
09-07
天眼查是一家提供企业信息查询和信用评估的网站，使用Selenium可以实现自动登录天眼查。下面是一种可以实现自动登录天眼查的Selenium代码示例： ```python from selenium import webdriver from selenium.webdriver...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值