使用requests抓取天眼查信息

最新推荐文章于 2024-09-13 22:22:02 发布
最新推荐文章于 2024-09-13 22:22:02 发布
阅读量2.7k 收藏 5
点赞数 2
分类专栏： requests
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39928840/article/details/81386983
版权

大家在抓取的过程中，肯定遇见过有些内容需要在登陆之后才能抓取的，上一篇中为大家带来了使用selenium抓取天眼查保存到excel.但是selenium效率慢的怀疑人生，今天呢，为大家带来的是使用requests抓取天眼查，很简单，说一下headers部分，携带的cookis是已经登陆过的，重点是在浏览器中将登陆过的headers请求头复制下来，然后找对链接请求传参就行了。好了，话不多说，由于比较简单，就没有写注释，如有看不明白的地方，欢迎留言！上图！
这里写图片描述
下边是抓下来的效果图：
这里写图片描述
就这么多了，是不是很简单呢，所以说，爬虫，思路很重要，如有兴趣的小伙伴，可以尝试将代码改为多线程哦

习风的博客
关注
专栏目录
天眼查最新方式工商信息爬取（公开信息）
猿小白的博客
10-13 1819
本章教程，主要介绍利用python效率提取天眼查公开工商信息。教程仅供参考，请勿滥用，由此带来的法律责任，需由自己承担。
java天眼查爬虫
05-19
使用jsoup做的java爬虫, 登录自己的天眼查账号, 爬取公司详细数. 不足: 大概执行100次请求之后会被识别为机器人.
天眼查&企查查公司信息爬虫：高效的数据采集工具
gitblog_07714的博客
09-13 1109
天眼查&企查查公司信息爬虫：高效的数据采集工具 company-crawler 天眼查爬虫&企查查爬虫，指定关键字爬取公司信息 项目地址: https://gitcode.com/gh_mirrors/co/company...
用Java抓取天眼查公开失信人员信息
weixin_44617651的博客
12-25 497
生意不管是大生意小生意讲究的是信用，如果信用不好的人，想必也没有人愿意和他做生意，最近我有几个朋友不是搞的装潢公司么，接了几个单子，想要问问通过一些信息能否查查对方是否是失信人员，当然都是通过正规渠道来的，还是老规矩，直接通过代码过去自动识别抓取。
java 模拟天眼查登陆,scrapy，我想模拟登陆天眼查网站，那个网站要滑动对齐验证，我能怎么办才能模拟登陆成功呢？...
weixin_32375895的博客
03-10 293
这是我模拟登陆的核心代码：def __init__(self):dcap = dict(webdriver.DesiredCapabilities.PHANTOMJS) # 设置userAgent# dcap[# "phantomjs.page.settings.userAgent"] = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:...
基于selenium模拟天眼查登录并爬取企业工商信息的爬虫
04-23
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问
基于selenium模拟天眼查登录并爬取企业工商信息的python爬虫
05-04
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问;必须将deckodriver放在相同路径 记住：自己输入账号和密码！每次输入之后都要回车！
天眼查公司数据抓取 自动登陆 跳转抓取 翻页 写入数据库
09-09
本项目涉及的主题是“天眼查公司数据抓取、自动登录、跳转抓取、翻页及写入数据库”。下面将详细阐述这个过程中涉及到的关键知识点。 1. **数据抓取（Web Scraping）**： - 数据抓取是指通过编程方式从网站上获取...
天眼查爬虫&企查查爬虫，指定关键字爬取公司信息.zip
03-02
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
天眼查爬虫学习demo
01-22
本项目“天眼查爬虫学习demo”聚焦于使用Python编程语言进行网络爬虫的开发，主要涉及到以下几个核心知识点： 1. Python基础知识：Python是爬虫开发的常用语言，因其语法简洁、库丰富而深受开发者喜爱。你需要了解...
python爬取天眼查存入excel表格_python爬取企查查江苏企业信息生成excel表格
weixin_30899789的博客
01-15 1465
1.前期准备具体请查看上一篇2.准备库requests,BeautifulSoup,xlwt,lxml1.BeautifulSoup：是专业的网页爬取库，方便抓取网页信息2.xlwt：生成excel表格3.lxml：xml解析库3.具体思路企查查网站具有一定的反爬机制，直接爬取会受到网站阻拦，所以我们需要模拟浏览器请求，绕过反爬机制，打开企查查网站，获取cookie及一系列请求头文件，然后使用Be...
天眼查抓取脚本tianyancha.py
08-30
天眼查抓取脚本tianyancha.py
天眼查pc端公司信息抓取
weixin_42357472的博客
11-14 3225
#主要是异常处理和反爬处理 1.异常处理就是有的公司不是公开的数据没有所以需要判断，不然程序会出错 2.反爬页面浏览多了会需要登录，这边用cookie处理 import requests from lxml import etree gs=[] headers={ "Accept": "text/html,application/xhtml+xml,application/xml;...
Java 爬虫
炸酱面的博客
04-16 435
条件 目标网页：天眼查 条件：注册资金3000万左右 结果数据：公司名称，法人姓名，公司logo 代码 依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency>
某眼查的逆向
qq_34949842的博客
08-27 1570
​一: 准备 APP: 某眼查 版本: 11.4.0 工具: xposed, FDex2, JustTrustMe, Fiddler, jadx 二. 抓包 1. 打开Fiddler,打开天眼查抓包(开启JustTrustMe能抓到包) 我们抓取工商信息这块,查看Fiddler上面的body这块,因为传输数据,所以包肯定是比较大的,点开看右边的json格式能看到和工商信息里面的相符的内容,说明这就是我们需要抓取的数据包了. 查看抓到包的请求头,找出我们需要自动生成的参数: tyc-hi, Aut
天眼查反爬的曲线救国道路-爬取红盾网企业信息（Python爬虫实战）
shaomingmin的博客
05-09 1489
先在这里给出红盾网抓取企业信息代码，有时间再去研究如果对天眼查进行企业信息抓取，后续更新… import requests import time from lxml import etree headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3730.400 QQB
学习系列之天眼查爬虫
u010512096的博客
11-07 3180
天眼查APP爬虫爬虫不用逆向app爬取天眼查 爬虫不用逆向app爬取天眼查 遇到个好人破解了天眼查app的参数加密，链接如下 https://blog.csdn.net/ggl1438/article/details/102937819 ...
python实现自定义搜索内容的天眼查爬虫
m0_49710816的博客
09-27 4782
声明：爬虫技术话题比较敏感，本文仅作技术交流，不得用作任何非法途径 用python实现一个简单的小爬虫，可以把你输入的文本作为关键字，向天眼查发起请求，得到返回的页面，然后清洗网页，得到数据，存储在本地。比如我最近有个需求，查询某市注册资本超过500w的教培公司名称、数量、地址。示例只做了简单的反爬，配置了一下headers参数，修改cookie参数即可使用。 这是代码运行效果 使用前需要配置requests库和BeautifulSoup库 代码注释的很详细，就不赘述了，直接上代码，拿来吧你！！！ 定义请
Python爬虫实战系列4：天眼查公司工商信息采集
人生不易，请勿焦虑。
03-20 4434
分析请求时多注意cookie信息，分析cookie是后端生成还是前端js生成如遇需要携带cookie请求时，可以采用创建一个session来请求本文章代码只做学习交流使用，作者不负责任何由此引起的任何法律责任。由于信息安全问题，这里不放源码。
使用Requests抓取搜索python关键词页面数据
最新发布
10-10
使用Python的requests库抓取搜索结果页面的数据通常涉及以下几个步骤： 1. **导入库**：首先需要导入requests库，它是Python中最常用的一个用于发送HTTP请求的工具。 ```python import requests ``` 2. **设置URL**：构造你要抓取的搜索引擎搜索结果页面的URL，比如Google搜索"Python"，URL可能会类似： ```python url = "https://www.google.com/search?q=python" ``` 3. **发送GET请求**：使用`requests.get()`函数向指定的URL发起GET请求，并获取响应内容。 ```python response = requests.get(url) ``` 4. **检查状态码**：确保请求成功，通常200表示成功。 ```python if response.status_code == 200: pass # 请求成功 else: print(f"请求失败，状态码：{response.status_code}") ``` 5. **解析HTML**：由于返回的是HTML格式的网页，通常需要进一步解析。可以使用如BeautifulSoup、PyQuery等库处理HTML。 6. **提取信息**：通过选择器或者其他方法从解析后的HTML中提取你需要的数据，比如搜索结果的标题、链接等。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text, 'html.parser') results = soup.find_all('div', class_='g') # 这里假设搜索结果在名为"g"的div标签内 for result in results: title = result.h3.a.text # 提取标题 link = result.h3.a['href'] # 提取链接 # ...其他信息提取 ``` 7. **保存或分析数据**：将提取的数据保存到文件或直接进行后续分析操作。 ```python with open("search_results.txt", "w") as f: for item in data: f.write(f"{title}\n{link}\n\n") # 或者直接进行数据分析 analyze_data(data) ```
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值