直接调用阿里云接口爬取数据

最新推荐文章于 2024-10-05 09:19:15 发布
最新推荐文章于 2024-10-05 09:19:15 发布
阅读量7.6k 收藏 8
点赞数
分类专栏： PHP 文章标签： chrome ajax 阿里云 域名 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chunyuan314/article/details/55047980
版权
本文讲述了如何通过分析Chrome调试工具，发现阿里云域名拍卖数据是通过Ajax和jsonp动态加载的。通过研究请求头，尤其是`authority`字段，使用PHP的curl扩展模拟浏览器行为，成功爬取并解析json数据，实现对阿里云域名拍卖数据的抓取，并建议在抓取时加入随机延时以避免被封IP。
摘要由CSDN通过智能技术生成

1、初次试探

接到任务，要爬取阿里云上所有拍卖的域名。本想试试scrapy，查看了下网页源码，没有找到要爬取的内容。大网站就是不一样啊，数据隐藏的这么深。

2、深入分析

从源码没看出蛛丝马迹，习惯性地打开了Chrome的调试界面，看看我提交请求时到底干了些啥，果然，露馅了！

这里写图片描述
原来域名列表是用js在前端渲染的，而不是在后端渲染的，用到了jsonp技术，用来解决Ajax跨域问题。点击search?fetchSearch…这个链接看个究竟：
这里写图片描述
原来数据是从domainapi.aliyun.com这个服务器获取的，还有个特殊的请求头：authority，内容为domainapi.aliyun.com。点击下“Response”，内容截图如下：

最低0.47元/天 解锁文章
七麦analysis参数分析与榜单数据爬取
吴秋霖的博客
08-18 6703
最详细的analysis参数加密还原分析
如何用阿里云爬虫？（超详细地整理了全过程，全小白也能懂）
热门推荐
Winnie749的博客
05-12 1万+
我是完全不懂Linux的小白。写了爬虫程序之后发现辣鸡电脑老是会自动关机，因此不得不去用云服务器。接下来和大家讲讲买服务器-安装Python3-安装各种module-爬虫程序的修改-上传爬虫程序-运行爬虫的全过程。爬虫爬的是一个报纸网站的所有文章。一、购买阿里云服务器https://promotion.aliyun.com/ntms/campus2017.html如果你是学生，买上面网址里的这个学...
Python 通过SDK抓取aliyun 域名接口相关信息;
weixin_33924770的博客
06-14 458
背景介绍 阿里云界面查询相关域名需要登录阿里云控制台进行管理查询相关域名信息. (1).登录阿里云需要阿里云账号 和相关登录权限 (2).控制台可能存在误操作风险; 针对域名可管理性故开发抓取域名脚本抓取域名操作流程; (1).阿里云控制台申请ak,sk （程序操作权限和授权密码） (2).安装阿里云核心sdk包以及云解析包； ...
利用 Python 爬虫采集 1688商品详情
最新发布
2401_87195067的博客
10-05 2810
1688是中国的一个大型B2B电子商务平台，主要用于批发和采购各种商品。最后，无论是使用API、爬虫还是第三方数据服务商，都需要对采集到的数据进行适当的处理和清洗，以确保数据的质量和可用性。sales_data:&sales_data=1 获取近30天成交数据。agent:&agent=1 获取1688分销代发价格数据。请求参数：num_iid=610947572360。参数说明：num_iid:1688商品ID。请求示例，API接口接入Anzexi58。
可狱可囚的爬虫系列课程 10：在网站中寻找 API 接口（今日头条热榜爬取）
Mr.Fu的博客
01-04 2905
上一篇文章我们讲述了爬虫中一个比较重要的知识点，如何从 API 接口中获取数据，本篇文章我们继续讲述，如何在网站中寻找 API 接口，我们以“今日头条”网站 https://www.toutiao.com/ 为例。如上图所示，如果要获取页面新闻数据，可能大部分同学的想法就是直接 Requests 结合 BeautifulSoup4 库进行数据的爬取，但是我们不妨先来找找看有没有 API 接口能够让我们更快速的得到数据。
开发函数计算的正确姿势 —— 爬虫
weixin_33701617的博客
11-23 179
在 《函数计算本地运行与调试 - Fun Local 基本用法》 中，我们介绍了利用 Fun Local 本地运行、调试函数的方法。但如果仅仅这样简单的介绍，并不能展现 Fun Local 对函数计算开发的巨大效率的提升。 这一次，我们拿一个简单的场景来举例子——开发一个简单的爬虫函数（代码参考函数计算控制台模板)，介绍如何以正确姿势，从零开始，开发一个...
2种办法取得阿里云服务器上的数据库数据
weixin_30783629的博客
03-21 1566
方法1，登录阿里云控制台，登录服务器（需要服务器用户名和密码），因阿里云每天会自动备份数据，所以只需要把已备份好的文件下载到本地即可。 （吐槽：使用用户名和密码登录阿里云，还需要在手机阿里云上确认。这点有点坑人，因为是别人注册的，好吧，这是安全所需，我认输） 方法2：在主机未过期的前提下，只要知道数据库地址/主机，数据库用户名和密码，可利用 mysql命令行工具下载，只需二行代码，剩下的...
shell命令调用http接口（curl方式）
01-09
简单介绍一下通过shell命令调用http接口（curl方式）先上样例样例介绍参数详解 先上样例 1、curl -H Content-Length:0 -X GET http://127.0.0.1:8080 2、curl -H Content-Type: application/json -H connection:Keep...
python调用api接口并且将数据存入数据库_Python调用API接口的几种方式 数据库 脚本...
weixin_39571749的博客
12-04 2618
Python调用API接口的几种方式2018-01-08 gaoeb97nd... 转自 one_day_day...修改微信分享：相信做过自动化运维的同学都用过API接口来完成某些动作。API是一套成熟系统所必需的接口，可以被其他系统或脚本来调用，这也是自动化运维的必修课。本文主要介绍python中调用API的几种方式，下面是python中会用到的库。- urllib2- httplib2-...
阿里云服务器 云监控 API 调用示例
抱朴守拙
05-30 4119
AccessKey AccessKey 用于程序方式调用云服务API，类似于密码，如果您不需要调用API，那么就不需要创建AccessKey。 可以使用 AccessKey 构造一个 API 请求（或者使用云服务SDK）来操作资源。AccessKey 包括 AccessKeyId 和 AccessKeySecret。 AccessKeyId 用于标识用户。 AccessKeySecret 是用来验...
【逗老师带你学IT】PRTG监控系统通过阿里云API获取云产品运行状况
逗老师的博客
07-02 939
Github地址 https://github.com/ytlzq0228/Public_Share_Project/tree/master/PRTG%20Customer%20Senser/%E9%98%BF%E9%87%8C%E4%BA%91%E7%9B%B8%E5%85%B3-Alicloud-Monitor
【阿里云API】 阿里云API调用的若干说明
weixin_33769207的博客
08-09 880
阿里云API 　　为了监控我们使用的一些阿里云产品，需要些一些脚本，定时调用这些脚本来获得相关阿里云产品的信息。 ■　　概述 　　调用阿里云API大约分成两类方法，一个是直接从HTTP协议开始，自己根据阿里云的规则进行URL的编写然后发起请求，获得回应。这种方法比较繁琐（阿里云API的校验挺复杂的，昨天写了一晚上才成功写出对的URL）。另一种方法是利用阿里云提供的SDK（有多种语言的SDK，...
鹏程万里----阿里云服务器获取数据
u013308744的专栏
08-05 778
try: client = OTSClient("https://hps.cn-hongkong.ots.aliyuncs.com", "LTAI4FzfwqVieWN7i1BeXNKQ", "qBRQrEM69eHIn9kzQDBrufmLZcx8", "hps") inclusive_start_primary_key = [('sn', "S65000A119702023"), ('time', '2020-01-20 00:00:02'.
【网站备案】2018年以后的阿里云备案以及公安备案流程最佳实践
Code Metaverse
03-05 1万+
很多新手在购买了域名和服务器后，不懂怎么去备案，然而，境内的网站如果不备案就会出现下面的样子 所以，备案是必须的。 实名认证？ 那么，为什么会出现这个实名认证呢？ 本文全文以阿里云为案例。 在购买完域名后 然后点击进行实名认证。 按照工信部 2017 年全面域名实名认证的要求，目前阿里云已接到相关注册局通知：若域名在规定时间内未通过实名审核，会被注册局暂停解析（Se...
阿里云服务器数据迁移(同一个账号内)
song310383的博客
04-06 6211
最近免费试用的阿里云服务器到期，购买了学生优惠的服务器，为了将数据迁移到新的服务器中，大费周章了一会，终于迁移完毕。 一、创建自定义镜像 首先我们进入到实例列表，点击实例ID/名称进入到实例详情中 之后我们点击创建自定义镜像 自行填写自定义镜像名称和自定义镜像描述，点击创建即可 二、更换操作系统 选择需要迁移到的服务器实例，点击实例ID/名称进入到实例详情中 点击停止使服务器停止运行，注意...
阿里巴巴商品详情API接口（item_get-获得商品详情接口），阿里巴巴API接口
tbprice的博客
06-29 2018
阿里巴巴详情API接口
基于PHP实现阿里云视频点播接口教程
这意味着我们将会看到thinkPHP框架如何帮助开发者更加便捷地调用阿里云的API接口，包括如何配置环境、如何封装接口调用方法、如何处理返回的数据等。同时，作者提到“其他的可用于参考，用法类似”，暗示了除了...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值