python爬取爱回收华为手机回收信息

最新推荐文章于 2025-01-27 10:50:06 发布
最新推荐文章于 2025-01-27 10:50:06 发布
阅读量2.2k 收藏 4
点赞数
分类专栏： Python博客 文章标签： 爱回收 python 验证码 Python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42050513/article/details/80467699
版权

话说在前头，爬爱回收对我这个菜鸟来说，收获很大（有点麻烦）...

具体代码可见文末我的GitHub链接...

  • 首先明确一下目的，本来是想着爬取全部的价格数据，但是想想未免太多，所以先从手机-华为开始爬起（可以自行通用到其他回收品）

  • 我们看看具体的信息在哪里可以得到


按F12打开Chrome的开发者工具，点击免费查询，通过异步加载得到的数据在这里



好嘛，到时候get一下这个url,拿到api的内容就行了，但是url中最后的数字串是变化的（如何获取在后面讲解）

  • 既然决定要获取华为的回收信息，那么我们先把其第一页的各个手机型号的网页链接拿到

在这，我的思路是用beautifulsoup获取每个<a href=“...”>中的url存入列表中

然后遍历列表，逐个访问，但就算是这一页，需要爬取的数据也是比较多，所以暂时爬取的是第一个手机型号的回收信息，你要是觉着不多...可以都爬了

  • 然后我们看看要爬取的这个型号的手机

发现给了好多选项，这就意味着一个型号的手机有极其多种选择（包括某几个选择得到的手机价格是相同的）

我们再来仔细分析一下这个过程，选择标签->点击免费查询->服务器发回这个选择下的手机价格

我们发现免费查询对应的链接


注意这个链接，应该是通过向这个链接post某些数据，好我找了找post的...


这是什么...??应该是将post的数据加密了！emmm...

还有...

看到这里问题就来了，我既然要post数据，但是数据加密了我怎么才能看到

  • 我的方法是抓包，利用强大的fiddler进行抓包

打开fiddler，在选择完选项后，点击免费查询，马上看fiddler中的抓到的信息


这不就是按钮对应的url吗，应该就是这条了


这里的body就是post上去的东西！原来长这样...

经过分析，auctionProductId是这个型号手机对应的url的后几位数，也就是之前获取的<a href...>中得到的数字部分

productModelId我找了找发现


其实在这里有pid跟mid，分别对应的就是前两行的内容

至于priceUnits这一系列的数字好像


其实就是这几个选项的ID！

那么可以知道这个priceUnits就是选项ID的一个组合，所以前两个还简单，那么重点就是获取这个ID

  • 所以我的方法是通过xpath获取这些id，然后通过for循环得到一个个选择组合（虽然麻烦了点），或者有更好的办法，欢迎提点

接下来就是post这些数据上去，得到redirectUrl

  • 这里又会碰到一个问题，那就是请求太频繁的话会出现验证码，我试过用高匿代理，但是好像没什么用，绕不过去，而且爱回收的验证码是黏连验证码


一个字，恶心...

用简单的pytesseract或pytesser识别出来的简直看不了

经过反复找资料等一系列操作，决定还是用阿里云的图片验证码识别服务，花了我0.91元试验（尚可，就是1跟7难以区别，而且第三方不稳定，容易报错），当然也只能先接受了

  • 通过判断post后返回信息中的code是否为0，区别是否出现验证码

若为0，直接发送get请求即可获取数据

若为其他，像3001这样的，拿到后面的验证码的url，下一步要做的就是拿到验证码图片，识别验证码，再把验证码中的数字添加到post的数据中


  • 如何获取验证码

这里用的是selenium+phantomJS，一开始用selenium+chrome，发现一要获取验证码就会弹出一个Chrome窗口很是不舒服，后来了解到phantomJS这种无界面浏览器，好用就在这里（但是都说运行比较的慢？）

然后将二维码截图获取，降噪，二值化处理，最后调用阿里云的接口，就能识别啦！！

  • 具体代码可以见我的GitHub链接，第一次写博文写的不够完善，以后会补充

参考过一篇博文：https://blog.csdn.net/weixin_42069950/article/details/80331478

我的GitHub：https://github.com/joelYing/aihuishou

超详细的 Python 方法、函数总结
Amo Xiang的博客
05-17 4万+
目录阅读前必读（不看会错过一个亿）一、字符串操作1.1 capitalize() 方法——字符串首字母转换为大写1.2 casefold() 方法——所有大写字符转换为小写1.3 center() 方法——字符串居中填充1.4 count() 方法——统计字符串出现次数1.5 encode() 方法——编码字符串1.6 decode() 方法——解码字符串1.7 endswith() 方法——是否以指定子字符串结尾、startswith() 方法1.8 find() 方法——字符串首次出现的索引位置(rfi
2022年Python技术类面试题总结
AudiA6LV6的博客
09-13 341
列表[1,2,3,4,5],请使用map()函数输出[1,4,9,16,25]，并使用列表推导式提取出大于10的数，最终输出[16,25]计算代码运行结果，zip函数历史文章已经说了，得出[(“a”,1),(“b”,2)，(“c”,3),(“d”,4),(“e”,5)]对list排序foo = [-5,8,0,4,9,-4,-20,-2,8,2,-4],使用lambda函数从小到大排序。使用lambda函数对list排序foo = [-5,8,0,4,9,-4,-20,-2,8,2,-4]，输出结果为。
手机数码回收小程序-完整后端前端-小程序源码
06-11
这套小程序十分适合做二手市场的朋友的，有点和咸鱼差不多不过也有不同，简练大气!
python3网络爬虫--爬取华为应用市场app数据（附源码）
懷淰メ的博客
11-07 9084
今天要爬取华为应用商店的所有APP 名称和介绍，因为页面是js渲染的，所以要找到对应的接口去解析数据。 一．准备工作： 1.工具： （1）Chrome 谷歌浏览器 安装地址：https://www.google.cn/chrome/ （插件：json-handle 下载地址：http://jsonhandle.sinaapp.com/，json-handle安装方法： https://blog.csdn.net/xb12369/article/details/79002208 用于分析网页结构 （2）p
爱回收平台接口技术深度解析：构建高效、安全、用户友好的二手电子产品回收生态系统
最新发布
2503_90284255的博客
01-27 1027
爱回收平台通过先进的架构设计、高效的接口实现、严格的安全策略及全面的性能优化，为用户提供了优质的二手电子产品回收体验。未来，随着技术的不断进步和市场需求的持续增长，爱回收将继续探索创新，推动二手回收行业的健康发展。对于开发者、合作伙伴及用户而言，深入了解爱回收平台的接口技术，将有助于更好地利用这一平台资源，实现共赢发展。
爱回收网站，js请求过程分析
weixin_34336526的博客
05-15 949
aihuishou 最近在qq群里看到有个小伙伴在问爱回收网站怎么爬取手机价格信息。 爱回收网站，在网站中大量使用了js动态改变DOM元素，而且请求的参数使用的是paylaod加密。我们在分析网站的时候看不到参数，也就分析不出来请求参数的规律，这个问题可以通过fiddler抓包工具解决。刚开始分析确实有点懵，在此记录下我的分析过程。 工具...
Python实战 | 只需 ”三步“ 爬取二手iphone手机信息（转发送源码）
lovenankai的专栏
07-19 1025
本次实战是爬取二手苹果手机的信息，共爬取了300部手机信息，效果如下：开发环境环境：MAC + Python3.6IDE：Pycharm模块：import reques...
Java+spring+springmvc 基于ssm的二手手机回收平台系统#毕业设计
z459382737的博客
06-09 635
项目编号:Java+spring+springmvc ssm434二手手机回收平台系统#毕业设计 开发语言：Java 开发工具:IDEA /Eclipse 数据库:MYSQL5.7 应用服务:Tomcat7/Tomcat8 使用框架:ssm+vue论文主要是对二手手机回收平台系统进行了介绍，包括研究的现状，还有涉及的开发背景，然后还对系统的设计目标进行了论述，还有系统的需求，以及整个的设计方案，对系统的设计以及实现，也都论述的比较细致，最后对二手手机回收平台系统进行了一些具体测试。 本文以Java为开发技
python3 urllib 爬虫 Handler 处理器PRoxyHandlr 处理器（代理设置）
yangxiaodong88的博客
06-21 2743
前言 使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。 很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。 所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。 urllib2中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义ope...
毕设项目分享 深度学习垃圾分类
mabile123444的博客
09-02 2060
今天学长向大家介绍一个机器视觉项目深度学习卷积神经网络垃圾分类系统毕业设计 深度学习垃圾分类系统🧿 项目分享:见文末!迁移学习是指在一个数据集上，重新利用之前已经训练过的卷积神经网络，并将其迁移到另外的数据集上。毕业设计 深度学习垃圾分类系统🧿 项目分享:见文末!
毕设成品 深度学习卷积神经网络垃圾分类系统
kooerr的博客
04-21 1412
今天学长向大家介绍一个机器视觉项目深度学习卷积神经网络垃圾分类系统🧿选题指导, 项目分享：见文末迁移学习是指在一个数据集上，重新利用之前已经训练过的卷积神经网络，并将其迁移到另外的数据集上。
零象废品回收小程序源码V2.3.9 小程序前端.rar
07-05
刚花600大洋，购买的小程序源码，无限多开零象废品回收微信小程序源码 垃圾废品回收系统源码，废品回收专用系统源码。有兴趣的朋友可以了解一下。
回收宝价格查询接口API
小伍的游乐场
07-16 387
name: “屏幕有碎裂/缺角/脱胶/气泡/盖板维修”,name: “声音/麦克风/感应器/充电/振动不正常”,name: “显示色差，或轻微泛黄/亮坏点/进灰”,name: “屏幕有缺角/破损/碎裂/盖板维修”,name: “显示异常（横竖线/漏液/闪屏等）”,name: “显示异常（横竖线/漏液/闪屏等）”,name: “轻微色差，或泛黄/亮坏点/进灰”,name: “外壳有变形/碎裂/缺失/刻字”,name: “屏幕有划伤/边缘脱胶/小气泡”,name: “显示发黄，或透图/透字/色斑”,
二手电商的盛与衰：闲鱼持续扩张，爱回收稳扎稳打，转转战略失焦
Alter1230的博客
01-05 512
2020年，中国的各类电商可谓是风云激荡。 一方面，阿里、京东、拼多多三大电商平台的特色越来越强烈，过去互相深入腹地的攻防战，也变成了各占山头。 另一方面，美团、滴滴、字节跳动、快手等公司纷纷长成了参天大树，仍然具有风口红利价值的行业，已经越来越稀缺。 二手电商，却是为数不多的万亿级行业之一。 中国电商格局的背后，有何逻辑？ 电商，是互联网行业一个持续性的风口。 2015年～2020年，中国电子商务市场交易规模从16.4万亿元飙涨到了34.81万亿元。就以阿里巴巴为例，在5年间实现了营收大跃进，从2015财
爱回收API：用代码“捡垃圾”，找到你的宝贝品牌ID
2401_87195067的博客
11-08 737
通过爱回收API获取品牌ID，就像是在数字化时代中“拾荒”，不仅能帮助你的业务，还能给你带来乐趣。希望本文的代码示例和幽默解析能够帮助你更好地理解和使用爱回收的API，让你在“拾荒”的道路上越走越远。
爬取20万数据，我们深扒了风口上的「享物说」
增长黑盒Growthbox
03-26 2186
增长黑盒备用号，欢迎关注~大号出现了一些小意外被屏蔽，感谢各位朋友关心~为了以防万一，我们新建了两个公众号，一个是【增长黑盒精选】，另一个是本号【增长黑盒Growthbo...
爱回收根关键字获取对应品牌的ID API 返回值深入解析
2401_87195067的博客
11-08 1244
爱回收API是一个为开发者提供的接口，它允许开发者通过编程方式访问爱回收的数据。通过这个API，开发者可以获取商品的品牌信息、型号信息等，进而为用户提供更加精准的服务。通过爱回收API获取品牌ID是一个强大的功能，它可以帮助开发者为用户提供更加个性化和精准的服务。希望本文的代码示例和解析能够帮助你更好地理解和使用爱回收的API。
uniapp垃圾回收小程序源码，在线下单，上门旧品回收，回收员入驻代码开源thinkphp源码
Raphael321的博客
08-01 251
uniapp垃圾回收小程序源码，在线下单，上门旧品回收，回收员入驻代码开源thinkphp源码
旧物回收类网站源码v2.4
linxiaoming6的博客
05-21 1240
简介： 旧物回收类网站源码系统是一款开源的THinkphp5.0 的 Blog系统，其衍生于优秀的内容管理系统易优cms。 旧物回收类网站源码系统秉承了易优CMS的先进设计理念，并且专注于旧物回收。 易优旧物回收系统使用十分便捷，便捷到您只需直接开始发布旧物回收就可以了。 旧物回收类网站系统特点： 简单方便 旧物回收类网站系统安装十分方便，只需输入域名，然后再点两次鼠标，期间填入一些必要的安装信息就可以轻松完成整个安装过程。 使用十分便捷，安装后进后台，直接写旧物回收内容就可以了，无需事先进行任何设置操作
python爬取京东华为
09-14
要使用Python爬取京东华为商品信息，可以使用requests库来发送网络请求获取网页内容。首先，你需要安装requests库。可以在命令行中输入以下命令来安装： pip install requests 安装完成后，你可以在Python代码中导入requests库，并使用它的get方法发送请求。为了防止被京东网站识别为爬虫程序，你可以设置headers属性来伪装成浏览器的访问。例如： import requests headers = {'User-Agent': 'Mozilla/5.0'} url = 'https://search.jd.com/Search?keyword=华为&enc=utf-8' response = requests.get(url, headers=headers) 如果请求成功，你可以通过response对象的content属性获取到网页的原始内容。接下来，你可以使用BeautifulSoup库来解析网页内容，提取出你所需要的信息。例如，你可以使用select方法来选择特定的HTML元素，并使用get_text方法获取元素的文本内容。 from bs4 import BeautifulSoup html = response.content soup = BeautifulSoup(html, 'html.parser') price_list = soup.select('div .＊＊＊你可以遍历这些元素获取到商品的名称和价格，并将它们保存到一个列表中。 goodslist = [] for i in range(len(price_list)): splitprice = price_list[i].get_text() price = re.split('\n',splitprice) name = name_list[i].em.get_text() goodslist.append([name,price]) 这样，你就可以通过goodslist列表获取到爬取到的京东华为商品的名称和价格信息了。请注意，这只是一个简单的示例，实际的爬取过程可能需要更多的处理和优化。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值