使用nodeJs从汽车之家爬取汽车外观图片

最新推荐文章于 2023-05-14 17:14:07 发布
最新推荐文章于 2023-05-14 17:14:07 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： nodeJs 文章标签： 爬虫 汽车图片
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33594380/article/details/89023389
版权
本文介绍了如何使用Node.js从汽车之家网站爬取汽车外观图片，包括图片URL的获取和图片的下载。作者在分析汽车之家页面结构后，利用https和cheerio库编写爬虫，解决了图片URL的特殊格式问题和翻页处理。最后，提供了GitHub项目的链接。
摘要由CSDN通过智能技术生成

最近在做毕业设计的时候需要用到大量的汽车图片作为数据集进行训练，一开始尝试从两个渠道获取图片：

一是去找ImageNet 中的汽车分类的图片，结果发现这里面的汽车图片总量比较少，且不同车种差异较大（我只想要一般的私家车图片）。还有一个问题是访问ImageNet 需要外网，从别人那里接了一台能翻墙的服务器，选了合适的种类，折腾半天，好不容易下载下来，再清洗一下，能用的只剩五千张左右；

二是从百度图片上以汽车为关键词爬取图片，这个方案的问题在于爬到的图片各式各样，虽然关键词是汽车，但是什么图片都可能爬得到，而且图片重复率高，质量差，清洗的成本非常高。

于是开始思考从汽车之家上爬取图片，去看了一下，汽车之家上的图片质量都很高，而且数量非常多，就用nodeJs 写个脚本开始爬。本文主要记录了在写脚本过程中的思考和尝试过程，并给出了最终的代码。为了使整个过程看起来逻辑更清晰，把这个完整的任务分成图片Url 获取和图片获取两部分来实现。Url 获取的结果是一个或若干个写满了图片Url 地址的txt 文件（在线传输成本低），图片获取的结果是根据Url 文件中的内容爬到的图片。

1、图片Url 获取

所有的图片Url 都是从汽车之家的网页上拿到的，所以首先需要对包含汽车外观图片的页面进行分析，以便搞清楚我们要怎么拿到网页中图片的Url，这里以如下页面为例进行分析：

https://car.autohome.com.cn/pic/series/2288-1.html#pvareaid=2042220

页面图片如下所示：

从图中可以看到series 系列网页中所有车身外观的图片都位于具有.uibox-con.carpic-list03 类名的一个div 下，其具体位置可以表示如下：

div.uibox-con.carpic-list03 ul li a img

从图中可以看到的另个一问题是img 的sr

最低0.47元/天 解锁文章
scut_少东
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy爬取汽车之家宝马5系图片
congge
11-10 980
需求分析 我们想在汽车之家官网上爬取宝马5系的部分图片，并根据分类保存到本地磁盘欣赏， 进入这个页面，分析发现，是按照多个维度进行分类的，因此我们要提取图片的时候，需要依次遍历没每个分类，然后在进入到每个分类，把相应分类的图片爬下来 Html结构分析 我们通过F12分析一下html代码，发现没每个分类的名称是放在class=‘uibox’ 这个里面，然后再在每个分类中，用ul标签包着当前分类的所...
汽车之家图片爬取
04-25
可以分类下载汽车之家图片，自己设定下载哪些部分的图片，可以自己设定
nodejs爬取网站图片.....
weixin_34107739的博客
12-13 391
nodejs来实现一个爬虫功能 ,爬取豆瓣图片 原理： 爬虫是最明显的IO密集型应用场景，显然用node，使得I/O等待开销小数据挖掘比较方便 借助express模块来搭建node服务 并使用request模块获取目标页面的html代码 下载cheerio模块对html代码做处理(cheerio类似jQuery的语法，所以好用又方便...
使用nodejs爬取网页图片
talentzym的博客
02-17 1375
用nodejs作简易的爬虫 爬取网页图片并下载到本地，代码如下： const https = require('https') // const http = require('http') /* 方式二时使用*/ const fs = require('fs') const cheerio = require('cheerio') const request = require('request...
使用node.js爬取网页图片（笔记及实例测试）
T的博客
05-31 2697
目录结构
node.js爬取网页图片
baidu_33163851的博客
11-19 749
var http = require('http') var fs = require('fs') var cheerio = require('cheerio') var url = "http://www.ivsky.com/" function download(url, callback) { http.get(url, function (res) { va...
使用nodejs爬取前程无忧前端技能排行
10-19
主要介绍了使用nodejs爬前程无忧前端技能排行,非常不错，具有参考借鉴价值，需要的朋友可以参考下
nodejs实现爬取网站图片功能
10-18
给大家通过一个实例来教学如何用nodejs实现爬取网站图片功能，有兴趣的朋友收藏一下吧。
nodejs实现 爬取网页图片例子
10-06
本示例将详细介绍如何使用Node.js来实现一个简单的网页图片爬取功能。 首先，我们需要安装必要的依赖库。Node.js的包管理器npm（Node Package Manager）提供了许多方便的工具，其中`axios`用于发送HTTP请求，`...
Node.js抓取网页图片
成长ing中的w的专栏
12-13 2261
本篇介绍利用第3方的request和cheerio模块实现抓取网页图片到本地的功能。 首先，创建项目工程Crawling，并创建package.json文件来管理与安装该项目依赖的模块包。 其次，安装第3方模块包request和cheerio包 准备工作完成后，现在来编写代码： /** * 抓取网页图片 */ //载入第3方request模块 const request = require("request"); //载入第3方cheerio模块 const...
利用Scrapy框架爬取汽车之家图片（详细）
sereasuesue的博客
03-29 1389
爬取结果 爬取步骤 创建爬虫文件 进入cmd命令模式下，进入想要存取爬虫代码的文件，我这里是进入e盘下的E:\pystudy\scraping文件夹内 C:\Users\wei>E: E:\>cd E:\pystudy\scraping E:\pystudy\scraping>scrapy startproject Bmw5 New Scrapy project 'Bmw5', using template directory 'f:\anaconda3\lib\si
基于nodejs的网络图片爬虫
开心大表哥
04-20 6268
这是我研究nodejs爬虫后写的一个图片爬虫小例子。不过功能还是挺强大的可以将你喜欢的图片下载下来。 主要的爬虫代码： //var http = require('https'); var http = require('http'); var fs = require('fs'); var cheerio = require('cheerio'); var request = require...
python网络爬虫汽车之家汽车高清图片
weixin_49572581的博客
08-25 1314
今天的目的是爬虫汽车之家某款汽车的外观高清图片 所选汽车：红旗H9 爬取页面的网址：红旗H9外观图片 最终效果图： 首先我们需要安装一下需要的库： pip install requests pip3 install Beautifulsoup4 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据,他可以直接定位到我们想要标签，非常的方便。 开始分析网页结构，点击F12,定位图片的位置对应的代码： 这个是不是图片所在的网址，那我们的任务就显而易见了，我们只要把标签a中的src，但
python爬取汽车之家图片_Python 汽车之家 车型全数据 爬取
weixin_39969568的博客
12-16 483
所有车型数据分析发现所有车型数据在一个js文件中：ps：当然也可通过解析网页 xpath提取，或通过接口，获取方式有很多种，此文主要需要seriesId 车型ID 这一项数据 为获取车型价格做准备 顾用此方法。def get_model(self):"""获取所有车型数据"""# 所有车型js文件url = '~~删除线格式~~ 'response = self._parse_url(url)# ...
python爬取汽车之家图片_python爬取汽车之家汽车数据
weixin_39742392的博客
12-16 412
马上注册，结交更多好友，享用更多功能^_^您需要 登录 才可以下载或查看，没有帐号？立即注册x# -- coding: utf-8 --'''Created on 2018年08月07日@author: huyw'''from bs4 import BeautifulSoupimport datetimeimport urllib.request, urllib.parse, http.cooki...
使用Node.js制作爬虫教程（续：爬图）
weixin_34419321的博客
02-03 103
使用Node.js制作爬虫教程（续：爬图） 前几天发了《使用Node.js制作爬虫教程》之后，有朋友问如果要爬文件怎么办，正好之前也写过类似的，那就直接拿过来写个续篇吧，有需要的可以借鉴，觉得不好的可以留言交流。 案例回顾 上一篇中，主要利用nodejs发起一个getData请求来得到4星角色的id列表。通过chrom...
学习历程-用nodejs爬取图片
RebelAngel2021的博客
08-03 438
//cheerios 和 axios记得先安装 let cheerio = require('cheerio') let axios = require('axios') let fs = require('fs') let readFileStats = require('./readFileStats') let address = '要请求的地址' axios.get(address).then((res) => { let $ = cheerio.load(res.data)
nodejs爬取网页所有有效图片资源，并下载到本地文件夹中
@zhujj_的博客
05-14 2118
使用 cheerio 解析该网页的源代码，将所需要的 img 标签（all）获取到，然后将 img 元素中的 src 属性值解析出来，放到一个预先定义的数组中。当文件夹创建成功，调用 cmd.run 方法（异步）打开文件资源管理器，显示到新创建的文件夹下观察图片的下载。物色好目标网站，在网站中打开控制台，使用元素查看器观察 img 类型元素的一般结构。下载图片资源前，先使用 fs.mkdir 方法创建一个新的目录，以当前的时间戳命名。目标 img 元素的一般结构可以确定为 li > a > img。
爬取某网站汽车图片（demo）
taka_is_beauty的博客
03-08 4052
1.目标网站 本次爬取网站：https://www.netcarshow.com/ 所有图片全部为1024*748高清图片，数据可用于自行处理分析。 以下只进行网站的分析，没有代码的实现。（好长时间没做了，现在网站确实或多或少都有反爬措施了） 2.爬取分析 第一步 进入网站https://www.netcarshow.com/后进行分析发现，所有图片全都存储在 而另一部分 ...
nodejs爬取网站列表数据在爬取详情数据代码
最新发布
05-25
一般来说，在爬取网站列表数据的代码中，你需要获取到每个列表项的链接，然后再通过这个链接去爬取详情数据。可以使用像 `request` 或 `axios` 这样的 Node.js HTTP 客户端，或者使用像 `cheerio` 或 `puppeteer` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值