记录nodejs爬虫使用axios请求的数据乱码解决办法 (gb2312转utf8格式)

最新推荐文章于 2024-07-04 14:47:08 发布
最新推荐文章于 2024-07-04 14:47:08 发布
阅读量3.2k 收藏 12
点赞数 8
分类专栏： JavaScript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kl2115911/article/details/108257494
版权
本文记录了在使用Node.js爬虫时，遇到Axios请求返回GB2312编码数据导致的乱码问题。解决方案是在Axios配置中指定编码，并通过相应插件进行解码和重新编码，成功解决乱码。同时提到在请求HTTPS网站时遇到的数据获取问题和相关报错。
摘要由CSDN通过智能技术生成

在nodejs爬虫时使用的axios插件，请求回来的数据是乱码
在这里插入图片描述
查看原网页发现编码是gb2312
在这里插入图片描述

解决办法：在axios配置项中添加responseType:'arraybuffer'
再下载插件iconv-lite对请求到的数据进行解码及重新编码，之后的数据就不再是乱码啦~
在这里插入图片描述

const axios = require('axios');
const iconv
最低0.47元/天 解锁文章
Cathy Dai
关注
专栏目录
Gb2312及Gb2312转Utf-8编码的UrlEncode编码解码（全）
一路狂奔
04-13 9575
为了一个gb2312下post中文参数到utf-8页面的程序，随闷的难受，查了一下午资料，大部分是讲Gb2312传到Gb2312页面的UrlEncode，没有提供到Utf-8页面的UrlEncode，后来找到Unicode转Utf-8码的资料，参考之下，终于写出了Utf-8的UrlEncode，这里整理下各种UrlEncode方法，供有需要的朋友参考。详细Utf-8编码规则请百度一下。Un
关于nodejs中文乱码问题
zhaoxq1223的博客
11-10 332
关于nodejs中文乱码问题 1.下载iconv-lite npm i iconv-lite 2. 将页面数解码保存 let str = iconv.decode(Buffer.from(data),'gbk') 3.将str转码并转为字符串 let html = iconv.encode(str,'utf8').toString() //输出console.log(html)
HarmonyOS NEXT开发实战：Axios获取网络GBK数据转换UTF-8网络数据实列
最新发布
m0_72493819的博客
07-04 915
本示例介绍使用第三方库的Axios获取GBK格式的网络数据时
js 编码转换 gb2312 和 utf8 互转的2种方法
12-12
方法一: 代码如下:function gb2utf8(data){       var glbEncode = [];       gb2utf8_data = data;       execScript(“gb2utf8_data = MidB(gb2utf8_data, 1)”, “VBScript”);       var t=escape(gb2utf8_data).replace(/%u/g,””).replace(/(.{2})(.{2})/g,”%$2%$1″).replace(/%([A-Z].)%(.{2})/g,”@$1$2″);       t=t.split(“@”
J2ME经验总结之GB2312转换为UTF-8
10-15 2639
作者：hunhun1981出自：http://blog.csdn.net/hunhun1981/摩托罗拉的部分手机（a1200,e60等），不支持gb2312编码。曾经给我造成了不少麻烦。现在，大家可以分享解决这个问题的一些经验。关于gb2312,unicode,utf-8的一些资料，大家请自行搜索。一下列举几个比较好的资源网址。http://baike.baidu.com/vie
GB2312内容转UTF-8
u013827488的博客
01-15 412
int get_message_encoding(char *message, int message_len, char *encoding_type) { int len = 0; uchardet_t ud = NULL; ud = uchardet_new(); if (uchardet_handle_data(ud, message, message_len) != 0) { uchardet_delete(ud); re.
用js实现编码转换gb2312转utf8
bzlrj的专栏
10-23 1574
[size=medium]在文件编码为gb2312的html文件中，提交表单到utf8页面中会出现乱码的现象,针对这样的问题既可以从前端下手也可以从后端进行处理，为了方便，决定从前端下手，从网上搜集到了相关js特分享如下：[/size] [code="js"] <script language="JavaScript"> <!-- function utf8(wide...
NodeJS使用axios发送请求，response返回中文乱码
weixin_42437002的博客
10-13 1132
NodeJS使用axios发送请求，response返回中文乱码
详解nodejs爬虫程序解决gbk等中文编码问题
12-23
使用nodejs写了一个爬虫的demo，目的是提取网页的title部分。 遇到最大的问题就是网页的编码与nodejs默认编码不一致造成的乱码问题。nodejs支持utf8, ucs2, ascii, binary, base64, hex等编码方式，但是对于汉语言...
nodejs爬虫抓取数据乱码问题总结
01-20
在Node.js环境中编写爬虫程序时，经常遇到的一个问题是数据抓取后出现乱码现象，尤其是在处理非UTF-8编码的网页时。本篇文章将针对这类问题进行详细的总结，特别是针对Windows-1251（cp1251）编码的情况。 首先，...
nodejs爬虫遇到的乱码问题汇总
10-20
例如，如果页面的meta标签声明了字符集为UTF-8(<meta charset="UTF-8">)，但实际上服务器发送的数据是以GBK编码，那么使用UTF-8解析就会出现乱码。 2. HTTP响应头和Content-Type HTTP响应头中的Content-Type字段...
关于axios爬虫请求GBK页面中文乱码问题
u014226080的博客
03-08 1073
今天在用axios做爬虫的时候，请求到了一个使用gbk编码的前端页面，控制台中文直接乱码，我人也麻了 解决 看了文档，了解到了axios请求默认是用utf8，这里我们只要修改一下这个就行了 先安装下必要的工具 npm install iconv-lite --save import axios from "axios" import iconv from 'iconv-lite' (async () => { const res = await axios({ method
axios在IE浏览器中发送get请求时，请求参数为中文时出现乱码问题
coderxsj
04-17 1779
1、设置headers中的content-type为 'text/html; charset=utf-8' 2、使用encodeURL http.interceptors.request.use( config => { if (config.method === 'get'||config.method==='GET') { config.url = encodeURI(config.url) } return config }, err
避坑！axios@1.2.0请求网页数据打印出来乱码
m0_52074342的博客
11-24 750
axios@1.2.0请求数据打印出来乱码,axios版本问题
Axios异步请求传参方式
高压锅博客
10-30 872
1. get 请求 let data ={ "a": "1", "b": "2" } this.$axios({ method: 'get', url: 'xxxxx', params: data, headers: { "Content-Type": "application/json", "Authorization", "XXXXX" } }).then(res =>{ console.log("success") }).catch(err =>{ console
nodejs中利用axios爬取gbk网页乱码的解决办法
weixin_45000814的博客
06-30 1832
爬取gbk编码的网页数据解决中文乱码需要以下3步: 1.安装模块 2.封装代码 3.引用代码编写爬取数据的代码 1.安装模块 # i是install的缩写 npm i axios # 用来发送请求 # cheerio是jquery核心功能的一个快速灵活而又简洁的实现,主要是为了用在服务器端需要对DOM进行操作的地方 npm i cheerio # 当使用node获取GBK编码的数据时,nodejs只支持utf-8,node没有提供转换编码的原生支持. # 因此我们要利用这个模块i
axios解决跨域问题及乱码问题
heni6560的博客
06-12 1966
1.跨域问题 在文件vue.config.js中写入 module.exports = { configureWebpack: { devServer: { proxy: { // proxy all requests starting with /api to jsonplaceholder "/api": { t...
axios请求配置与响应结构
qq3163566的博客
10-29 1105
请求配置 这些是创建请求时可以用的配置选项。只有url是必需的。如果没有指定method，请求将默认使用get方法。 { // `url` 是用于请求的服务器 URL url: '/user', // `method` 是创建请求时使用的方法 method: 'get', // default // `baseURL` 将自动加在 `url` 前面，除非 `url` 是一个绝对 URL。 // 它可以通过设置一个 `baseURL` 便于为 axios 实例...
在nodejs中使用axios
12-27
在Node.js中使用axios可以通过以下步骤进行： 1. 首先，确保你已经安装了Node.js和npm（Node包管理器）。 2. 打开终端或命令提示符，进入你的项目目录。 3. 使用以下命令安装axios包： ```shell npm install axios ``` 4. 在你的代码中引入axios模块： ```javascript const axios = require('axios'); ``` 5. 现在你可以使用axios发送HTTP请求了。以下是一些常见的用法示例： - 发送GET请求： ```javascript axios.get('https://api.example.com/users') .then(function (response) { console.log(response.data); }) .catch(function (error) { console.log(error); }); ``` - 发送POST请求： ```javascript axios.post('https://api.example.com/users', { name: 'John Doe', email: 'johndoe@example.com' }) .then(function (response) { console.log(response.data); }) .catch(function (error) { console.log(error); }); ``` - 发送并发请求： ```javascript axios.all([ axios.get('https://api.example.com/users'), axios.get('https://api.example.com/posts') ]) .then(axios.spread(function (usersResponse, postsResponse) { console.log(usersResponse.data); console.log(postsResponse.data); })) .catch(function (error) { console.log(error); }); ``` 这些只是axios的一些基本用法示例，你可以根据自己的需求进一步探索axios的功能和选项。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值