HttpClient 爬接口报 Input length = 1

最新推荐文章于 2024-03-06 14:21:21 发布
最新推荐文章于 2024-03-06 14:21:21 发布
阅读量412 收藏
点赞数
分类专栏： HttpClient 文章标签： HttpClient 爬接口报 Input length = 1 Input length = 1 java.nio.charset.MalformedInputExce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MaYaHei/article/details/94588268
版权
使用HttpClient爬取接口时遇到`Input length = 1`错误，由于响应Header中`Set-Cookie`字段含有不合法字符，导致编码问题。尝试从utf-8更改为gbk、gb2312后解决了MalformedInputException，但随后又出现Invalid cookie header，原因是不正确的expires格式。解决方法是自定义cookieSpec，提供相关代码以供参考。
摘要由CSDN通过智能技术生成

HttpClient 爬接口报 Input length = 1

调试时发现响应的header有条
Set-Cookie: security_session_verify=cad9721cc133dd9d4646bb8913a27e44; expires=��, 28- 6��-19 15:43:50 GMT; path=/; HttpOnly;
当时初始化的HttpClient编码为utf-8,

  ConnectionConfig connCfg		= ConnectionConfig.custom().setCharset(Charset.forName("utf-8")).build();																
  HttpClientBuilder clientBuilder	= HttpClients.custom()
    										.setConnectionManager(connManager)
    										.setDefaultRequestConfig(defaultRequestConfig)
    										.setDefaultConnectionConfig(connCfg);

包含不合法字符导致读头的时候报java.nio.charset.MalformedInputException: Input length = 1
最后尝试下改换gbk,gb2312,终于不报length=1了.
本以为解决了,结果调试发现cookie 解析会报Invalid cookie header导致丢弃,原来解决乱码后expires=四, 27- 6月-19 20:57:11 GMT,这其实也不是正确的expires格式.
这个时候就得重写cookieSpec了,贴上代码供参考

public cl
最低0.47元/天 解锁文章
破敌逆袭
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C#处理和对接HTTP接口请求的方法
09-01
param1=" + WebUtility.UrlEncode(param1) + "&param2=" + WebUtility.UrlEncode(param2); ``` 这里使用了`WebUtility.UrlEncode`来编码URL参数，防止特殊字符导致的问题。 **第四步：发送HTTP请求并处理响应** C#...
Input Length = 1问题
运西北
03-06 2259
idea编译
SpringBoot报错Input length = 1
qq_46524280的博客
11-27 4371
Spring Boot报错Input length = 1解决方法 1、在IDEA中设置编码的格式为UTF-8 问题解决，如果问题还在请重新创建yaml文件，其中的内容重新配置
input length =1 数据库存储不上中文，修改字段字符集为utf-8
weixin_42592992的博客
11-03 264
数据库存储不上中文，修改字段字符集为utf-8
关于java.nio.charset.MalformedInputException: Input length = 1和Input length = 2的异常解决
酷酷的馫博客
05-06 8万+
java.nio.charset.MalformedInputException: Input length = 1 是因为你的配置文件里面有中文或者是你的编码格式不正确导致 解决方案:改变你的编码格式改为UTF-8，如果还不行，那就是你的配置文件里面有汉字，注释也算，你可以把你所有配置文件看一下，把汉字去掉就ok了。是你项目启动时加载的配置文件。 .........
启动SpringBoot报错Input length = 1解决办法
xsq123的专栏
07-14 5236
maven-resources-plugin:3.2.0:resources (default-resources) on project jcy_interface_services: Input length = 1 -> [Help 1] ​
http接口demo.rar
09-05
os.write(input, 0, input.length); } BufferedReader in = new BufferedReader(new InputStreamReader(connection.getInputStream())); // 同样读取响应内容 ``` 对于POST请求，如果需要发送JSON数据，可以使用...
使用HttpURLConnection或HttpClient方式传json值到spring中
03-09
os.write(input, 0, input.length); } int responseCode = connection.getResponseCode(); System.out.println("Response Code : " + responseCode); if (responseCode == HttpURLConnection.HTTP_OK) { // ...
HttpClient.rar
11-09
t.sendResponseHeaders(200, response.length()); OutputStream os = t.getResponseBody(); os.write(response.getBytes()); os.close(); } } ``` 这个例子创建了一个监听8000端口的服务器，当收到`/hello`的...
java调用一个URL接口的方法类
12-23
os.write(input, 0, input.length); } ``` 5. **接收响应**： 完成请求后，我们通过输入流读取服务器的响应。通常，会先检查响应码（如200表示成功），然后读取响应体： ```java int responseCode = ...
springboot 启动异常Input length = 1解决
梦昼初
10-17 1万+
问题原因是yml配置文件内容引起，并且yml内容没问题，空格也没问题，而是编码问题引起，在idea中打开settings––>Editor––>File Econdings,设置yml为UTF-8，如果还是启动失败，解决方法： 将yml内容复制，把application.yml删除，再重新创建改文件，将内容放进去，问题就解决了。 ...
java.nio.charset:Input length = 1异常
kang1011的博客
10-29 6415
Java NIO 报java.nio.charset.MalformedInputException: Input length = 1异常 1:当使用decoder.decode方法时，会抛异常。 2: 查了api，如开头的截图“当输入的字节数组对于给定的charset是非法的， 3:或者给定的输入字节数组不是16位的Unicode数组时，就会抛出异常”我理解的意思是， 4:把utf8格式的中文转换成gbk的字符缓冲时，对于gbk，这个utf8字节缓冲三个字节一个汉字，然而gbk是两个字节一个汉字，因
关于解决java.nio.charset.MalformedInputException: Input length = 1
Simon778的博客
07-31 1万+
关于解决java.nio.charset.MalformedInputException: Input length = 1
Python实训day06am【网络爬虫(爬取接口)】
upward
01-11 3070
Python实训
我的Java开发学习之旅------＞Java NIO 报java.nio.charset.MalformedInputException: Input length = 1异常
热门推荐
字节卷动
06-11 11万+
今天在使用Java NIO的Channel和Buffer进行文件操作时候，报了java.nio.charset.MalformedInputException: Input length = 1异常，具体如下： java.nio.charset.MalformedInputException: Input length = 1 at java.nio.charset.CoderResult.t
爬虫高级篇，教你如何抓取接口
m0_48769739的博客
10-29 1万+
爬虫高级篇，教你如何抓取接口 今天要爬取目标网站是极简壁纸，先放张图，这就是我们要爬取的首页， 由于网站禁止了右击—>检查，F12, 选择Elemets,随便定位一张图片试试， 可以看到，这是缩略图，而我们要爬取的是高清原图， 去Network查看，发现返回的html并没有我们想要图片数据 <div class="view-body" :class="{'view-body-classify':config.page.active == 'classify'}">
爬虫数据，如何获取您的电商API接口(爬虫和API概念，示例演示)
最新发布
API_18870278351的博客
03-06 1055
API：应用程序接口（API：Application Program Interface）是一组定义、程序及协议的集合，通过 API 接口实现计算机软件之间的相互通信。API接口很可能是远程的服务端API，其背后采用Java、PHP、C#、Pyhon、C/C++、Ruby、Scala等一种或多种后端语言开发搭建，提供了数据存储、通讯、各类服务等功能。（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
MalformedInputException: Input length = 1
AinUser的博客
05-13 1万+
因为你项目的编码不统一 比如，你项目统一时utf-8编码的，然而application.yml文件的编码格式为gbk 那么这样的话，你的项目也是会报错的
java 调用http接口
05-13
String requestBody = "param1=value1&param2=value2"; byte[] requestBodyBytes = requestBody.getBytes(StandardCharsets.UTF_8); connection.setRequestProperty("Content-Type", "application/x-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值