Jsoup 发送post请求 org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, URL=https:

最新推荐文章于 2024-06-17 10:57:22 发布
最新推荐文章于 2024-06-17 10:57:22 发布
阅读量1.1w 收藏
点赞数
分类专栏： Jsoup - HttpClient JAVA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_32739019/article/details/78717983
版权

在使用Jsoup 发从post 请求的 时候，需要携带很多参数！ 这次遇到忘了将页面form 标签下隐藏的数据带过去导致 404

 

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, URL=******
	at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:679)
	at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:628)
	at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:260)
	at org.jsoup.helper.HttpConnection.post(HttpConnection.java:255)
	at com.****.util.LoginAmazonUtils.submit(LoginAmazonUtils.java:245)
	at com.****.util.LoginAmazonUtils.process(LoginAmazonUtils.java:206)
	at com.****.util.LoginAmazonUtils.getLoginPageData(LoginAmazonUtils.java:131)
	at com.****.util.LoginAmazonUtils.main(LoginAmazonUtils.java:41)

 

遇到这种问题，大多数是参数不够，所请求被拒绝！

 

 

IT_小斯
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403
weixin_33724570的博客
05-17 1397
爬取网站的时候 conn = Jsoup.connect(url).timeout(5000).get();直接用get方法，有些网站可以正常爬取。 但是有些网站报403错误，403是一种在网站访问的过程中，常见的错误提示。表示资源不可用，服务器理解客户对的请求，但是拒绝处理它，通常由服务器上文件或者目录的权限设置导致的web访问错误。   解决方法无非就是从这几个角度：useragent,ref...
java org jar包 以及 org.jsoup开发包合一
11-07
Java的`org.jar`包通常指的是Java标准库中的`java.lang.org`包，这是一个包含许多核心类和接口的包，比如`org.omg`、`org.w3c`等，它们主要用于提供与对象管理组（OMG）和万维网联盟（W3C）相关的API，如CORBA支持和...
JSoup 爬虫遇到的 404 错误解决方案
Z_suger7的博客
12-28 1141
假设我们希望使用JSoup来爬取腾讯新闻的数据，但在实际操作中，我们却遇到404错误。这可能是因为腾讯新闻网站采取了一些反爬虫措施，例如检测请求头中的用户- Agent信息或者Referer信息，以识别爬虫行为并拒绝请求并返回404错误信息。在网络爬虫开发中，使用JSoup进行数据抓取是一种常见的方式。然而，当我们尝试使用JSoup来爬虫抓取腾讯新闻网站时，可能会遇到404错误。这种情况可能是由于网站的反面爬虫机制检测到了我们的爬虫行为，从而拒绝了我们的请求。
使用Jsoup简单的爬取关于疫情的数据——从官网取数据（已夭折）。夭折原因与问题分析
qq_39688441的博客
04-11 983
一、写这玩意的起因 因为疫情，每天手机时不时的推送零零散散的消息，有时候想看吧，又得去查，所以就想自己抽空爬一点数据，按照自己的习惯来看他，想怎么对比也方便自己。而且自己最近也不是太忙。 这里呢，希望得到真实官方的有效数据，所以打算从官方的页面获取数据。我想，我不会去频繁调用，就不会给网站添麻烦。获取数据主要目的也不是为了获利，主要是为了方便自己看和给朋友分享，再说了，我也只是拿本就公开让人看的数据。这样应该不会有麻烦吧。 二、开始建项目 1.首先呢，咱得有个sp...
完美解决HTTP 400错误：“status“: 400, “error“: “Bad Request“
最新发布
科技改变人类，技术成就未来
06-17 9079
本文深入解析了HTTP 400错误的常见原因，展示如何调试和解决这个问题，并结合实际代码示例进行说明。关键点总结：1. **检查URL、方法、头信息、请求格式，包括JSON格式**。2. **确保请求体内容和服务器期望的格式一致**。3. **使用调试工具(cURL, Postman)手动测试，逐步排除错误**。4. **增加日志和异常处理，以获取更具体的错误信息**。通过系统化的调试和逐一排查，你将能够有效解决大多数的400错误问题。希望本文对你解决实际问题有所帮助。
jsoup post方式请求接口错误“HTTP error fetching URL. Status=400”解决方法
wh445306
01-17 8609
Exception in thread "main" org.jsoup.HttpStatusException: HTTP error fetching URL. Status=400, URL=“xxxxxxx” 折腾了很久才找到解决方法： .ignoreContentType(true) .ignoreHttpErrors(true) 添加上面两个属性问题解决！get()的时候一般不会有问题，但是如果你是post方式提交数据到接口，报错的概率相当高，建议 不管是post,还是get，均开
Exception in thread “main“ org.jsoup.HttpStatusException: HTTP error fetching URL. Status=422, URL=
热门推荐
KI的博客
08-22 9万+
Form Data中的authenticity_token是动态变化的。
src.rar_DEMO_org.jsoup.Jsoup
09-19
总的来说，这个"src.rar_DEMO_org.jsoup.Jsoup"压缩包是一个宝贵的资源，它不仅展示了Jsoup的基本用法，还提供了一个实用的应用案例——图片下载，这对于任何想要学习和实践网页抓取的Java开发者来说都是极具价值的...
html-crawler.zip_in_org.jsoup.Jsoup
09-20
Document doc = Jsoup.connect(url).get(); System.out.println(doc); } catch (IOException e) { e.printStackTrace(); } } } ``` 在这个例子中，`Document doc`代表了网页的HTML结构，可以使用Jsoup提供的...
1yygwx.zip_JAVA夺宝岛_java夺宝源码_org.jsoup.Jsoup_夺宝_微信
09-14
【标题】"1yygwx.zip_JAVA夺宝岛_java夺宝源码_org.jsoup.Jsoup_夺宝_微信" 指的是一份基于Java语言开发的微信端一元夺宝应用的源代码。这个项目可能包含了一整套用于实现一元夺宝功能的后端服务、前端展示以及与...
org.jsoup.jar
08-21
描述中的"import org.jsoup.Jsoup"是引入Jsoup库的入口，通过这行代码，开发者可以访问到Jsoup的主要功能。Jsoup提供了简洁的API，使得开发者能够轻松地解析HTML文档，提取所需的数据，甚至进行一些结构化的修改。 ...
org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403 爬取网站出现403错误
qqnbsp的博客
10-17 2万+
爬取网站的时候 conn = Jsoup.connect(url).timeout(5000).get();直接用get方法，有些网站可以正常爬取。 但是有些网站报403错误，403是一种在网站访问的过程中，常见的错误提示。表示资源不可用，服务器理解客户对的请求，但是拒绝处理它，通常由服务器上文件或者目录的权限设置导致的web访问错误。 解决方法无非就是从这几个角度：useragent
爬虫、网页爬取Jsoup
fpz2614的专栏
07-07 135
Jsoup存在的时间已经很长，历史可以追溯到2010年的青葱岁月。说起来，那时的java工程师们还是神一般的存在，那会我们自己搞工具，自己搞框架，唯独缺少了开源精神。好些比较好用的工具都湮灭在原公司的资料库中。 Jsoup这个工具的活跃度还不错，对有一定开发经验的人来说，入门还是很容易的。它对前端的css选择器知识有一定要求，这个网上搜索一下，很快也就掌握了。 下面我爬取了中工网的一些信息，作为测试。 Document page_entrance= Jsoup.connect("http://www
全网多种方法分析解决HTTP Status 404资源未找到的错误，TCP的3次握手，dns域名解析，发起http请求以及cookie和session的区别
念兮为美
02-17 1万+
全网多种方法分析解决HTTP Status 404资源未找到的错误，TCP的3次握手，dns域名解析，发起http请求以及cookie和session的区别，ChatGPT的介绍。
使用 org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403 无法获取页面错误. 为什么高手赐教!
04-06 1513
网上找到这个问题的答案多是,要模拟浏览器. 可是 有个网站我模拟了还是有错误? 为什么 String url="https://pixabay.com/videos/"; //通过 解析 xml 文本 // Connection conn = Jsoup.connect(url).timeout(5000); /...
JSoup解析原网页获取Form Data和Query String Parameters
KI的博客
02-05 5万+
爬取过程中需要多次模拟查询，以获得后续操作需要的Form Data和Query String Parameters。
org.jsoup.HttpStatusException: HTTP error fetching URL. Status=544, URL=
荷塘月色
09-30 6655
添加用户代理，伪装成浏览器，解决问题。
org.jsoup.HttpStatusException:HTTP error fetching URL. Status=500, URL=******************
zwy8978480的博客
06-16 8966
错误：使用jsoup爬去数据时，报错 org.jsoup.HttpStatusException:HTTP error fetching URL. Status=500, URL=****************** 网上的各种办法也试过了，仍然不能解决问题。 最后无意间发现原来是传递参数的时候：由于参数太长浏览器显示的不全复制的时候没有复制全。 解决：双击参数的值然后全选复制，重新
Document doc = Jsoup.connect(url).get();出现java.net.SocketTimeoutException: Read timed out
11-30
当使用`Document doc = Jsoup.connect(url).get();`连接某网站时，如果连接超时，就会出现`java.net.SocketTimeoutException: Read timed out`异常。解决这个问题的方法是设置连接超时时间。可以使用以下代码来设置连接超时时间为5秒： ```java Document doc = Jsoup.connect(url).timeout(5000).get(); ``` 这样就可以避免连接超时的问题了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值