Jsoup 抓取网页信息（2） 需要Login的网页信息抓取

最新推荐文章于 2022-11-20 16:41:11 发布
VIP文章 最新推荐文章于 2022-11-20 16:41:11 发布
阅读量5.4k 收藏 2
点赞数
分类专栏： java 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuxiaohui78/article/details/49092879
版权

      有时候抓取网页信息的时候，有些网页需要先登录才能查看到真正的内容。这样用我们上一篇文章的方法是无法直接抓取数据的。

Jsoup 抓取网页信息（1） 抓取 国际疾病码

例如抓取网页：http://www.findacode.com/code-set.php?set=CPT 上的 CPT codes

登录前，显示如下：


登录后显示：


我们要抓取的信息是登录后显示的内容。

解决这个问题的方法很简单。Jsoup给我们提供了cookies的功能，我们只要将我们自己账号登录的cookies传递给Jsoup就可以实现登录用户的访问。

1。 首先，登录自己的账号。

2。然后，在chrome中 Chrome -> setting->Con

最低0.47元/天 解锁文章
yuxiaohui78
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Jsoup+httpclient模拟登陆和抓取页面.pdf
10-04
Jsoup+httpclient模拟登陆和抓取页面.pdf
使用Jsoup模拟登录网站并精确抓取数据
tanwenfang的博客
02-15 6479
一，Jsoup是什么？有什么用？ jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 中文版的参考文档是：http://www.open-open.com/jsoup/ 二，使用Jsoup模拟登录GitHub 因为最近接到需求，在完全不动原系统的代码的情况下（...
JSoup模拟登录新版正方教务系统（内网-教务系统）获取信息过程详解
热门推荐
KI的博客
10-24 9万+
利用JSoup模拟登录校园内网和新版正方教务系统，然后爬取成绩和课表等信息，并展示在APP上。
利用Jsoup实现登录
lzjqcc的博客
05-18 3410
import java.io.IOException; import java.net.MalformedURLException; import java.net.URL; import java.util.HashMap; import java.util.List; import java.util.Map; import javax.annotation.Resource; import
java+jsoup抓取网页数据
12-21
使用java+jsoup进行网页数据的抓取，提取自己想要的数据
Android Jsoup 爬虫协议抓取网页信息
08-12
Android Jsoup 爬虫协议抓取网页信息
jsoup 网页信息 抓取 选择器
09-11
此抓取是抓取新浪高尔夫频道的新闻，采用的是jsoup 选择器抓取，比起httpparse 更好，更高效的抓取。
Java使用Jsoup抓取网页关键信息并入库
08-08
使用jsoup抓取网页列表信息，并入库，使用了PreparedStatement防止sql注入小demo。
jsoup抓取网页教程
12-14
很实用的jsoup抓取网页教程,通过查看此文档，您可以解决你在抓取网页过程中出现的问题
Jsoup+httpclient 模拟登陆和抓取
07-12
Jsoup+httpclient 模拟登陆和抓取页面 package com.app.html; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.FileReader; import java.io.IOException; import java.io.OutputStreamWriter; import java.io.Writer; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.commons.httpclient.Cookie; import org.apache.commons.httpclient.HttpClient; import org.apache.commons.httpclient.NameValuePair; import org.apache.commons.httpclient.cookie.CookiePolicy; import org.apache.commons.httpclient.cookie.CookieSpec; import org.apache.commons.httpclient.methods.PostMethod; import org.apache.commons.httpclient.params.HttpMethodParams; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import com.app.comom.FileUtil; public class HttpClientHtml { private static final String SITE = "login.goodjobs.cn"; private static final int PORT = 80; private static final String loginAction = "/index.php/action/UserLogin"; private static final String forwardURL = "http://user.goodjobs.cn/dispatcher.php/module/Personal/?skip_fill=1"; private static final String toUrl = "d:\\test\\"; private static final String css = "http://user.goodjobs.cn/personal.css"; private static final String Img = "http://user.goodjobs.cn/images"; private static final String _JS = "http://user.goodjobs.cn/scripts/fValidate/fValidate.one.js"; /** * 模拟等录 * @param LOGON_SITE * @param LOGON_PORT * @param login_Action * @param params * @throws Exception */ private static HttpClient loginHtml(String LOGON_SITE, int LOGON_PORT,String login_Action,String ...params) throws Exception { HttpClient client = new HttpClient(); client.getHostConfiguration().setHost(LOGON_SITE, LOGON_PORT); // 模拟登录页面 PostMethod post = new PostMethod(login_Action); NameValuePair userName = new NameValuePair("memberName",params[0] ); NameValuePair password = new NameValuePair("password",params[1] ); post.setRequestBody(new NameValuePair[] { userName, password }); client.executeMethod(post); post.releaseConnection(); // 查看cookie信息 CookieSpec cookiespec = CookiePolicy.getDefaultSpec(); Cookie[] cookies = cookiespec.match(LOGON_SITE, LOGON_PORT, "/", false, client.getState().getCookies()); if (cookies != null) if (cookies.length == 0) { System.out.println("Cookies is not Exists "); } else { for (int i = 0; i < cookies.length; i++) { System.out.println(cookies[i].toString()); } } return client; } /** * 模拟等录 后获取所需要的页面 * @param client * @param newUrl * @throws Exception */ private static String createHtml(HttpClient client, String newUrl) throws Exception { SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd"); String filePath = toUrl + format.format(new Date() )+ "_" + 1 + ".html"; PostMethod post = new PostMethod(newUrl); client.executeMethod(post); //设置编码 post.getParams().setParameter(HttpMethodParams.HTTP_CONTENT_CHARSET, "GBK"); String content= post.getResponseBodyAsString(); FileUtil.write(content, filePath); System.out.println("\n写入文件成功!"); post.releaseConnection(); return filePath; } /** * 解析html代码 * @param filePath * @param random * @return */ private static String JsoupFile(String filePath, int random) { SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd"); File infile = new File(filePath); String url = toUrl + format.format(new Date()) + "_new_" + random+ ".html"; try { File outFile = new File(url); Document doc = Jsoup.parse(infile, "GBK"); String html="<!DOCTYPE HTML PUBLIC '-//W3C//DTD HTML 4.01 Transitional//EN'>"; StringBuffer sb = new StringBuffer(); sb.append(html).append("\n"); sb.append("<html>").append("\n"); sb.append("<head>").append("\n"); sb.append("<title>欢迎使用新安人才网个人专区</title>").append("\n"); Elements meta = doc.getElementsByTag("meta"); sb.append(meta.toString()).append("\n"); ////////////////////////////body////////////////////////// Elements body = doc.getElementsByTag("body"); ////////////////////////////link////////////////////////// Elements links = doc.select("link");//对link标签有href的路径都作处理 for (Element link : links) { String hrefAttr = link.attr("href"); if (hrefAttr.contains("/personal.css")) { hrefAttr = hrefAttr.replace("/personal.css",css); Element hrefVal=link.attr("href", hrefAttr);//修改href的属性值 sb.append(hrefVal.toString()).append("\n"); } } ////////////////////////////script////////////////////////// Elements scripts = doc.select("script");//对script标签 for (Element js : scripts) { String jsrc = js.attr("src"); if (jsrc.contains("/fValidate.one.js")) { String oldJS="/scripts/fValidate/fValidate.one.js";//之前的css jsrc = jsrc.replace(oldJS,_JS); Element val=js.attr("src", jsrc);//修改href的属性值 sb.append(val.toString()).append("\n").append("</head>"); } } ////////////////////////////script////////////////////////// Elements tags = body.select("*");//对所有标签有src的路径都作处理 for (Element tag : tags) { String src = tag.attr("src"); if (src.contains("/images")) { src = src.replace("/images",Img); tag.attr("src", src);//修改src的属性值 } } sb.append(body.toString()); sb.append("</html>"); BufferedReader in = new BufferedReader(new FileReader(infile)); Writer out = new BufferedWriter(new OutputStreamWriter( new FileOutputStream(outFile), "gbk")); String content = sb.toString(); out.write(content); in.close(); System.out.println("页面已经爬完"); out.close(); } catch (IOException e) { e.printStackTrace(); } return url; } public static void main(String[] args) throws Exception { String [] params={"admin","admin123"}; HttpClient client = loginHtml(SITE, PORT, loginAction,params); // 访问所需的页面 String path=createHtml(client, forwardURL); System.out.println( JsoupFile(path,1)); } }
使用jsoup完成模拟登陆
lumenxu的博客
04-11 2328
大概的思路如下： 1，获取请求的参数，和对应的请求url 2，将参数封装到一个Map 中 3，使用对应的参数发post请求，获取response 4，判断时候模拟登陆成功     /**      * 读取配置文件中的登录参数      *      * @param loginFileName配置文件的名称      * @return 封装了登录信息的一个map   
JAVA爬虫初识之模拟登录
周无缺啊的博客
12-26 2万+
JAVA爬虫模拟登录知乎
刨根问底--技术--jsoup登陆网站
01-22 155
使用jsoup登陆网站，重要的就是看这个网站登录的时候需要什么信息？ 步骤： （1）Jsoup.connect(url)创建一个connect对象，注意：这个方法只支持WebURLs(http和https协议)。 （2）设置User-Agentconn.userA...
爬虫java_Java 爬虫遇到需要登录的网站，该怎么办？
weixin_39652136的博客
12-06 237
这是 Java 网络爬虫系列博文的第二篇，在上一篇Java 网络爬虫，就是这么的简单中，我们简单的学习了一下如何利用 Java 进行网络爬虫。在这一篇中我们将简单的聊一聊在网络爬虫时，遇到需要登录的网站，我们该怎么办？在做爬虫时，遇到需要登陆的问题也比较常见，比如写脚本抢票之类的，但凡需要个人信息的都需要登陆，对于这类问题主要有两种解决方式：一种方式是手动设置 cookie ，就是先在网站上面登录...
java登录网站_Java：使用Jsoup登录网站
weixin_33970994的博客
02-25 413
首先让我指出,我对编程很新,所以如果我遗漏了一些明显的东西,我很抱歉.我正在尝试编写一个程序,让您登录到this website但我无法弄清楚如何将自己的字符串输入到电子邮件和密码字段.我也不太清楚如何检查登录是否通过……到目前为止这是我的代码：public static void main(String[] args) throws Exception {String loginURL = "h...
java怎么使用Jsoup解析cookie
weixin_57228276的博客
11-20 932
下面这个是解析cookie的方法,因为需要map集合格式的cookie所以使用map集合进行数据的保存.上面就是通过Jsoup并且携带cookie进行网页访问,获得页面的dom信息.下面这段是使用Jsoup进行网页请求并且获取到页面的dom。
Jsoup携带Cookie跳过登录和设置代理IP
发现问题，面对问题，分析问题，解决问题，总结问题
04-18 2548
使用Jsoup访问某些网站时，某些资源是必须登录过后才能进行获取的，因此在这个时候就需要保存一些会话信息，即当前Jsoup发起请求时附带Cookie信息 类似的比如：CSDN、学校管理系统 当我们登录过某个网站时，浏览器会存储该会话的Cookie，并在下次访问时携带，然后服务器根据会话信息进行验证 备注：上图显示的Cookie只有一个，某些网站可能有多个键值对，如果可以的话，在程序中都添加上 ...
java jsoup模拟登陆,使用 jsoup 模拟登录 urp 教务系统
weixin_33158374的博客
03-13 601
1、首先打开教务系统的登录页面，F12 开启浏览器调试，注意一下 Request Headers 一栏的 Cookie 选项，我们一会需要拿这个 Cookie 去提交登录请求，否则会提示：请登录 或者 出现错误。 2、输入账号密码后点击登录，可以看到请求提交过程以及 FormData 发送的数据： 这个 loginAction.do 就是要提交验证的地址3、下面写代码：public class T...
java爬虫抓取网页数据
最新发布
05-29
如果需要使用代理抓取网页数据，可以在Jsoup.connect(url)方法中设置代理服务器，代码示例： ``` String url = "https://www.example.com"; String proxyHost = "127.0.0.1"; int proxyPort = 8888; Proxy proxy = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值