Java抓取网页内容

最新推荐文章于 2024-06-28 14:26:11 发布

hellolzhnh

最新推荐文章于 2024-06-28 14:26:11 发布

阅读量899

点赞数

分类专栏： JAVA

本文链接：https://blog.csdn.net/hellolzhnh/article/details/45537193

版权

JAVA 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Web 项目中jsoup的使用

下载地址：http://download.csdn.net/detail/start_baby/5132499

eg 我要抓取东方财富的某一只股票的详细详细（ http://data.eastmoney.com/xg/xg/detail/300461.html ）300461是股票代码，可能过时，可以进入（http://data.eastmoney.com/xg/xg/default.html）查看股票代码替换一下即可。

1.下载好包，放入项目的lib文件夹下。

2.java类

package com.collect.util;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
/**
* 根据输入URL 下载数据
*/
public class CollectFromHtml {
/**
* 网页下载数据
* @method: getHtmlResourceByUrl() -by fjt
* @TODO:
* @param url 地址
* @param encoding 编码格式
* @return String
*/
public static String getHtmlResourceByUrl(String url, String encoding) {
// 声明容器
StringBuffer buffer = new StringBuffer();
URL urlObj = null;
URLConnection uc = null;
InputStreamReader in = null;
BufferedReader reader = null;
try {
urlObj = new URL(url);
uc = urlObj.openConnection();
in = new InputStreamReader(uc.getInputStream(), encoding);
reader = new BufferedReader(in);
String tempLine = null;
while ((tempLine = reader.readLine()) != null) {
buffer.append(tempLine);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
} finally {
if (in != null) {
try {
in.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
return buffer.toString();
}

/**
* 采集数据详细数据http://data.eastmoney.com/xg/xg/detail/300461.html
*
* @param code 股票代码
* @return String
*/
public static String getDatasMsg(String code) {
code=code+".html";
String code1=code.replace("'","");
String temp = "";
try {
String URL = "http://data.eastmoney.com/xg/xg/detail/" + code1;
String htmlResource = getHtmlResourceByUrl(URL, "gb2312");
Document document = Jsoup.parse(htmlResource);
Element masthead = document.select("div.content").get(0); //抓取页面div的class属性为content的第一个层
Element masthead1 = document.select("div.content").get(1);//抓取页面div的class属性为content的第二个层
Element masthead2 = document.select("div.content").get(2);//抓取页面div的class属性为content的第三个层
Element masthead3 = document.select("div.content").get(3);抓取页面div的class属性为content的第四个层
temp = masthead.toString() + masthead1.toString()
+ masthead2.toString() + masthead3.toString();
} catch (Exception e) {
}

if (temp.length() > 1000) {
return temp;
} else {
return "no";
}
}
public static void main(String[] args) {
System.out.println(getDatasMsg("002024"));
}
}

3.控制器页面

这个获取页面的java类是静态类，直接在action里面调用这个方法，放入作用域，然后跳转到指定的页面，在页

面用EL表达式取出来就可以了

4.jsp页面类

<%@ page language="java" import="java.util.*" pageEncoding="utf-8"%>
<%
String path = request.getContextPath();
String basePath = request.getScheme() + "://"
+ request.getServerName() + ":" + request.getServerPort()
+ path + "/";
%>
<%@taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core"%>
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<base href="<%=basePath%>">
<title>My JSP 'allShares' starting page</title>
<meta http-equiv="pragma" content="no-cache">
<meta http-equiv="cache-control" content="no-cache">
<meta http-equiv="expires" content="0">
<meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
<meta http-equiv="description" content="This is my page">

<link rel="stylesheet" type="text/css" href="skin/css/base.css">
<style type="text/css">
body{
padding:0;
margin:0;
background-color:#ECE5D8;
}

</style>
</head>
<body leftmargin="8" topmargin="8" background='skin/images/allbg.gif'>
<center>
${msg}
</center>
</body>
</html>