Java抓取网站数据

最新推荐文章于 2024-08-27 12:05:59 发布
最新推荐文章于 2024-08-27 12:05:59 发布
阅读量1.1k 收藏 4
点赞数 2
分类专栏： Java 文章标签： java html 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010758605/article/details/50728489
版权

一直在用kettle做数据处理的工作，最近有个项目组需求，用kettle好像没法直接达到目的，遂自己写代码来实现。需求如下：从这个网站http://ztb.whx.gov.cn/SortHtml/1/8447599122.html 获取相应的列表名称、子目录的地址以及子目录内各个网页内容。如图：
获取该页面的招标公告内的列表名和地址
通过点击页面，可以有规律的分页URL
子目录内需要获取标题内容等相关信息
附件要获取附件名称和URL链接地址

需求确定了，开发如下：
1.利用Jsoup的jar包内方法可以获取并解析html内容
jar包
2.获取首页列表，代码如下：

package com.jsoup.demo;

import java.io.IOException;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.Statement;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.jsoup.test.SQLHelp;

/*
 * 获取首页列表
 * http://ztb.whx.gov.cn/Nav_gonggao.asp?whichpage=1&SS_ID=22 共164页2449条
 * http://ztb.whx.gov.cn/Nav_gonggao.asp?whichpage=1&SS_ID=23 共3页35条
 * http://ztb.whx.gov.cn/Nav_gonggao.asp?whichpage=1&SS_ID=24 共4页49条
 */
public class GetList {
    private static Connection conn = null;
    private static Statement st = null;
    private static PreparedStatement ps = null;
    private static ResultSet rs = null;

    /**
     * 获取首页标题和标题链接插入数据库中
     */
    public static void getListinfo() {
        Document doc;
        int a = 10;
        for (int i = 22; i <= 24; i++) {
            if (i == 22) {
                a = 200; // 县本级页数为164页
            } else if (i == 23) {
                a = 20; // 各镇招标办为3页
            } else if (i == 24) {
                a = 20; // 招标代理机构为4页
            }
            for (int j = 1; j <= a; j++) {
                try {
                    doc = Jsoup.connect(
                            "http://ztb.whx.gov.cn/Nav_gonggao.asp?whichpage="
                                    + j + "&SS_ID=" + i).get();

                    Elements ListDiv = doc.getElementsByAttributeValue("style",
                            "margin-top:20px;");
                    for (Element element : ListDiv) {
                        Elements links = element.getElementsByTag("a");
                        for (Element link : links) {
                            String linkHref = link.attr("href");
                            String linkText = link.text().trim();
                            String content = null;
                            SQLHelp sh = new SQLHelp();
                            conn = sh.getConnection();
                            try {
                                // 判断数据库中是否已经存在该条记录，若存在不操作
                                if (chargeExists(linkHref).equals("no")) {
                                    String sql = "insert into links1(linkname,linkhref,content) values(?,?,"
                                            + content + ")";
                                    ps = conn.prepareStatement(sql);
                                    ps.setString(1, linkText);
                                    ps.setString(2, linkHref);
                                    ps.executeUpdate();
                                }
                            } catch (Exception e) {
                                System.out.println(e.getMessage());
                            } finally {
                                try {
                                    if (ps != null)
                                        ps.close();
                                    if (conn != null)
                                        conn.close();
                                } catch (Exception e) {
                                    e.printStackTrace();
                                }
                            }
                        }
                    }
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }

    // 判断是否已经存在
    public static String chargeExists(String href) {
        SQLHelp sh = new SQLHelp();
        conn = sh.getConnection();
        try {
            String sql1 = "select linkhref from links1 where linkhref='" + href
                    + "'";
            st = conn.createStatement();
            rs = st.executeQuery(sql1);
            if (rs.next()) {
                return "yes";
            }
        } catch (Exception e) {
            System.out.println(e.getMessage());
        } finally {
            try {
                if (ps != null)
                    ps.close();
                if (conn != null)
                    conn.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        return "no";
    }

    // 删除非标准的域名
    public static void delWrongUrl() {
        SQLHelp sh = new SQLHelp();
        conn = sh.getConnection();
        try {
            String sql = "DELETE from links1 where linkhref like '/Nav_gonggao.asp?whichpage=%'";
            ps = conn.prepareStatement(sql);
            ps.executeUpdate();
        } catch (Exception e) {
            System.out.println(e.getMessage());
        } finally {
            try {
                if (ps != null)
                    ps.close();
                if (conn != null)
                    conn.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

    public static void main(String[] args) {
        // 插入链接和标题数据
        getListinfo();
        // 删除非标准域名地址
        delWrongUrl();
    }
}

3.根据获取到的url地址，更新相关数据，代码如下：

package com.jsoup.demo;

import java.io.IOException;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.Statement;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.jsoup.test.SQLHelp;

public class UpdateInfo {
    private static Connection conn = null;
    private static Statement st = null;
    private static PreparedStatement ps = null;
    private static ResultSet rs = null;

    /**
     * 从数据库读取URL获取相应内容并更新
     */
    public static void updateInfo() {
        SQLHelp sh = new SQLHelp();
        conn = sh.getConnection();
        try {
            String sql = "select linkhref,linkname from links1 where content=''";
            st = conn.createStatement();
            rs = st.executeQuery(sql);
            while (rs.next()) {

                String str = rs.getString(1);
                String str1 = rs.getString(2);
                String body=getBody(str);
                String sql1 = "update links1 set sourcetxt= ? ,content= ?,title=?,editdate=?,source=?,editor=? where linkhref= ? ";
                ps = conn.prepareStatement(sql1);
                ps.setString(1, body);
                ps.setString(2, getUrlInfo(str));
                //ps.setString(3, (body.substring(body.indexOf(str1.replace(".", "")), body.indexOf(str1.replace(".", ""))+20)).replaceAll("[&;a-zA-Z0-9</]", ""));
                ps.setString(3, str1);
                ps.setString(4, (body.substring(body.indexOf("编辑日期：")+5, body.indexOf("编辑日期：")+15)).replaceAll("[&;a-zA-Z]", ""));
                ps.setString(5, (body.substring(body.indexOf("来源：")+3, body.indexOf("来源：")+20)).replaceAll("[&;a-zA-Z]", ""));
                ps.setString(6, (body.substring(body.indexOf("作者：")+3, body.indexOf("作者：")+20)).replaceAll("[&;a-zA-Z]", ""));
                ps.setString(7, str);
                //System.out.println(sql1);
                ps.executeUpdate();
            }
        } catch (Exception e) {
            System.out.println(e.getMessage());
        } finally {
            try {
                if (ps != null)
                    ps.close();
                if (conn != null)
                    conn.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }

    }

    /**
     * 获取指定class内容
     */
    public static String getUrlInfo(String url) {
        Document doc;
        try {
            doc = Jsoup.connect(url).get();
            Elements ListDiv = doc.getElementsByAttributeValue("class", "p1");
            for (Element element : ListDiv) {
                // System.out.println(element.html());
                String html = element.html().replaceAll("'", "''");
                /* return element.html(); */
                return html;
            }
        } catch (Exception e) {
            System.out.println(e.getMessage());
        }
        return null;
    }

    /**
     * 获取指定url的body内容
     * 
     * @throws IOException
     */
    private static String getBody(String url) throws IOException {
        // 从 URL 直接加载 HTML 文档
        Document doc2 = Jsoup.connect(url).get();
        String body = doc2.body().toString();
        body = body.replaceAll("'", "''");
        // System.out.println(body);
        return body;
    }

    public static void main(String[] args) {
        updateInfo();
    }
}
俊不见高堂明镜
关注
专栏目录
java 抓取网站数据
爱java
04-18 488
假设你需要获取51job 人才网上java 人才的需求数量，首先你需要分析51job 网站的搜索这 一块是怎么运作的，通过解析网页的源代码，我们发现了以下一些信息： 1. 搜索时页面请求的URL 是 http://search.51job.com/jobsearch/search_result.php 2. 请求所用的方法为：POST 3. 返回的页面的编码格式为：GBK 4. 假...
Java抓取网页数据Demo
08-26
Java抓取网页数据的两种方法：（1）抓取原网页 （2）抓取网页JS返回数据
高效的Java爬虫实战：网页数据抓取技巧分享
G171104的博客
06-26 1110
本文介绍了Java爬虫的基本原理，并通过具体代码示例展示了如何使用Java编写高效的网页爬虫。在实际应用中，还需要注意合法使用爬虫，尊重网站的隐私政策和服务条款，以免引起法律纠纷。为了解决这个问题，人们开发了各种爬虫工具，其中Java爬虫是最常用的之一。首先，我们需要使用Java的网络编程库发送HTTP请求来获取网页的内容。网页爬虫的基本原理是通过模拟浏览器发送HTTP请求，然后解析网页并提取所需的数据。为了实践爬虫的开发过程，我们选择了抓取豆瓣电影排行榜的数据作为示例。二、爬虫开发环境搭建。
网页数据抓取 java_Java抓取网页数据（原网页+Javascript返回数据）
weixin_39782500的博客
02-20 302
转载请注明出处！有时候因为种种原因，我们须要採集某个站点的数据，但因为不同站点对数据的显示方式略有不同！本文就用Java给大家演示怎样抓取站点的数据：(1)抓取原网页数据；(2)抓取网页Javascript返回的数据。一、抓取原网页。这个样例我们准备从http://ip.chinaz.com上抓取ip查询的结果：第一步：打开这个网页，然后输入IP：111.142.55.73，点击查询button，...
Java 数据抓取
sytdsqzr的博客
02-01 652
大家好我是苏麟 , 今天聊聊数据抓取 .
Java网页数据抓取实例
不抛弃、不放弃：Aaron莫言
11-01 3014
在很多行业中，要对行业数据进行分类汇总，及时分析行业数据，对于公司未来的发展，
java抓取网站数据
05-08
### Java抓取网站数据知识点详解 #### 一、概述 在现代互联网开发中，抓取网站数据是一项重要的技能。无论是进行市场调研、竞品分析还是数据挖掘，掌握如何使用Java来抓取数据都是十分必要的。本篇文章将详细介绍...
java抓取网站数据.pdf
07-14
### Java抓取网站数据知识点详解 #### 一、概述 在现代互联网开发中，爬虫技术成为了一项非常重要的技能。通过爬虫技术，开发者可以从网页中自动提取所需信息，进行数据分析、研究或是构建自己的应用服务。本篇文档...
java抓取网站数据[参考].pdf
10-11
### Java抓取网站数据知识点详解 #### 一、概述 在现代互联网开发中，抓取网站数据是一项重要的技能。无论是进行市场调研、竞品分析还是数据挖掘，掌握如何使用Java来抓取数据都是极其有用的。本文将以抓取“51job...
java网络编程抓取指定网页信息--UrlHtml(java源码)
01-14
package com.hexiang.io; import java.io.DataInputStream; import java.io.IOException; import java.net.MalformedURLException; import java.net.URL; public class UrlHtml { @SuppressWarnings("deprecation") public static void main(String[] s) throws IOException{ try { URL url = new URL("http://www.kum.net.cn"); DataInputStream in = new DataInputStream(url.openStream()); String inputStream = null; inputStream = in.readLine(); while(inputStream!=null){ System.out.println(inputStream); inputStream = in.readLine(); } } catch (MalformedURLException e) { // TODO 自动生成 catch 块 e.printStackTrace(); } } }
java+jsoup抓取网页数据
12-21
使用java+jsoup进行网页数据的抓取，提取自己想要的数据
java抓取网页数据
06-30
非常好的一个java版本的网络爬虫，下载直接可以运行。可以后台登陆然后再抓取。值得大家研究。
java爬虫抓取城市数据
09-27
java爬虫抓取城市数据,数据抓取后直接持久化到数据库当中。博客地址http://blog.csdn.net/qq_23994787/article/details/78107890 如果没有积分的话，在主页给博主发邮件获取。
使用Java抓取网页数据
12-22
一、使用 HttpClient 抓取网页数据 public String getHtml(String htmlurl) throws IOException { StringBuffer sb = new StringBuffer(); String acceptEncoding = ""; /* 1.生成 HttpClinet 对象并设置参数 */ HttpClient httpClient = new HttpClient(); GetMethod method = new GetMethod(htmlurl); int statusCode; try { status
java抓取网页内容
飞奔的小强
12-24 457
/*      * 爬取网页信息      */     private static String pickData(String url) {         CloseableHttpClient httpclient = HttpClients.createDefault();         try {             HttpGet httpget = new HttpGet(...
我的java数据抓取经验
iteye_19811的博客
12-15 131
本人担任职友集的java工程师五年，其中抓取数据占主要的一部分，抓取的信息只要有两部分，职位和简历，其中职位的抓取量为日均插入量为30万，更新量为60万，抓取全国300多个人才网站。职友集（现在改名为跳哪网）现在是全国职位量最高的垂直搜索引擎。月均广告收入约20万左右。当然这是经过我们团队的努力。 我们在职位抓取方面是下了很大的一番功夫，使我们的职位量无法被人超越，首先现在很多人才网站为...
Java数据抓取全攻略，轻松掌握数据采集技巧
最新发布
lizi88888的博客
08-27 527
Java 中有多种方式进行 HTTP 请求，比如使用 HttpURLConnection 类、Apache HttpClient 库等等。而 Java 作为一种广泛使用的编程语言，其强大的网络请求和数据处理能力使得它成为抓取数据的首选语言之一。我们可以使用 HttpClient 发送 HTTP 请求，使用 jsoup 解析 HTML，使用 JDBC 连接 MySQL 数据库进行数据存储。Java 中可以使用多种方式进行数据存储，例如使用 MySQL 数据库、Redis 缓存等等。四、XPath 技术。
用java抓取网页信息！
06-13 93
最近因为需要，所以稍微了解了下用java抓取网页信息！ 这次我所分配的任务是抓取原创上面的学生期末的排考！因为这个网页都是用asp.net写的，所以对里面的一些细节不是很了解！所以也只知道一个大概！因为自己毕竟不是搞asp的. 现在我们就来了解下详细的步骤吧！ 其中基本上每个页面都会涉及到，Cookie这个值！而这个值里面又是怪怪的！由于我对asp的seesion和coo...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值