用HtmlParser 写个简单的 news爬虫(转)

最新推荐文章于 2022-05-10 10:24:39 发布
最新推荐文章于 2022-05-10 10:24:39 发布
阅读量144 收藏
点赞数
分类专栏： Java code 文章标签： java 爬虫 thread.news
有一段时间没写博客了，这几天回到学校我同学要赶着交毕业设计，让我帮他写个爬虫，专门抓搜狐的新闻，我用过爬虫，但是从来没有自己写过爬虫，于是Google了一下，找到了一篇不错的文章：使用 HttpClient 和 HtmlParser 实现简易爬虫 . 参考里面的代码，自己写了个简易的搜狐新闻爬虫。

爬虫的主要工做就是到搜狐的新闻首页上去抓取新闻，然后将新闻添加到数据库中。
代码其实很简单的：
LinkParser.java 

import com.sohu.SohuNews;
import java.util.HashSet;
import java.util.Set;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

/**
 *  这个类是用来搜集新闻链接地址的。将符合正则表达式的URL添加到URL数组中。
 * @author guanminglin
 */
public class LinkParser {
    // 获取一个网站上的链接,filter 用来过滤链接

    public static Set<String> extracLinks(String url, LinkFilter filter) {

        Set<String> links = new HashSet<String>();
        try {
            Parser parser = new Parser(url);
            parser.setEncoding("gb2312");
            // 过滤 <frame >标签的 filter，用来提取 frame 标签里的 src 属性所表示的链接
            NodeFilter frameFilter = new NodeFilter() {

                public boolean accept(Node node) {
                    if (node.getText().startsWith("frame src=")) {
                        return true;
                    } else {
                        return false;
                    }
                }
            };
            // OrFilter 来设置过滤 <a> 标签，和 <frame> 标签
            OrFilter linkFilter = new OrFilter(new NodeClassFilter(
                    LinkTag.class), frameFilter);
            // 得到所有经过过滤的标签
            NodeList list = parser.extractAllNodesThatMatch(linkFilter);
            for (int i = 0; i < list.size(); i++) {
                Node tag = list.elementAt(i);
                if (tag instanceof LinkTag)// <a> 标签
                {
                    LinkTag link = (LinkTag) tag;
                    String linkUrl = link.getLink();// url
                    if (filter.accept(linkUrl)) {
                        links.add(linkUrl);
                    }
                } else// <frame> 标签
                {
                    // 提取 frame 里 src 属性的链接如 <frame src="test.html"/>
                    String frame = tag.getText();
                    int start = frame.indexOf("src=");
                    frame = frame.substring(start);
                    int end = frame.indexOf(" ");
                    if (end == -1) {
                        end = frame.indexOf(">");
                    }
                    String frameUrl = frame.substring(5, end - 1);
                    if (filter.accept(frameUrl)) {
                        links.add(frameUrl);
                    }
                }
            }
        } catch (ParserException e) {
            e.printStackTrace();
        }
        return links;
    }

    public void doParser(String url) {
        SohuNews news = new SohuNews();
        Set<String> links = LinkParser.extracLinks(
                url, new LinkFilter() {
            //提取以 http://news.sohu.com 开头的链接

            public boolean accept(String url) {
                if (url.matches("http://news.sohu.com/[\\d]+/n[\\d]+.shtml")) {
                    return true;
                } else {
                    return false;
                }
            }
        });
        //循环迭代出连接，然后提取该连接中的新闻。
        for (String link : links) {
            System.out.println(link);
            news.parser(link); //解析连接

        }
    }

    //测试主页新闻，可以得到主页上所有符合要求的网页地址，并进行访问。
    public static void main(String[] args) {
        String url = "http://news.sohu.com/";
        LinkParser parser = new LinkParser();
        parser.doParser(url);

    }
}


上面这段带码比较简单，就是用来提取 http://news.sohu.com 上面的新闻连接 ，格式类似这样：http://news.sohu.com/20090518/n264012864.shtml
所以写了一小段的正则表达式来匹配他： 

Set<String> links = LinkParser.extracLinks(
                url, new LinkFilter() {
            //提取以 http://news.sohu.com 开头的链接

            public boolean accept(String url) {
                if (url.matches("http://news.sohu.com/[\\d]+/n[\\d]+.shtml")) {
                    return true;
                } else {
                    return false;
                }
            }
        });


还有一个核心类就是用来解析搜狐新闻的类，该类用于重网页中提取出新闻，然后将新闻添加到数据库中。代码中还用到了一个NewsBean
这段代码就不贴出来了，很简单的POJO 代码。核心代码都在下面。
SohuNews.java 

import com.sohu.bean.NewsBean;
import com.sohu.db.ConnectionManager;
import java.util.ArrayList;
import java.util.List;
import java.util.logging.Level;
import java.util.logging.Logger;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.beans.StringBean;
import org.htmlparser.filters.AndFilter;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.Div;
import org.htmlparser.tags.HeadingTag;
import org.htmlparser.tags.Span;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

import java.sql.PreparedStatement;
import java.sql.SQLException;

/**
 * 用于对搜狐网站上的新闻进行抓取
 * @author guanminglin <guanminglin@gmail.com>
 */
public class SohuNews {

    private Parser parser = null;   //用于分析网页的分析器。
    private List newsList = new ArrayList();    //暂存新闻的List；
    private NewsBean bean = new NewsBean();
    private ConnectionManager manager = null;    //数据库连接管理器。
    private PreparedStatement pstmt = null;

    public SohuNews() {
    }

    /**
     * 获得一条完整的新闻。
     * @param newsBean
     * @return
     */
    public List getNewsList(final NewsBean newsBean) {
        List list = new ArrayList();
        String newstitle = newsBean.getNewsTitle();
        String newsauthor = newsBean.getNewsAuthor();
        String newscontent = newsBean.getNewsContent();
        String newsdate = newsBean.getNewsDate();
        list.add(newstitle);
        list.add(newsauthor);
        list.add(newscontent);
        list.add(newsdate);
        return list;
    }

    /**
     *  设置新闻对象，让新闻对象里有新闻数据
     * @param newsTitle 新闻标题
     * @param newsauthor  新闻作者
     * @param newsContent 新闻内容
     * @param newsDate  新闻日期
     * @param url  新闻链接
     */
    public void setNews(String newsTitle, String newsauthor, String newsContent, String newsDate, String url) {
        bean.setNewsTitle(newsTitle);
        bean.setNewsAuthor(newsauthor);
        bean.setNewsContent(newsContent);
        bean.setNewsDate(newsDate);
        bean.setNewsURL(url);
    }

    /**
     * 该方法用于将新闻添加到数据库中。
     */
    protected void newsToDataBase() {

        //建立一个线程用来执行将新闻插入到数据库中。
        Thread thread = new Thread(new Runnable() {

            public void run() {
                boolean sucess = saveToDB(bean);
                if (sucess != false) {
                    System.out.println("插入数据失败");
                }
            }
        });
        thread.start();
    }

    /**
     * 将新闻插入到数据库中
     * @param bean
     * @return
     */
    public boolean saveToDB(NewsBean bean) {
        boolean flag = true;
        String sql = "insert into news(newstitle,newsauthor,newscontent,newsurl,newsdate) values(?,?,?,?,?)";
        manager = new ConnectionManager();
        String titleLength = bean.getNewsTitle();
        if (titleLength.length() > 60) {  //标题太长的新闻不要。
            return flag;
        }
        try {
            pstmt = manager.getConnection().prepareStatement(sql);
            pstmt.setString(1, bean.getNewsTitle());
            pstmt.setString(2, bean.getNewsAuthor());
            pstmt.setString(3, bean.getNewsContent());
            pstmt.setString(4, bean.getNewsURL());
            pstmt.setString(5, bean.getNewsDate());
            flag = pstmt.execute();

        } catch (SQLException ex) {
            Logger.getLogger(SohuNews.class.getName()).log(Level.SEVERE, null, ex);
        } finally {
            try {
                pstmt.close();
                manager.close();
            } catch (SQLException ex) {
                Logger.getLogger(SohuNews.class.getName()).log(Level.SEVERE, null, ex);
            }

        }
        return flag;
    }

    /**
     * 获得新闻的标题
     * @param titleFilter
     * @param parser
     * @return
     */
    private String getTitle(NodeFilter titleFilter, Parser parser) {
        String titleName = "";
        try {

            NodeList titleNodeList = (NodeList) parser.parse(titleFilter);
            for (int i = 0; i < titleNodeList.size(); i++) {
                HeadingTag title = (HeadingTag) titleNodeList.elementAt(i);
                titleName = title.getStringText();
            }

        } catch (ParserException ex) {
            Logger.getLogger(SohuNews.class.getName()).log(Level.SEVERE, null, ex);
        }
        return titleName;
    }

    /**
     * 获得新闻的责任编辑，也就是作者。
     * @param newsauthorFilter
     * @param parser
     * @return
     */
    private String getNewsAuthor(NodeFilter newsauthorFilter, Parser parser) {
        String newsAuthor = "";
        try {
            NodeList authorList = (NodeList) parser.parse(newsauthorFilter);
            for (int i = 0; i < authorList.size(); i++) {
                Div authorSpan = (Div) authorList.elementAt(i);
                newsAuthor = authorSpan.getStringText();
            }

        } catch (ParserException ex) {
            Logger.getLogger(SohuNews.class.getName()).log(Level.SEVERE, null, ex);
        }
        return newsAuthor;

    }

    /*
     * 获得新闻的日期
     */
    private String getNewsDate(NodeFilter dateFilter, Parser parser) {
        String newsDate = null;
        try {
            NodeList dateList = (NodeList) parser.parse(dateFilter);
            for (int i = 0; i < dateList.size(); i++) {
                Span dateTag = (Span) dateList.elementAt(i);
                newsDate = dateTag.getStringText();
            }
        } catch (ParserException ex) {
            Logger.getLogger(SohuNews.class.getName()).log(Level.SEVERE, null, ex);
        }

        return newsDate;
    }

    /**
     * 获取新闻的内容
     * @param newsContentFilter
     * @param parser
     * @return  content 新闻内容
     */
    private String getNewsContent(NodeFilter newsContentFilter, Parser parser) {
        String content = null;
        StringBuilder builder = new StringBuilder();


        try {
            NodeList newsContentList = (NodeList) parser.parse(newsContentFilter);
            for (int i = 0; i < newsContentList.size(); i++) {
                Div newsContenTag = (Div) newsContentList.elementAt(i);
                builder = builder.append(newsContenTag.getStringText());
            }
            content = builder.toString();  //转换为String 类型。
            if (content != null) {
                parser.reset();
                parser = Parser.createParser(content, "gb2312");
                StringBean sb = new StringBean();
                sb.setCollapse(true);
                parser.visitAllNodesWith(sb);
                content = sb.getStrings();
//                String s = "\";} else{ document.getElementById('TurnAD444').innerHTML = \"\";} } showTurnAD444(intTurnAD444); }catch(e){}";

                content = content.replaceAll("\\\".*[a-z].*\\}", "");

                content = content.replace("[我来说两句]", "");


            } else {
               System.out.println("没有得到新闻内容！");
            }

        } catch (ParserException ex) {
            Logger.getLogger(SohuNews.class.getName()).log(Level.SEVERE, null, ex);
        }

        return content;
    }

    /**
     * 根据提供的URL，获取此URL对应网页所有的纯文本信息，次方法得到的信息不是很纯，
     *常常会得到我们不想要的数据。不过如果你只是想得到某个URL 里的所有纯文本信息，该方法还是很好用的。
     * @param url 提供的URL链接
     * @return RL对应网页的纯文本信息
     * @throws ParserException
     * @deprecated 该方法被 getNewsContent()替代。
     */
    @Deprecated
    public String getText(String url) throws ParserException {
        StringBean sb = new StringBean();

        //设置不需要得到页面所包含的链接信息
        sb.setLinks(false);
        //设置将不间断空格由正规空格所替代
        sb.setReplaceNonBreakingSpaces(true);
        //设置将一序列空格由一个单一空格所代替
        sb.setCollapse(true);
        //传入要解析的URL
        sb.setURL(url);

        //返回解析后的网页纯文本信息
        return sb.getStrings();
    }

    /**
     * 对新闻URL进行解析提取新闻，同时将新闻插入到数据库中。
     * @param content
     */
    public void parser(String url) {
        try {
            parser = new Parser(url);
            NodeFilter titleFilter = new TagNameFilter("h1");
            NodeFilter contentFilter = new AndFilter(new TagNameFilter("div"), new HasAttributeFilter("id", "sohu_content"));
            NodeFilter newsdateFilter = new AndFilter(new TagNameFilter("span"), new HasAttributeFilter("class", "c"));
            NodeFilter newsauthorFilter = new AndFilter(new TagNameFilter("div"), new HasAttributeFilter("class", "editUsr"));
            String newsTitle = getTitle(titleFilter, parser);
            parser.reset();   //记得每次用完parser后，要重置一次parser。要不然就得不到我们想要的内容了。
            String newsContent = getNewsContent(contentFilter, parser);
            System.out.println(newsContent);   //输出新闻的内容，查看是否符合要求
            parser.reset();
            String newsDate = getNewsDate(newsdateFilter, parser);
            parser.reset();
            String newsauthor = getNewsAuthor(newsauthorFilter, parser);

            //先设置新闻对象，让新闻对象里有新闻内容。
            setN             ews(newsTitle, newsauthor, newsContent, newsDate, url);
//将新闻添加到数据中。
            this.newsToDataBase();

        } catch (ParserException ex) {
            Logger.getLogger(SohuNews.class.getName()).log(Level.SEVERE, null, ex);
        }
    }

    //单个文件测试网页
    public static void main(String[] args) {
        SohuNews news = new SohuNews();
        news.parser("http://news.sohu.com/20090518/n264012864.shtml");   
    }
}

存放新闻的数据库用的是MySql 建表语句如下：（其实不用数据库也可以的，在SohuNews类中注释掉那行红色的代码就可以了，所有得到的新闻都会在后台打印的。 

CREATE DATABASE IF NOT EXISTS sohunews;
USE sohunews;

--
-- Definition of table `news`
--

DROP TABLE IF EXISTS `news`;
CREATE TABLE `news` (
  `newsid` int(11) NOT NULL auto_increment,
  `newstitle` varchar(60) NOT NULL,
  `newsauthor` varchar(20) NOT NULL,
  `newscontent` text NOT NULL,
  `newsurl` char(130) NOT NULL,
  `newsdate` varchar(24) NOT NULL,
  PRIMARY KEY  (`newsid`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8;

以上的代码写的很粗糙，项目中使用到了HtmlParser工具包，如果需要可以到http://sourceforge.net/projects/htmlparser 网站上下载。如果有需要这个

这篇文章只是一篇抛砖引玉的文章，希望懂爬虫的你能够给点意见，大家交流交流！！
[url]http://www.blogjava.net/Files/gml520/Sohu.zip[/url]
asdfg827426
关注
专栏目录
基于lua网络爬虫
ouloba_cs的专栏
10-05 3379
依赖 https://gitee.com/EventServer lua-htmlparser --定义数据 SpiderWebs={} SpiderWebs[1]={url='https://www.oschina.net', selector='a.news-link', content='div.content'} --采集URL --'https://www.os...
Atom-newsparser,一个多用户web应用程序，用于解析不同来源的新闻并将其合并到单个新闻源中。.zip
09-18
Atom-newsparser.zip,一个多用户web应用程序，用于解析不同来源的新闻并将其合并到单个新闻源中。喂食器,atom是一个用web技术构建的开源文本编辑器。
python爬虫基础-HTMLParser
与君共勉
05-20 5740
首先，Python提供了HTMLParser来非常方便地解析HTML，只需简单几行代码，如下： from HTMLParser import HTMLParser from htmlentitydefs import name2codepoint class MyHTMLParser(HTMLParser): def handle_starttag(self, tag, attrs...
news_parser:通过关键字搜索新闻
03-07
rss_news 搜索流行的RSS中的所有新闻： 福布斯，Yandex，Mail.ru，Lenta，Izvestiya，Vesti，Garant，Life，RBK，Gazeta.ru，Vedomosti，BBC，Poplulyarnaya mekhanika，Nauka i zhizn'，RT，C-Main，Pravitel'stvo RF，Gosduma RF， Rossiyskaya gazeta，Rosteh，Kommersant，专家，NASA，Yandex.Kosmos，Astronews，Google，Finam，Aton，MMVB，Esquire，GQ，N + 1 程序特点： 通过关键字搜索新闻 将搜索结果发送到电子邮件 将搜索结果导出到Excel 通过关键字进行其他搜索。 可以删除单词，而可以添加新单词（无限制） 使用Oracle数据库分析新闻标题中的词频（您需
使用 Jsoup 爬虫解析 html 新闻的实例
xuanjiewu的专栏
06-08 1316
本文 转自：http://blog.csdn.net/junbin_fan/article/details/24814407 一、目标主页 实例中进行解析的的目标主页是宁夏大学新闻网，在主方法中可以看到有三条新闻详情和三个新闻列表共6条URL，可以通过在主方法中切换不的url来对目标主页的内容进行解析。 二、JSoup的相关API可以参看官方的支持文档。
新闻动态html,news.html
weixin_34139050的博客
06-10 848
新闻动态content="width=device-width, initial-scale=1,maximum-scale=1.0, user-scalable=0,user-scalable=no"> data-am-collapse="{target: '#doc-topbar-collapse'}">导航切换 class="am-icon-bars">首页解决方案产...
java 爬虫 html页面 parse,用HtmlParser 写个简单的 news爬虫
weixin_36297381的博客
06-03 175
importcom.sohu.bean.NewsBean;importcom.sohu.db.ConnectionManager;importjava.util.ArrayList;importjava.util.List;importjava.util.logging.Level;importjava.util.logging.Logger;importorg.htmlparser.NodeFi...
java爬虫教程及工具应用
09-16
本文详细介绍了Java爬虫的基本概念、关键技术以及常用框架，并通过一个简单的示例演示了如何使用Java实现一个网页爬虫。在实际应用中，还需要考虑反爬策略、数据存储等问题。希望本文能为读者提供一定的参考价值。
sinaNews_crawler:新浪新闻爬虫
06-24
sinaNews_crawler 这是一个爬取新浪新闻的爬虫程序，本程序在后台线程中将新浪网的新闻抓取到自己的mysql数据库中，并在页面中不断刷新显示出来 注意：编程序需要htmlparser.jar来解析新闻的html代码
Python爬虫实现爬取百度百科词条功能实例
01-20
以下是一个简单的爬虫程序流程： 1. 初始化URL管理器、下载器、解析器和输出处理器。 2. 设置起始URL（如`https://baike.baidu.com/item/Python/407313`，表示百度百科的Python词条页面）。 3. 在循环中，从URL管理...
【LeetCode-多线程】1242. 多线程网页爬虫
HeavenDan的博客
05-10 1043
1、Ctrl+W 或Ctrl+F4 关闭当前标签页或弹出窗口。 2、Ctrl+Tab 下一个标签页 Ctrl+Shift+Tab 上一个标签页 Ctrl+L：定位URL
网页中写新闻条的步骤
一凡凡凡人的博客
07-23 670
新闻条步骤： 如果新闻条后有时间html标签嵌套如下： &lt;li&gt; &lt;a href="#"&gt;新闻条新闻条新闻条新闻条新闻条&lt;/a&gt; &lt;span&gt;2018-07-23&lt;/span&gt; &lt;/li&gt; 给li添加宽高; 如果新闻条有时间的话，给a和span添加浮动 调整文字样式（文字大小。文字颜色）;
html——新闻页面
lengyuefengqing的博客
06-14 1万+
新闻页面 我院召开黄淮学院参访活动暨推进转型工作研讨会 时间:2016-06-07 14:44 来源:发展规划处 作者:王文涛 6月6日下午，在学院会议室我院召开了黄淮学院参访活动暨推进转型工作研讨会。会议由副院长汪阳主持，院长助理董世平，教务处、实验实训中心、发展规划处、人事处、就业与创业办公室及各二级学院领导参加了研讨会。 会议结合黄淮学院参访活动
HTML智能解析引擎 好好研究研究
newslxw的专栏
01-08 1280
爱迪网网址:www.aiddi.com特点：HTML智能解析引擎无需RSS就可以剪贴任意网站任意栏目到自己的桌面；同时，后台服务器全天候更新用户所选择网站栏目。在表现形式上，爱迪网可以让用户自主设计桌面内容，自由选择来自任何网站的信息，体现了用户自主创造的做法。爱迪网的创始人之一徐凯在XML领域有5年多的开发经验。可以说，正是他在国外大企业多年从事XML数据转换的背景，才能够让他提
Flutter进阶第4篇： 实现简单的新闻系统渲染新闻详情数据以及用flutter_html解析html
qq_27494201的博客
12-17 1345
效果图： 点击这三个新闻列表的内容，即可进入新闻详情 学习之前需要导入Dio库，具体用法与导入连接请查看我的博客 Flutter进阶第2篇：Dio库实现网络请求以及动态渲染数据 还需要导入解析HTML代码的第三方库： flutter_html 新闻列表代码： import 'package:flutter/material.dart'; import 'dart:convert'; im...
html5获取新闻列表查看详细内容
热门推荐
郑敏
05-27 1万+
主要功能分为二大模块 一、通过客户端发送异步请求Ajax解析json返回新闻列表给用户，当用户进行查看新闻标题时，上拉可以加载更多的数据，每次是通过网络请求查询10条记录，下拉如果有新的新闻可以实时刷新。 二、通过点击新闻标题可以查看新闻详细内容，包括新闻内容和图片时间等。
解析一个html网页,读取指定的正文(去新闻广告)
siyehua的专栏
01-03 1816
解析一个html网页,读取指定的正文(去新闻广告)
使用HttpClient与HtmlParser构建简易网络爬虫
"使用HttpClient和HtmlParser实现简易爬虫" 在互联网时代，数据挖掘和信息提取变得至关重要，而网络爬虫正是实现这一目标的有效工具。本文将深入探讨如何使用HttpClient和HtmlParser这两个开源库来构建一个初级的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值