博客园文章爬取代码

最新推荐文章于 2023-04-25 14:45:00 发布

rongyongfeikai2

最新推荐文章于 2023-04-25 14:45:00 发布

阅读量5.2k

点赞数

分类专栏：我的研究方向----搜索引擎文章标签： string list html 文档 path stylesheet

本文链接：https://blog.csdn.net/rongyongfeikai2/article/details/7798838

版权

我的研究方向----搜索引擎专栏收录该内容

11 篇文章 0 订阅

订阅专栏

最近，在看博客园上的文章。希望能够爬取指定的博客园的文章，并保存为WORD文档的形式。所以，趁着周末休息，花了半天时间把它给做了出来。

完整代码下载地址：http://download.csdn.net/detail/rongyongfeikai2/4462085

首先，我们爬取的文章，应该包括三个部分：标题、链接和正文。所以，我们用一个POJO来存储文章。

package com.BlogCrawler.Model;
/*
 * author:Tammy Pi
 * function:写入doc文档的类
 * Email:victory_pj@163.com
 */
public class Document {

	//属性域，分别代表文章的标题、内容和文章的链接
	private String title;
	private String content;
	private String link;
	
	public String getTitle() {
		return title;
	}
	public void setTitle(String title) {
		this.title = title;
	}
	public String getContent() {
		return content;
	}
	public void setContent(String content) {
		this.content = content;
	}
	public String getLink() {
		return link;
	}
	public void setLink(String link) {
		this.link = link;
	}
}

定义好Document后，我们需要爬取指定URL对应的文章列表，再根据文章列表中文章所对应的链接，提取其对应的文章，并分析文章内容。

目前分析博客园列表结构，它的文章列表是放在class="post"或者class="postTitle"的div中。我们用HttpClient包爬取相应的文章后，再用HtmlParser分析DOM，提取出文章列表。对于博客园正文结构，分析得，它的正文是放在id="cnblogs_post_body"，同样也可以用HttpClient包将其提取出来。

提取页面和分析页面的代码为：

package com.BlogCrawler.Fetcher;
import java.io.BufferedInputStream;
import java.io.InputStream;
import java.util.*;
import java.util.regex.Pattern;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
import org.htmlparser.Node;
import org.htmlparser.Parser;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
/*
 * author:Tammy Pi
 * function:用于爬取文章的类，针对于博客园
 * Email:victory_pj@163.com
 */
public class FetcherHelper {

	//根据url爬取url指向的页面的内容，并返回
	public String getPageContent(String url){
		
		StringBuffer sb = new StringBuffer();
		HttpClient httpClient = new HttpClient();
		GetMethod getMethod = new GetMethod(url);
		BufferedInputStream reader = null;
		
		try{
			
			int statusCode = httpClient.executeMethod(getMethod);
			
			//判断状态
			if(statusCode==HttpStatus.SC_OK){
				
				InputStream inputStream = getMethod.getResponseBodyAsStream();
				reader = new BufferedInputStream(inputStream);
				
				int index;
				byte[] buffer = new byte[1024];
				
				while((index=reader.read(buffer))!=-1){
					
					sb.append(new String(buffer,0,index,"utf-8"));
				}
			}else{
				
				System.out.println("爬取出错。错误代码："+statusCode);
			}
		}catch(Exception ex){
			
			ex.printStackTrace();
		}
		
		return sb.toString();
	}
	
	//利用HTMLParser过滤文章内容
	public String filterContent(String page,String tag,String attr,String value){
		
		TagNameFilter tagFilter = new TagNameFilter(tag);
		Parser parser = new Parser();
		parser = parser.createParser(page,"utf-8");
		NodeList tagList = null;
		String rtn = "";
		
		try {
			tagList = parser.parse(tagFilter);
			for(int u=0;u<tagList.size();u++) {
				
				String html = tagList.elementAt(u).toHtml();
				
				HasAttributeFilter attrFilter = new HasAttributeFilter(attr,value);
				Parser parser2 = parser.createParser(html,"utf-8");
				NodeList list2 = parser2.parse(attrFilter);
				
				if(list2.size()>0){

					rtn = list2.elementAt(0).toHtml();
					
				}
			}
		} catch (ParserException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
		return rtn;
	}
	
	//利用HTMLParser分析文章列表
	public List<com.BlogCrawler.Model.Document> htmlFilter(String page,String tag,String attr,String value){
		
		String rtn = "";
		TagNameFilter tagFilter = new TagNameFilter(tag);
		Parser parser = new Parser();
		parser = parser.createParser(page,"utf-8");
		NodeList tagList = null;
		List<com.BlogCrawler.Model.Document> list = new ArrayList<com.BlogCrawler.Model.Document>();
		
		try {
			tagList = parser.parse(tagFilter);
			
			//遍历过滤后的tagList
			HasAttributeFilter attrFilter = new HasAttributeFilter(attr,value);
			NodeList list2 = tagList.extractAllNodesThatMatch(attrFilter);
			//过滤得到h2,针对博客园的过滤
			String html = list2.toHtml();
			
			Parser parser2 = parser.createParser(html,"utf-8");
			NodeList list3 = null;
			if(value.equals("post")){
				
				list3 = parser2.parse(new TagNameFilter("h2"));
			}else if(value.endsWith("postTitle")){
				
			    list3 = parser2.parse(new TagNameFilter("a"));
			}
			
			for(int i=0;i<list3.size();i++) {
				
				Node node = list3.elementAt(i);
				
				com.BlogCrawler.Model.Document doc = new com.BlogCrawler.Model.Document();
				doc.setTitle(node.toPlainTextString());
				
				String html1 = node.toHtml();
				html1 = html1.substring(html1.indexOf("href=\"")+6);
				html1 = html1.substring(0,html1.indexOf("\""));
				
				doc.setLink(html1);
				
				//获得内容
				doc.setContent(filterContent(getPageContent(doc.getLink()),"div","id","cnblogs_post_body"));
				list.add(doc);
			}
			
		} catch (ParserException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
		return list;
	}
	
	//用于测试的主函数
	public static void main(String[] args){
		
		FetcherHelper helper = new FetcherHelper();
		String rtn = helper.getPageContent("http://www.cnblogs.com/passzh/default.html?OnlyTitle=1");
		
		if(rtn.indexOf("postTitle")==-1){
			
			helper.htmlFilter(rtn,"div","class", "post");
		}else{
			
			System.out.println("进入");
			helper.htmlFilter(rtn,"div","class", "postTitle");
		}
	}
}

最后，我们将文章写入doc文档中，这是就是用IText.jar包，它提供了HtmlWorker类，可以很方便的将HTML按照格式写入Word文档中。写入Word文档的代码为：

package com.BlogCrawler.DocHelper;
import java.awt.Color;
import java.io.*;
import com.lowagie.text.Document;
import com.lowagie.text.DocumentException;
import com.lowagie.text.Element;
import com.lowagie.text.Font;
import com.lowagie.text.PageSize;
import com.lowagie.text.Paragraph;
import com.lowagie.text.Rectangle;
import com.lowagie.text.html.simpleparser.HTMLWorker;
import com.lowagie.text.html.simpleparser.StyleSheet;
import com.lowagie.text.rtf.RtfWriter2;
import java.util.*;
/*
 * author:Tammy Pi
 * function:写入doc文档的类
 * Email:victory_pj@163.com
 */
public class DocHelper {

	private BufferedWriter writer = null;
	private String path = "c:\\Blog\\";
	//定义A4纸张
	private Rectangle pageSize = new Rectangle(PageSize.A4);
	private Document doc = null;
	
	public void docHelper(String fileName,List<com.BlogCrawler.Model.Document> list) {
		
		try {
			//判断路径是否存在
			if(!new File(path).exists()){
				
				new File(path).mkdir();
			}
			//判断文件是否存在
			if(!new File(path+fileName).exists()){
				
				new File(path+fileName).createNewFile();
			}
			
			File file = new File(path+fileName);
			if(!(file.canRead()&&file.canWrite())){
				
				System.out.println("您不具有此word文档的读写操作权限！");
				return;
			}
			
			pageSize = pageSize.rotate();
			//创建word文档，并设置纸张大小
			doc = new Document(pageSize,80,80,50,50);
			
			//创建一个word文档的书写器
			RtfWriter2.getInstance(doc,new FileOutputStream(path + fileName));
			doc.open();
			
			//设置标题的格式
			Paragraph titleParagraph = null;
			Paragraph contentGraph = null;
			
			//循环遍历Document
			for(int i=0;i<list.size();i++) {
				
				com.BlogCrawler.Model.Document document = list.get(i);
				
				//书写blog文章的头部
				System.out.println(document.getTitle());
				titleParagraph = new Paragraph(document.getTitle(),new Font(Font.NORMAL,18,Font.BOLD,new Color(0,0,0)));
				//标题居中
				titleParagraph.setAlignment(Element.ALIGN_CENTER);
				try {
					doc.add(titleParagraph);
					
					//书写内容
					StyleSheet ss = new StyleSheet();
					List htmlList = HTMLWorker.parseToList(new StringReader(document.getContent()), ss);
					
					for(int j=0;j<htmlList.size();j++) {
						
						Element e = (Element) htmlList.get(j);
						Paragraph par = new Paragraph();
						par.add(e);
						
						doc.add(par);
					}
				} catch (DocumentException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
			
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} finally{
			
			if(writer!=null){
				
				//关闭文件输出流
				try {
					writer.close();
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
			
			if(doc!=null){
				
				doc.close();
			}
		}
	}
	
	public static void main(String[] args){
		
		DocHelper docHelper = new DocHelper();
		
		com.BlogCrawler.Model.Document doc1 = new com.BlogCrawler.Model.Document();
		doc1.setTitle("标题1");
		doc1.setContent("内容1");
		
		com.BlogCrawler.Model.Document doc2 = new com.BlogCrawler.Model.Document();
		doc2.setTitle("标题2");
		doc2.setContent("内容2");
		
		List<com.BlogCrawler.Model.Document> list = new ArrayList<com.BlogCrawler.Model.Document>();
		list.add(doc1);
		list.add(doc2);
		docHelper.docHelper("卧龙居.doc",list);
		
		System.out.println("word文档书写完成！");
	}
}

最后，程序要运行，自然要有一个入口类。代码为：

package com.BlogCrawler.DocHelper;
import com.BlogCrawler.Fetcher.FetcherHelper;
import java.util.*;
/*
 * author:Tammy Pi
 * function:爬取器命令行运行
 * Email:victory_pj@163.com
 */
public class CrawlerHelper {

	public boolean doCrawler(String path,String username) {
		
		FetcherHelper fetcherHelper = new FetcherHelper();
		String html = fetcherHelper.getPageContent(path);
		if(html.equals("")){
			
			return false;
		}
		List<com.BlogCrawler.Model.Document> list = null;
		
		if(html.indexOf("postTitle")==-1){
			
			list = fetcherHelper.htmlFilter(html,"div","class","post");
		}else{
			
			list = fetcherHelper.htmlFilter(html,"div","class","postTitle");
		}
		
		DocHelper docHelper = new DocHelper();
		docHelper.docHelper(username+".doc", list);
		
		return true;
	}
	
	public static void main(String[] args){
		
		Scanner scan = new Scanner(System.in);
		System.out.println("请输入博客地址：");
		String path = scan.nextLine();
		System.out.println("请输入用户名：");
		String username = scan.nextLine();
		
		CrawlerHelper helper = new CrawlerHelper();
		int index = 1;
		
	    helper.doCrawler(path, username);
		System.out.println("写入完成。文档位于c:\\Blog下。");
	}
}

运行CrawlerHelper，运行效果为；

请输入博客地址：
http://www.cnblogs.com/passzh/
请输入用户名：
风清月明
最近项目开发中需记住的一些经验
JSP的URL页面传参乱码问题的解决
Hibernate的使用
比较重要的三个正则表达式（JAVA）
JAVA中Map按照value值逆序排序
MFC的列表控件的使用
MFC中TAB控件的使用
MFC通过ADO连接MS SQLSERVER数据库
不产生乱码的方法
在Dreamweaver中建立JSP站点的方法
写入完成。文档位于c:\Blog下。

再看看你的C盘Blog文件夹下，是否有个“风清月明.doc”，这篇博客的本页内容，就被写入DOC文档了。大功告成！

PS:对于有人在我的资源中评论说不能爬取的问题，我想说，我自己已经试验过了（首先，你写的地址必须是【博客园】的【具体的人的博客的地址】；其次，大概可以爬60%，有40%由于博客DOM结构没有分析到，所以爬取不了）。如果要用，请自行修改。

rongyongfeikai2

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
3
评论
博客园文章爬取代码

最近，在看博客园上的文章。希望能够爬取指定的博客园的文章，并保存为WORD文档的形式。所以，趁着周末休息，花了半天时间把它给做了出来。完整代码下载地址：http://download.csdn.net/detail/rongyongfeikai2/4462085首先，我们爬取的文章，应该包括三个部分：标题、链接和正文。所以，我们用一个POJO来存储文章。package com.Blog
复制链接

扫一扫

专栏目录