自己动手写CSDN博客提取器源码分析之一：处理网页保存为txt文件

转载自：http://blog.csdn.net/w397090770/article/details/7767531

 

在昨天上午发了一个帖子[原创]自己动手写CSDN博客提取器，提取文件保存支持PDF、doc、txt三种格式有很多网友比较感兴趣，有些网友说要公布一下源码，在这里，我就把这个软件制作的一些核心代码贴出来，给大家分享。

下面是把抓取到的网页用正则表达式处理留下纯文本然后保存为txt文件。这个代码很简单的，相信大家都看得懂吧。

 

[java] view plain copy

1. /** 
2.  *  
3.  */  
4. package com.wyp.html2txt;  
5.   
6. import java.io.BufferedWriter;  
7. import java.io.File;  
8. import java.io.FileWriter;  
9. import java.io.IOException;  
10. /** 
11.  * @author w397090770 
12.  * Create Data: 2012-7-18 
13.  * Email: wyphao.2007@163.com 
14.  *  
15.  * 版权所有，翻版不究，但是在修改本程序的时候务必加上这些注释。谢谢 
16.  * 仅用于学习交流之用， 
17.  */  
18. public class saveAsTXT {  
19.     public void html2txt(File file, String str, String title){  
20.           
21.         //去掉<script>(.*?)</script>  
22.         //str = str.replaceAll("<[Ss][Cc][Rr][Ii][Pp][Tt].*?>.*?<[/]?[Ss][Cc][Rr][Ii][Pp][Tt]>", "####");  
23.         //str = str.replaceAll("<\\b(\\w+)[\\s\\w>\"/\'=:;.]+</\\1>", "####");  
24.         str = str.replaceAll("<\\b(\\w+)[\\s\\w>\"/'=&:_;.]+</\\1>", "####");  
25.         //去掉<br/>  
26.         str = str.replaceAll("<[\\s]*[Bb][Rr][\\s]*[/]?[\\s]*>", System.getProperty("line.separator"));  
27.         //<p>也是换行  
28.         str = str.replaceAll("<[\\s]*[/]*[Pp].*?>", System.getProperty("line.separator"));  
29.         //替换所以的HTML标签  
30.         str = str.replaceAll("<[\\s]*[/]?[a-zA-Z]*.*?>", "");  
31.           
32.         //替换空格,两个 说明是一个大空格，一个 说明是一个小的空格  
33.         str = str.replaceAll("  ", "　");  
34.         str = str.replaceAll(" ", " ");  
35.         //替换> <号  
36.         str = str.replaceAll(">", ">");  
37.         str = str.replaceAll("<", "<");  
38.         //替换&   
39.         str = str.replaceAll("&", "&");  
40.         //半方大的空白  
41.         str = str.replaceAll(" ", "　");  
42.         //全方大的空白  
43.         str = str.replaceAll(" ", "　");  
44.         //双引号  
45.         str = str.replaceAll(""", "\"");  
46.         //版权  
47.         str = str.replaceAll("©", "");  
48.         //已注册商标  
49.         str = str.replaceAll("©", "");  
50.         //乘号  
51.         str = str.replaceAll("×", "×");  
52.         //除号  
53.         str = str.replaceAll("÷", "÷");  
54.         //加号  
55.         str = str.replaceAll("+", "+");  
56.         //不知道为什么CSDN格字是被替换掉了，不管了，我也替换  
57.         str = str.replaceAll("格", "格");  
58.           
59.         //保存文件        
60.         File saveFileName = new File(file.getAbsolutePath() + File.separator + title + ".txt");  
61.         if(!saveFileName.exists()){         //只有文件不存在才保存  
62.             try {  
63.                 saveFileName.createNewFile();  
64.             } catch (IOException e1) {  
65.                 // TODO Auto-generated catch block  
66.                 e1.printStackTrace();  
67.                 return;  
68.             }  
69.               
70.             BufferedWriter bw = null;  
71.             try {   //开始保存了  
72.                 bw = new BufferedWriter(new FileWriter(saveFileName.getAbsolutePath(), false));  
73.                 bw.write(str);  
74.                 bw.newLine();  
75.             } catch (IOException e) {  
76.                 // TODO Auto-generated catch block  
77.                 e.printStackTrace();  
78.             } finally {  
79.                 try {  
80.                     bw.flush();  
81.                     bw.close();  
82.                 } catch (IOException e) {  
83.                     // TODO Auto-generated catch block  
84.                     e.printStackTrace();  
85.                 }  
86.             }  
87.         }  
88.           
89.           
90.     }  
91. }  

以上是把抓取到的网页用正则表达式匹配，去掉所有的网页标签，只留下纯文本的数据，然后就可以保存为txt文件，当然图片是无法在txt里面保存的，所以在处理图片的时候就简单的用正则表达式去掉了。