cyberneko和dom4j解析html

 

闲着无聊用cyberneko和dom4j写了个解析html图片的小程序，在这里贴出主要代码如下

Java代码  

1.     public void  testPaseHtml(){   
2.             String url = "http://www.iteye.com/";   
3.             Document document = this.getDoc(url);//获取document   
4.             String gz = "//xmlns:IMG/@src";//xpath匹配   
5.             List nodes = this.getAttr(document,gz);//获取属性   
6.             String[] photoUrl = this.getUrl(nodes);//获取url   
7.             this.insertPhoto(this.getConn(),photoUrl);//插入图片   
8.     }   
9.     /**  
10.      * 获取属性  
11.      * @param document  
12.      * @param gz  
13.      * @return  
14.      */  
15.     public List getAttr(Document document,String gz){   
16.          Map nameSpaces=new HashMap();   
17.             XPath xpath=new DefaultXPath(gz);   
18.             nameSpaces.put("xmlns","http://www.w3.org/1999/xhtml");   
19.             xpath.setNamespaceContext(new SimpleNamespaceContext(nameSpaces));   
20.             List nodes=xpath.selectNodes(document);   
21.             return nodes;   
22.     }   
23.     /**  
24.      * 获取Document  
25.      * @param url  
26.      * @return  
27.      */  
28. public Document getDoc(String url){   
29.     DOMParser parser = new DOMParser();   
30.      try {   
31.         parser.parse(url);   
32.     } catch (SAXException e1) {   
33.         // TODO Auto-generated catch block   
34.         e1.printStackTrace();   
35.     } catch (IOException e1) {   
36.         // TODO Auto-generated catch block   
37.         e1.printStackTrace();   
38.     }   
39.      org.w3c.dom.Document doc=parser.getDocument();    
40.   
41.      //SAXReader reader = new SAXReader();   
42.         DOMReader domReader=new DOMReader();   
43.         Document document =domReader.read(doc);   
44.         return document;   
45. }   
46. /**  
47.  * 获取图片路径  
48.  * @param nodes  
49.  * @return  
50.  */  
51.     public String[] getUrl(List nodes){   
52.         if(nodes==null){   
53.             return null;   
54.         }   
55.           Iterator iter=nodes.iterator();   
56.           String[] url = new String[nodes.size()];   
57.            for(int i=0;iter.hasNext();i++){   
58.                 Attribute attribute=(Attribute)iter.next();   
59.                 url[i] = attribute.getValue();      
60.            }   
61.            return url;   
62.     }   
63.     /**  
64.      * 获取图片流  
65.      * @param path  
66.      * @return  
67.      */  
68.     public InputStream getInput(String path){   
69.             URL url = null;   
70.             try {   
71.                 url = new URL(path);   
72.             } catch (MalformedURLException e1) {   
73.                 // TODO Auto-generated catch block   
74.                 e1.printStackTrace();   
75.             }   
76.             URLConnection conn = null;   
77.             try {   
78.                 conn = url.openConnection();   
79.             } catch (IOException e1) {   
80.                 // TODO Auto-generated catch block   
81.                 e1.printStackTrace();   
82.             }   
83.             conn.setDoOutput(true);    
84.                
85.             InputStream inputStream = null;   
86.             try {   
87.                 inputStream = conn.getInputStream();   
88.             } catch (IOException e) {   
89.                 // TODO Auto-generated catch block   
90.                 e.printStackTrace();   
91.             }   
92.             return inputStream;   
93.     }   
94.     /**  
95.      * 插入图片入数据库  
96.      * @param conn  
97.      * @param photoUrl  
98.      */  
99. public void insertPhoto(Connection conn,String[] photoUrl){   
100.            String sql = "insert into photo set photo = ?";   
101.            PreparedStatement ps;   
102.             
103.             try {   
104.               conn.setAutoCommit(false);   
105.             ps = conn.prepareStatement(sql);   
106.             for(int i=0;i<photoUrl.length;i++){   
107.                 if("".equals(photoUrl[i]))continue;   
108.                 InputStream inputStream = this.getInput("http://www.iteye.com/"+photoUrl[i]);   
109.                 ps.setBinaryStream(1, inputStream, inputStream.available());   
110.                 ps.addBatch();   
111.                 inputStream.close();   
112.             }   
113.             ps.executeBatch();   
114.             conn.commit();   
115.             conn.close();   
116.         } catch (SQLException e) {   
117.             // TODO Auto-generated catch block   
118.             e.printStackTrace();   
119.         } catch (IOException e) {   
120.             // TODO Auto-generated catch block   
121.             e.printStackTrace();   
122.         }   
123.            
124. }