DOWNLOADPIC下载图片方法：
package com.bwjf.webapp.util;
import java.io.ByteArrayOutputStream;
import java.io.DataInputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class picHtmlDown {
private static int COUNT = 0;
private static int DOWN_COUNT = 0;
public static void jsoupHTML(String urlPath) throws Exception {
Document doc = Jsoup.connect(urlPath).timeout(1000000).get();
// :当前页中的图片
Elements srcLinks = doc.select("a[class$=title-logo]");
for (Element link : srcLinks) {
//
String imagesPath = link.childNode(0).attr("src");//
String engName = link.attr("href");
System.out.println("当前访问路径:" + imagesPath);
getImages(imagesPath, "d://images//0000" + COUNT++ + ".png");
// getImages(imagesPath, "d://images//0000"+ ++COUNT +".png");
}
}
/**
* @param urlPath
* 图片路径
* @throws Exception
*/
public static void getImages(String urlPath, String fileName)
throws Exception {
URL url = new URL(urlPath);// ：获取的路径
// :http协议连接对象
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod("GET");
conn.setReadTimeout(6 * 10000);
if (conn.getResponseCode() < 10000) {
InputStream inputStream = conn.getInputStream();
byte[] data = readStream(inputStream);
if (data.length > (1024 * 10)) {
FileOutputStream outputStream = new FileOutputStream(fileName);
outputStream.write(data);
System.out.println("第" + ++DOWN_COUNT + "图片下载成功");
outputStream.close();
}
}
}
/**
* 读取url中数据，并以字节的形式返回
*
* @param inputStream
* @return
* @throws Exception
*/
public static byte[] readStream(InputStream inputStream) throws Exception {
ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
byte[] buffer = new byte[1024];
int len = -1;
while ((len = inputStream.read(buffer)) != -1) {
outputStream.write(buffer, 0, len);
}
outputStream.close();
inputStream.close();
return outputStream.toByteArray();
}
/********************调用下面俩个方法就可以实现局部具体标签信息的抓取，具体操作根据具体的需要来改变**********/
/**
*通过路径下载图片 方法：1
*
* @param args
* @throws IOException
*/
public static String daownPic(String url, String path) throws IOException {
URL ul = new URL(url);
DataInputStream dis = new DataInputStream(ul.openStream());
//下载的图片生成一个新的文件路径
String newPicName = "d://imagess//"+path;
FileOutputStream fis = new FileOutputStream(new File(newPicName));
byte[] buffer = new byte[2048];
int length;
while ((length = dis.read(buffer)) > 0) {
fis.write(buffer, 0, length);
}
fis.close();
dis.close();
return newPicName;
}
//测试方法
public static void main(String[] args) {
try {
jsoupHTML("A", "奥迪", "http://car.bitauto.com/tree_chexing/mb_9/");
} catch (Exception e) {
e.printStackTrace();
} finally {
System.out.println("共访问" + COUNT + "张图片，其中下载" + DOWN_COUNT + "张图片");
}
}
/**
* 方法 2
* @param firstChar
* @param name
* @param urlPath
* @return
* @throws Exception
*/
public static String jsoupHTML(String firstChar, String name, String urlPath)
throws Exception {
String pathh="";
//通过Jsoup包中的方法与传入的网址建立连接并生成一个Document对象
Document doc = Jsoup.connect(urlPath).timeout(1000000).get();
// :当前页中的图片,
//通过Document对象取属性值为：title-logo的a标签,得到一个Elements元素对象
Elements srcLinks = doc.select("a[class$=title-logo]");
//遍历这个Elements
for (Element link : srcLinks) {
// 通过childNode(0)方法找到当前a标签的对象，并通过attr方法得到src的值,即图片的链接路径
String imagesPath = link.childNode(0).attr("src");
//通过a标签的href属性获取其href属性值，并将形式如："/Audi/",通过replaceAll方法将"/"去除
//只取其中值得到图片对应的英文名称
String engName = link.attr("href").replaceAll("/", "");
System.out.println("当前访问图片的英文名称:"+engName);
System.out.println("当前访问图片路径:" + imagesPath);
//A/audi/奥迪.png生成的图片保存路径,通过传入的数据拼接需要的图片保存名称
String path = firstChar+engName+name + ".png";
//TODO update where name and firstchar数据库 set ename=engName , img=path
System.out.println("当前生成的文件名称:"+path);
//传入上面获取的图片路径和图片名称 .通过图片下载方法返回一个图片生成在本地的图片全路径,
//方便后面的数据库存储操作
String picPath = daownPic(imagesPath,path);
//返回图片路径和图片英文名称，方便后面数据库保存的时候取值处理
pathh=picPath+","+engName;
}
return pathh;
}
}
MysqlUTIL数据操作保存方法：
package com.bwjf.webapp.util;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
/**
* 数据库连接工具类
*
* @author Administrator
*
*/
public class MysqlUtil {
private static final String URL= "jdbc:mysql://192.168.0.222:3306/cars?"
+ "user=root&password=soft123&useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull";
/**获取mysql数据库连接对象方法 这个没用上**/
public static Connection getConnection(String URL){
Connection conn = null;
try {
Class.forName("com.mysql.jdbc.Driver");
conn = DriverManager.getConnection(URL);
}catch (Exception e1){
e1.printStackTrace();
}
return conn;
}
//以下集成了所有操作，也可以分开写
public static void main(String[] args) throws Exception {
Connection conn = null;
// MySQL的JDBC URL编写方式：jdbc:mysql://主机名称：连接端口/数据库的名称?参数=值
// 避免中文乱码要指定useUnicode和characterEncoding
// 执行数据库操作之前要在数据库管理系统上创建一个数据库，名字自己定，
// 下面语句之前就要先创建javademo数据库
String url = "jdbc:mysql://192.168.0.222:3306/cars?"
+ "user=root&password=soft123&useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull";
try {
// 之所以要使用下面这条语句，是因为要使用MySQL的驱动，所以我们要把它驱动起来，
// 可以通过Class.forName把它加载进去，也可以通过初始化来驱动起来，下面三种形式都可以
Class.forName("com.mysql.jdbc.Driver");// 动态加载mysql驱动
// or:
// com.mysql.jdbc.Driver driver = new com.mysql.jdbc.Driver();
// or：
// new com.mysql.jdbc.Driver();
System.out.println("成功加载MySQL驱动程序");
// 一个Connection代表一个数据库连接
conn = DriverManager.getConnection(url);
// Statement里面带有很多方法，比如executeUpdate可以实现插入，更新和删除等
String sql = "select * from t_cars";
PreparedStatement stmt = conn.prepareStatement(sql);
ResultSet rs = stmt.executeQuery();
while(rs.next()){
//遍历查询结果，取出需要的字段信息
String name=rs.getString("name");
String chars = rs.getString("firstchar");
String urls = rs.getString("url");
//传入对应的网页路径获取对应网页上具体标签的所需内容
String picurl = picHtmlDown.jsoupHTML(chars,name,urls);
String[] pic = picurl.split(",");
//将查到的图片名称和生成的图片路径保存到数据库
String sqll = "update t_cars set img=? , ename=? where url=?;";
PreparedStatement pstmt = conn.prepareStatement(sqll);
//动态设定参数
pstmt.setString(1, pic[0]);
pstmt.setString(2, pic[1]);
pstmt.setString(3, urls);
int rss = pstmt.executeUpdate();
pstmt.close();
}
} catch (SQLException e) {
System.out.println("MySQL操作错误");
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
} finally {
conn.close();
}
}
}
620
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
