本教程是为了采集腾讯视频数据,作为笔记的同时,也可以给大家一点参考的价值。
第一天
分析:http://v.qq.com/x/list/movie 显示全部电影信息地址
代码实现
package com.sdjxd.hussar;
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class Main {
/**
* @param args
* @throws IOException
*/
public static void main(String[] args) throws IOException {
Document doc = Jsoup.connect("http://v.qq.com/x/list/movie").get();
Elements list = doc.select("li.list_item");
for(Element e : list){
// 标题
String title = e.select("img").attr("alt");
// 前置图片
String imgPreUrl = e.select("img").attr("src");
// 图片
String imgUrl = e.select("img").attr("r-lazyload");
// 描述
String context = e.select("span.figure_info").html();
// 主演
String castsStr = "";
Elements castsEs = e.select("div.figure_desc");
for(Element castsE : castsEs){
castsStr += castsE.select("a").html().replaceAll("\r|\n", " ");
}
// 评分
String averageStr = "";
Elements averageEs = e.select("div.figure_score");
for(Element averageE : averageEs){
averageStr += averageE.select("em").html().replaceAll("\r|\n", "");
}
System.out.println(averageStr+" "+castsStr+" "+title+" " + imgPreUrl +" " +imgUrl+" "+context);
}
}
}
结果返回: