5杀电影 walker 的评分8.0以上的电影

http://v5.lol5s.com/v/6802.html 《冲天》 - 冲天 五杀电影院评分: 8.6
http://v5.lol5s.com/v/6775.html 《硫磺岛的来信》 - 硫磺岛的来信 五杀电影院评分: 8.0


附代码:

/**
 * 5杀电影
 *
 * @author yangpan3
 * @since 2017/4/13 13:11
 */
public class MovieWalker {

    public static void main(String[] args) throws Exception {
        int page = 2;
        while (page < 187) {
            load(page++);
            TimeUnit.SECONDS.sleep(10);
        }

//        movie("http://v5.lol5s.com/v/8112.html");
    }

    private static void load(int page) throws Exception {
        System.out.println(page);
        Document doc = Jsoup.connect(String.format("http://v5.lol5s.com/tv/2-%s.html", page)).userAgent("Mozilla").get();

        Elements elements = doc.select("#data_list a");
        for (Element element : elements) {
            String href = element.attr("href");
            movie("http://v5.lol5s.com" + href);
        }
    }

    private static void movie(String url) throws Exception {
        List list = new ArrayList();
        System.out.println(url);
        list.add(url);
        try {
            Document doc = Jsoup.connect(url).userAgent("Mozilla").get();
            list.add(doc.title());
            Elements elements = doc.select("#movie_info_ul li");
            for (Element element : elements) {
                list.add(element.text());
            }
            Elements infos = doc.select("#movie_info_intro_s");
            list.add(infos.text());
        } catch (IOException e) {
            System.out.println("Exception:" + url);
            list.add("Exception:" + url);
        }

        FileUtils.writeStringToFile(new File("D:/experiment/movies", "index.csv"), StringUtils.join(list, ",") + IOUtils.LINE_SEPARATOR_WINDOWS, "UTF-8", true);
        TimeUnit.SECONDS.sleep(10);
    }

}

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/tt50335971/article/details/70169733
文章标签: walker jsoup
个人分类: 读书笔记
想对作者说点什么? 我来说一句

电影评分-数据集

2016年01月22日 18.12MB 下载

电影评分预测

电影评分预测

Hsuan816 Hsuan816

2016-11-30 17:27:16

阅读数:1515

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭