java实现爬虫改变人生！

最新推荐文章于 2022-10-03 00:20:32 发布

艳学网

最新推荐文章于 2022-10-03 00:20:32 发布

阅读量547

点赞数

分类专栏： java之路文章标签： java 爬虫 box 艳辉网下载

本文链接：https://blog.csdn.net/sinat_15153911/article/details/72909681

版权

java之路专栏收录该内容

90 篇文章 2 订阅

订阅专栏

写代码让你怀疑人生，那爬虫定会改变你人生，爬取你需要的torrent，当然高级点的网站都反爬虫。

下面就爬取一下电影的网站

http://www.xunleigang.net/html/aiqing/

1、Elements links=doc.select(".bcr_box dl");

2、Elements links21 = link.getElementsByTag("dt");  
        Elements links31 = link.getElementsByTag("dd");  
        Elements links21_ = links21.get(0).getElementsByTag("i");  
        Elements links22_ = links21.get(0).getElementsByTag("a");  
        Elements links31_ = links31.get(0).getElementsByTag("img");  
        String links21__ = links21_.toString();
        String links22__ = links22_.attr("href");
        String links23__ = links22_.text().toString();
        String links31__ = links31_.attr("src");
        links21__ = links21__.substring(3, links21__.lastIndexOf("<"));
        Calendar a = Calendar.getInstance();
        links21__ = a.get(Calendar.YEAR) + "-" + links21__;
        //      System.out.println(links21__); //电影时间
        //      System.out.println(links22__); //电影详情
        //      System.out.println(links23__); //电影名称
        //      System.out.println(links31__); //电影图片
        //      Map<String,String> replaceImgMap=downLoadImags(imgUrlList); // 下载图片
        //      String newContent=replaceWebPageImages(content,replaceImgMap); // 替换图片
        //String links44__ = downLoadImags(links31__); // 下载图片

3、下载图片
InputStream inputStream=entity.getContent();
                    String imageType=entity.getContentType().getValue();
                    String urlB=imageType.split("/")[1];
//                  System.out.println(imageType);
                    String currentDatePath=DateUtil.getCurrentDatePath(); // 当年年月日路径
                    String uuid=UUID.randomUUID().toString(); // uuid
                    String newPath="http://localhost:8080/CnBlog/static/blogImages/"+currentDatePath+"/"+uuid+"."+urlB;
                    result = newPath;
                    FileUtils.copyToFile(inputStream, new File(PropertiesUtil.getValue("imageFilePath")+currentDatePath+"/"+uuid+"."+urlB));