java+selenium爬取网站资源并下载到本地

java+selenium爬取网站资源并下载到本地


最近在学习java爬虫 写了个爬取网站歌曲的小demo记录一下

 public static void main(String[] args) throws InterruptedException, MalformedURLException {
        System.setProperty("webdriver.chrome.driver", "src/main/resources/chromeDriverPage/chromedriver.exe");  // 导入selenium驱动
        ChromeOptions chromeOptions = new ChromeOptions();
        chromeOptions.addArguments("headless"); //隐藏窗口 也可以不隐藏 因为是下载 所以就隐藏了
        WebDriver webDriver = new ChromeDriver(chromeOptions);
        webDriver.get("https://334.kim/"); //打开网站
        Thread.sleep(1000); //等待1秒
        List<WebElement> elements = webDriver.findElements(By.xpath("//a"));  //爬取a标签链接
        for (WebElement element : elements) {   //循环遍历
            String hrefsrc = element.getAttribute("hrefsrc");  //获得a标签链接的hrefsrc属性值
            if(hrefsrc!=null){
                URL url = new URL(hrefsrc);   //获得了音频的路径 用URL打开
                InputStream inputStream = null;  
                try {
                    inputStream = url.openStream();  //拿到音频输出流 
                    byte[] bytes = IOUtils.toByteArray(inputStream);
                    File file = new File("src/main/resources/music/" + hrefsrc.split(" ")[1]);  //截取文件名称
                    file.mkdirs();
                    FileOutputStream fileOutputStream = new FileOutputStream(file);  //写入本地
                    fileOutputStream.write(bytes);
                    fileOutputStream.close();
                }catch (Exception e){
                    System.out.println("下载失败");
                }
            }
        }
    }
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值