java代码从网络下载html处理

最新推荐文章于 2021-08-12 17:50:04 发布
最新推荐文章于 2021-08-12 17:50:04 发布
阅读量284 收藏
点赞数
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45354445/article/details/109203822
版权

从html中过滤image类型的地址

  1. 工具类okhttp的依赖
		<dependency>
            <groupId>com.squareup.okhttp3</groupId>
            <artifactId>okhttp</artifactId>
            <version>4.4.0</version>
        </dependency>
  1. 工具类okhttp
package com.hengqin.life.common.util;

import lombok.extern.slf4j.Slf4j;
import okhttp3.*;

import javax.net.ssl.*;
import java.io.IOException;
import java.io.InputStream;
import java.security.SecureRandom;
import java.security.cert.X509Certificate;
import java.util.Map;
import java.util.Objects;
import java.util.Optional;
import java.util.concurrent.TimeUnit;


/**
 * OkHttp3工具类
 *
 * @author lzj10
 * @create 2020-10-10 10:20
 */
@Slf4j
public class OkHttpUtils {
    public static final MediaType JSON = MediaType.parse("application/json; charset=utf-8");
    public static final MediaType XML = MediaType.parse("application/xml");

    private OkHttpUtils() {
        throw new IllegalStateException("请不要对我实例化！");
    }

    /**
     * get请求
     *
     * @param url url地址
     */
    public static String get(final String url) throws IOException {
        return get(url, null, null);
    }

    /**
     * get请求带参数
     *
     * @param url       url地址
     * @param headerMap 请求头map
     * @param paramMap  请求参数map
     */
    public static String get(String url, Map<String, String> headerMap, Map<String, String> paramMap) throws IOException {
        return Objects.requireNonNull(getToResponse(url, headerMap, paramMap).body()).string();
    }

    /**
     * get获取流
     *
     * @param url url地址
     */
    public static InputStream getToInputStream(final String url) throws IOException {
        return getToInputStreamByMap(url, null, null);
    }

    /**
     * get获取流 带参数
     *
     * @param url       url地址
     * @param headerMap 请求头map
     * @param paramMap  请求参数map
     */
    public static InputStream getToInputStreamByMap(String url, Map<String, String> headerMap, Map<String, String> paramMap) throws IOException {
        return Objects.requireNonNull(getToResponse(url, headerMap, paramMap).body()).byteStream();
    }

    /**
     * get公用方法  获取返回体 带参数
     *
     * @param url       url地址
     * @param headerMap 请求头map
     * @param paramMap  请求参数map
     */
    public static Response getToResponse(String url, Map<String, String> headerMap, Map<String, String> paramMap) throws IOException {
        if (paramMap != null && !paramMap.isEmpty()) {
            url = url + "?" + map2String(paramMap);
        }
        Request request = new Request.Builder()
                .url(url)
                .build();
        if (headerMap != null && !headerMap.isEmpty()) {
            request = getNewRequest(request, headerMap);
        }
        OkHttpClient client = new OkHttpClient.Builder()
                .retryOnConnectionFailure(false)
//                .addInterceptor(new LogInterceptor())
//                .sslSocketFactory(createSSLSocketFactory(), new OkHttpUtils.TrustAllManager())
//                .hostnameVerifier(new OkHttpUtils.TrustAllHostnameVerifier())
                .build();
        return client.newCall(request).execute();
    }

    /**
     * json格式post请求接口调用
     *
     * @param url            接口地址
     * @param requestMessage json格式请求参数体
     */
    public static String postJSON(final String url, final String requestMessage) throws IOException {
        return postJSON(url, requestMessage, null);
    }

    /**
     * json格式post请求接口调用 带请求头
     *
     * @param url            接口地址
     * @param requestMessage json格式请求参数体
     * @param headerMap      map格式请求头参数体
     */
    public static String postJSON(final String url, String requestMessage, Map<String, String> headerMap) throws IOException {
        return postJSON(url, requestMessage, headerMap,30);
    }
    /**
     * json格式post请求接口调用 带请求头
     *
     * @param url            接口地址
     * @param requestMessage json格式请求参数体
     * @param headerMap      map格式请求头参数体
     */
    public static String postJSON(final String url, String requestMessage, Map<String, String> headerMap,final int timeout) throws IOException {
        return post(timeout, TimeUnit.SECONDS, JSON, url, requestMessage, headerMap);
    }
    /**
     * xml格式post请求接口调用
     *
     * @param url            接口地址
     * @param requestMessage xml格式请求参数体
     */
    public static String postXML(final String url, final String requestMessage) throws IOException {
        return postXML(url, requestMessage, null);
    }

    /**
     * xml格式post请求接口调用 带请求头
     *
     * @param url            接口地址
     * @param requestMessage json格式请求参数体
     * @param headerMap      map格式请求头参数体
     */
    public static String postXML(final String url, String requestMessage, Map<String, String> headerMap) throws IOException {
        return post(30, TimeUnit.SECONDS, XML, url, requestMessage, headerMap);
    }

    /**
     * json格式post请求 获取响应参数
     *
     * @param url            接口地址
     * @param requestMessage json格式请求参数体
     */
    public static Response postToResponseByJSON(final String url, final String requestMessage) throws IOException {
        return postToResponse(30, TimeUnit.SECONDS, JSON, url, requestMessage, null);
    }
    /**
     * post公用方法  带参数
     *
     * @param timeout        超时时间
     * @param timeUnit       超时时间单位
     * @param mediaType      类型
     * @param url            url 地址
     * @param requestMessage 请求的String格式参数体
     * @param headerMap      请求头的map格式参数体
     */
    public static String post(final int timeout, final TimeUnit timeUnit, final MediaType mediaType, final String url, final String requestMessage, Map<String, String> headerMap) throws IOException {
        return Objects.requireNonNull(postToResponse(timeout, timeUnit, mediaType, url, requestMessage, headerMap).body()).string();
    }

    /**
     * json格式post请求 获取流
     *
     * @param url            接口地址
     * @param requestMessage json格式请求参数体
     */
    public static InputStream postToInputStreamByJSON(final String url, final String requestMessage) throws IOException {
        return postToInputStreamByJSON(url, requestMessage, null);
    }

    /**
     * json格式post请求 获取流 带请求头
     *
     * @param url            接口地址
     * @param requestMessage json格式请求参数体
     * @param headerMap      map格式请求头参数体
     */
    public static InputStream postToInputStreamByJSON(final String url, String requestMessage, Map<String, String> headerMap) throws IOException {
        return postToInputStream(30, TimeUnit.SECONDS, JSON, url, requestMessage, headerMap);
    }

    /**
     * post公用方法 获取文件流 带参数
     *
     * @param timeout        超时时间
     * @param timeUnit       超时时间单位
     * @param mediaType      类型
     * @param url            url 地址
     * @param requestMessage 请求的String格式参数体
     * @param headerMap      请求头的map格式参数体
     */
    public static InputStream postToInputStream(final int timeout, final TimeUnit timeUnit, final MediaType mediaType, final String url, final String requestMessage, Map<String, String> headerMap) throws IOException {
        return Objects.requireNonNull(postToResponse(timeout, timeUnit, mediaType, url, requestMessage, headerMap).body()).byteStream();
    }

    /**
     * post公用方法  获取返回体 带参数
     * 注：client.newCall(request).execute();返回的Response response.body();只能调用一次；
     *
     * @param timeout        超时时间
     * @param timeUnit       超时时间单位
     * @param mediaType      类型
     * @param url            url 地址
     * @param requestMessage 请求的String格式参数体
     * @param headerMap      请求头的map格式参数体
     */
    public static Response postToResponse(final int timeout, final TimeUnit timeUnit, final MediaType mediaType, final String url, final String requestMessage, Map<String, String> headerMap) throws IOException {
        Request request = new Request.Builder()
                .url(url)
                .post(RequestBody.create(requestMessage, mediaType))
//                .post(RequestBody.create(mediaType, requestMessage))
                .build();
        if (headerMap != null && !headerMap.isEmpty()) {
            request = getNewRequest(request, headerMap);
        }
        OkHttpClient client = new OkHttpClient.Builder()
                .retryOnConnectionFailure(false)
//                .sslSocketFactory(createSSLSocketFactory(), new OkHttpUtils.TrustAllManager())
//                .hostnameVerifier(new OkHttpUtils.TrustAllHostnameVerifier())
//                .callTimeout(timeout, timeUnit)
                .connectTimeout(timeout, timeUnit)
                .readTimeout(timeout, timeUnit)
//                .addInterceptor(new LogInterceptor())
                .build();
        return client.newCall(request).execute();
    }

    /**
     * post map格式 请求接口调用
     *
     * @param url       接口地址
     * @param mapParams map格式请求参数体
     */
    public static String postByMap(final String url, Map<String, String> mapParams) throws IOException {
        return postByMap(url, mapParams, null);
    }

    /**
     * post map格式 请求接口调用
     *
     * @param url       接口地址
     * @param mapParams map格式请求参数体
     * @param headerMap map格式请求头参数体
     */
    public static String postByMap(final String url, Map<String, String> mapParams, Map<String, String> headerMap) throws IOException {
        return postByMap(30, TimeUnit.SECONDS, url, mapParams, headerMap);
    }

    /**
     * post map格式公用方法  带参数
     *
     * @param timeout   超时时间
     * @param timeUnit  超时时间单位
     * @param url       url 地址
     * @param mapParams map格式请求参数体
     * @param headerMap 请求头的map格式参数体
     */
    public static String postByMap(final int timeout, final TimeUnit timeUnit, final String url, Map<String, String> mapParams, Map<String, String> headerMap) throws IOException {
        return Objects.requireNonNull(postToResponseByForm(timeout, timeUnit, url, mapParams, headerMap).body()).string();
    }

    /**
     * post map格式 获取流 方法
     *
     * @param url       url 地址
     * @param mapParams map格式请求参数体
     */
    public static InputStream postToInputStreamByMap(final String url, Map<String, String> mapParams) throws IOException {
        return postToInputStreamByMap(url, mapParams, null);
    }

    /**
     * post map格式 获取流 方法  带参数
     *
     * @param url       url 地址
     * @param mapParams map格式请求参数体
     * @param headerMap 请求头的map格式参数体
     */
    public static InputStream postToInputStreamByMap(final String url, Map<String, String> mapParams, Map<String, String> headerMap) throws IOException {
        return postToInputStreamByMap(30, TimeUnit.SECONDS, url, mapParams, headerMap);
    }

    /**
     * post map格式 获取流 公用方法  带参数
     *
     * @param timeout   超时时间
     * @param timeUnit  超时时间单位
     * @param url       url 地址
     * @param mapParams map格式请求参数体
     * @param headerMap 请求头的map格式参数体
     */
    public static InputStream postToInputStreamByMap(final int timeout, final TimeUnit timeUnit, final String url, Map<String, String> mapParams, Map<String, String> headerMap) throws IOException {
        return Objects.requireNonNull(postToResponseByForm(timeout, timeUnit, url, mapParams, headerMap).body()).byteStream();
    }

    /**
     * post map格式 表单提交 公用方法  获取返回体 带参数
     *
     * @param timeout   超时时间
     * @param timeUnit  超时时间单位
     * @param url       url 地址
     * @param mapParams 请求的map格式参数体
     * @param headerMap 请求头的map格式参数体
     */
    public static Response postToResponseByForm(final int timeout, final TimeUnit timeUnit, final String url, Map<String, String> mapParams, Map<String, String> headerMap) throws IOException {
        FormBody.Builder builder = new FormBody.Builder();
        if (mapParams != null && !mapParams.isEmpty()) {
            builder = getNewFormBody(mapParams);
        }
        FormBody formBody = builder.build();

        Request request = new Request.Builder()
                .url(url)
                .post(formBody)
//                .post(RequestBody.create(mediaType, requestMessage))
                .build();
        if (headerMap != null && !headerMap.isEmpty()) {
            request = getNewRequest(request, headerMap);
        }
        OkHttpClient client = new OkHttpClient.Builder()
                .retryOnConnectionFailure(false)
//                .sslSocketFactory(createSSLSocketFactory(), new OkHttpUtils.TrustAllManager())
//                .hostnameVerifier(new OkHttpUtils.TrustAllHostnameVerifier())
//                .callTimeout(timeout, timeUnit)
                .connectTimeout(timeout, timeUnit)
                .readTimeout(timeout, timeUnit)
//                .addInterceptor(new LogInterceptor())
                .build();
        return client.newCall(request).execute();
    }

    private static FormBody.Builder getNewFormBody(Map<String, String> mapParams) {
        FormBody.Builder builder = new FormBody.Builder();
        for (Map.Entry<String, String> entry : mapParams.entrySet()) {
            builder.add(entry.getKey(), entry.getValue());
        }
        return builder;
    }

    private static Request getNewRequest(Request request, Map<String, String> headerMap) {
        Request.Builder requestBuilder = request.newBuilder();
        //遍历集合，将参数添加到请求头header中
        for (Map.Entry<String, String> entry : headerMap.entrySet()) {
            requestBuilder.header(entry.getKey(), entry.getValue());
        }
        return requestBuilder.build();
    }

    /**
     * 默认信任所有的证书
     * 最好加上证书认证，主流App都有自己的证书
     */
    private static SSLSocketFactory createSSLSocketFactory() {

        SSLSocketFactory sSLSocketFactory = null;

        try {
            SSLContext sc = SSLContext.getInstance("TLSv1.2");
            sc.init(null, new TrustManager[]{new OkHttpUtils.TrustAllManager()},
                    new SecureRandom());
            sSLSocketFactory = sc.getSocketFactory();
        } catch (Exception e) {
            log.info("createSSLSocketFactory()-异常={}", e);
        }

        return sSLSocketFactory;
    }

    private static class TrustAllManager implements X509TrustManager {
        @Override
        public void checkClientTrusted(X509Certificate[] chain, String authType) {
            log.info("TrustAllManager.checkClientTrusted()-无信任证书！");

        }

        @Override
        public void checkServerTrusted(X509Certificate[] chain, String authType) {
            log.info("TrustAllManager.checkServerTrusted()-无信任证书！");
        }

        @Override
        public X509Certificate[] getAcceptedIssuers() {
            return new X509Certificate[]{};
        }
    }

    private static class TrustAllHostnameVerifier implements HostnameVerifier {
        @Override
        public boolean verify(String requestedHost, SSLSession remoteServerSession) {
            return requestedHost.equalsIgnoreCase(remoteServerSession.getPeerHost());
        }
    }

    public static String map2String(final Map<String, String> messageMap) {

        Optional<String> messageStr = messageMap.entrySet().stream()
                .filter(m -> m.getValue() != null && !"".equals(m.getValue()) && !"null".equals(m.getValue()))
                .map(map -> map.getKey() + "=" + map.getValue())
                .reduce((a, b) -> a + "&" + b);

        return messageStr.isPresent() ? messageStr.get() : "";
    }

    public static String cleanUrl(String url) {
        return url.replaceAll("/+$", "");
    }


}
  1. 对图片处理的工具类
/**
     * 通过html获取image地址
     * @param resultString
     * @return
     */
    public static List<String> getImgSrc (String resultString){

        List<String> list = new ArrayList<String>();
        //目前img标签标示有3种表达式
        //<img alt="" src="1.jpg"/>   <img alt="" src="1.jpg"></img>     <img alt="" src="1.jpg">
        //开始匹配content中的<img />标签
        Pattern p_img = Pattern.compile("<(img|IMG)(.*?)(/>|></img>|>)");
        Matcher m_img = p_img.matcher(resultString);
        boolean result_img = m_img.find();
        if (result_img) {
            while (result_img) {
                //获取到匹配的<img />标签中的内容
                String str_img = m_img.group(2);

                //开始匹配<img />标签中的src
                Pattern p_src = Pattern.compile("(src|SRC)=(\"|\')(.*?)(\"|\')");
                Matcher m_src = p_src.matcher(str_img);
                if (m_src.find()) {
                    String str_src = m_src.group(3);
                    list.add(str_src);
                }
                //结束匹配<img />标签中的src

                //匹配content中是否存在下一个<img />标签，有则继续以上步骤匹配<img />标签中的src
                result_img = m_img.find();
            }
        }
        return list;
    }
  1. 获取body内容工具类
package com.hengqin.life.common.util;

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.Reader;

/**
 * ClassName:HtmlUtils
 * Package:com.hengqin.life.common.util
 * Description:
 *
 * @date:2020/10/2017:17
 * @author:liuxiao
 */

public class HtmlUtils {

    public static String getBody(String path){
        String body = "";
        try {
            InputStream iStream = OkHttpUtils.getToInputStream(path);
            Reader reader = new InputStreamReader(iStream);
            BufferedReader htmlReader = new BufferedReader(reader);

            String line;
            boolean found = false;
            while (!found && (line = htmlReader.readLine()) != null) {
                if (line.toLowerCase().indexOf("<body") != -1) { // 在<body>的前面可能存在空格
                    found = true;
                }
            }

            found = false;
            while (!found && (line = htmlReader.readLine()) != null) {
                if (line.toLowerCase().indexOf("</body") != -1) {
                    found = true;
                } else {
                    body = body + line;
                }
            }
            htmlReader.close();

        } catch (Exception e) {
            e.printStackTrace();
        }
        return body;
    }
}
  1. 通过网络在线文档的html中取出image地址
 String resultImage = OkHttpUtils.get(filesExtendVO.getFileHtml());
 List<String> imgFile = ImageUtils.getImgSrc(resultImage);
 filesExtendVO.setImgFile(imgFile);
  1. 通过网络在线文档的html中取出body内容
String body = HtmlUtils.getBody(filesExtendVO.getFileHtml());
filesExtendVO.setContent(body);
weixin_45354445
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java实现word的下载和生成html页面代码
11-04
java通过POI和jacob实现word文档在windows环境下的下载和生成html页面实现在线的预览的工具类。
java根据url获取html源文件
04-03
根据给定的url地址，获取该地址的html源文件
用java下载html页面
qq_43496435的博客
08-12 1088
import java.io.*; import java.net.MalformedURLException; import java.net.URL; public class Tess { public static void main(String[] args) { //使用URL类的openStream()成员方法获取URL指定的网上信息 String str = "https://www.xxx.com/xs/250/250006/";//目标资源的.
java下载html文件_java-使用AbstractExcelView作为.html文件下载
weixin_39819671的博客
02-13 372
当涉及到HTTP和Web应用程序时(无论是否有春天),有很多选择.一些想法：1-强制显示“另存为”对话框,使用户能够根据需要保存文件(可能会重命名文件及其扩展名).这可以通过将HTTP“ content-type”标头设置为“ application / octet-stream”来实现.这从字面上告诉浏览器,数据是未知种类的字节流.这使浏览器“了解”将由另一个应用程序打开/处理.因此,浏览器通过...
java下载保存html页面
琼华
04-09 4386
import java.util.*; import java.io.*; import java.net.*; public class ReaderConn{ public static void main(String[] args){ try{ URLConnection conn = new
讯友网络相册java源代码
最新发布
08-28
【标题】"讯友网络相册java源代码"所涉及的知识点主要集中在Java编程语言以及软件开发领域。这个项目可能是为了实现一个在线照片存储和分享的平台，类似于网络相册服务，用户可以上传、查看、管理和分享自己的照片。...
毕业设计-基于html与java的网上商城系统实现
04-01
【标题】：“毕业设计-...总之，这个项目展示了如何结合HTML和Java技术来构建一个完整的网上商城系统，涵盖了用户认证、商品管理、购物车、订单处理等多个功能模块，对于学习Web开发的学生来说，是一个很好的实践平台。
JAVA上传下载源代码
09-13
在Java编程语言中，上传和下载功能是网络应用的核心部分，尤其在开发Web服务、文件管理系统或者云存储平台时。本资源提供了JAVA实现的上传和下载源代码，这对于理解和实践相关技术至关重要。以下是对这些源代码可能...
java新浪微博（含源代码）
12-14
总结来说，"java新浪微博（含源代码）"项目涵盖了Java网络编程基础、OAuth认证机制、JSON解析、GUI开发以及现代Web服务交互等多个重要知识点。通过这个项目，开发者不仅可以学习到如何使用Java与微博API进行交互，还...
java代码demo
12-17
7. **HTML文件处理**：压缩包中的test2.html、test3.html、test.html可能表示代码示例与HTML文档的处理有关，比如解析HTML、生成HTML或者从网页中提取数据。 8. **JDBC数据库操作**：如果代码涉及到与数据库交互，...
下载html文件
02-01
用Java实现下载html文件的工具类.
html java处理工具类
01-04
提供从html中提取纯文本，从HTML中提取图片链接集合；使用于富文本编辑器存在数据库里面的网页处理
java对html文件的处理
03-27
java对html文件的处理，包括对html文件的分析和将html文件清理成xml文件。
java实现读取html网页文件
08-27
可以读取任何html网页的内容,适用于读取网页内容保存到数据库字段中
Java下载网页HTML代码
weixin_34392906的博客
03-01 425
Java下载网页HTML代码 - 高飞航的日志 - 网易博客Java下载网页HTML代码    2010-04-15 10:36:25|  分类： Java |  标签：  |字号 大中小 订阅标签：java 下载 获取 html 代码       通过URL获取网页的HTML代码。 import java.io.BufferedReader; import java.io.InputStrea...
Java版浏览器源代码（可以打开html文件）下载
编程人生
11-24 1503
代码如下：Browser.java [java] view plaincopyprint? import java.awt.BorderLayout;  import java.awt.Color;  import java.awt.Container;  import java.awt.FileDialog;  import java.awt.FlowLayout
java html类_java HTML
weixin_39525243的博客
02-16 259
HTML标签基础标签? html 页面标签的根标签? head头部标签 控制性元素 在该标签定义的内容一般都是不显示的,除了title? title 整个页面文件的标题? meta定义关于HTML 文档的元信息 charset字符设置 防止乱码? body页面的主体标签,存放一些页面的显示元素? footer 文件尾部? DOCTYPR 定义文档类型为html类型的文本系列标签? 注释 注释内容符...
抓取网络html并显示,用java从网络上抓取HTML文件内容并写入本地文本中
weixin_33421065的博客
06-02 288
package Tech;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.net.URI;import java.net.URISyntax...
java html类_用JAVA基本类库去解析HTML
weixin_42355744的博客
02-12 353
1 packagecom.thunisoft.kms.java.lvl2.exam;23 importjava.io.BufferedReader;4 importjava.io.FileInputStream;5 importjava.io.FileOutputStream;6 importjava.io.IOException;7 importjava.io.InputStream;8 imp...
java 爬虫 获取源代码 拆分 html
06-24
获取网页源代码是Java爬虫程序中的一项基本功能，可以利用Java提供的网络编程和HTML解析库来实现。 Java爬虫获取网页源代码的过程通常分为以下几个步骤： 1. 网络连接：Java爬虫需要通过网络连接到要爬取的网站，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值