java UDTF调用接口得到xml，并解析xml文件

最新推荐文章于 2024-07-18 14:43:20 发布
最新推荐文章于 2024-07-18 14:43:20 发布
阅读量446 收藏 1
点赞数
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44265425/article/details/117364000
版权

UDTF调用接口得到xml，并解析xml文件

UDTF实现的是返回返回多条数据，UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many mapping) 的需求。
UDTF需要实现三个方法initialize（定义返回数据的类型，个数），close（清理），process（真正的处理过程，每调用一次forward就会产生一行数据，）

例子：调用接口（参数为xml）获取到xml数据，并将xml数据解析出来，经过UDTF来输出多行数据

首先调用接口用的HttpClient

package com.saic.utils;

import java.io.IOException;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
 
import org.apache.commons.collections.MapUtils;
import org.apache.http.Consts;
import org.apache.http.HeaderIterator;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.HttpStatus;
import org.apache.http.NameValuePair;
import org.apache.http.ParseException;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.config.Registry;
import org.apache.http.config.RegistryBuilder;
import org.apache.http.conn.socket.ConnectionSocketFactory;
import org.apache.http.conn.socket.PlainConnectionSocketFactory;
import org.apache.http.conn.ssl.NoopHostnameVerifier;
import org.apache.http.conn.ssl.SSLConnectionSocketFactory;
import org.apache.http.conn.ssl.TrustStrategy;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.ssl.SSLContextBuilder;
import org.apache.http.util.EntityUtils;
 
/**
 *
 * @ClassName: HttpsUtils
 * @Description: TODO(https post忽略证书请求)
 */
public class HttpClientUtils {
    private static final String HTTP = "http";
    private static final String HTTPS = "https";
    private static SSLConnectionSocketFactory sslsf = null;
    private static PoolingHttpClientConnectionManager cm = null;
    private static SSLContextBuilder builder = null;
 
    static {
        try {
            builder = new SSLContextBuilder();
            // 全部信任 不做身份鉴定
            builder.loadTrustMaterial(null, new TrustStrategy() {
                @Override
                public boolean isTrusted(X509Certificate[] x509Certificates, String s) throws CertificateException {
                    return true;
                }
            });
            sslsf = new SSLConnectionSocketFactory(builder.build(),
                    new String[]{"SSLv2Hello", "SSLv3", "TLSv1", "TLSv1.2"}, null, NoopHostnameVerifier.INSTANCE);
            Registry<ConnectionSocketFactory> registry = RegistryBuilder.<ConnectionSocketFactory>create()
                    .register(HTTP, new PlainConnectionSocketFactory()).register(HTTPS, sslsf).build();
            cm = new PoolingHttpClientConnectionManager(registry);
            cm.setMaxTotal(200);// max connection
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
 
    /**
     * httpClient post请求
     *
     * @param url    请求url
     * @param header 头部信息
     * @param param  请求参数 form提交适用
     * @param entity 请求实体 json/xml提交适用
     * @return 可能为空 需要处理
     * @throws Exception
     */
    public static String post(String url, Map<String, String> header, Map<String, String> param, StringEntity entity)
            throws Exception {
        String result = "";
        CloseableHttpClient httpClient = null;
        try {
            httpClient = getHttpClient();
            //HttpGet httpPost = new HttpGet(url);//get请求
            HttpPost httpPost = new HttpPost(url);//Post请求
            // 设置头信息
            if (MapUtils.isNotEmpty(header)) {
                for (Map.Entry<String, String> entry : header.entrySet()) {
                    httpPost.addHeader(entry.getKey(), entry.getValue());
                }
            }
            // 设置请求参数
            if (MapUtils.isNotEmpty(param)) {
                List<NameValuePair> formparams = new ArrayList<NameValuePair>();
                for (Map.Entry<String, String> entry : param.entrySet()) {
                    // 给参数赋值
                    formparams.add(new BasicNameValuePair(entry.getKey(), entry.getValue()));
                }
                UrlEncodedFormEntity urlEncodedFormEntity = new UrlEncodedFormEntity(formparams, Consts.UTF_8);
                httpPost.setEntity(urlEncodedFormEntity);
            }
            // 设置实体 优先级高
            if (entity != null) {
                httpPost.addHeader("Content-Type", "text/xml");
                httpPost.setEntity(entity);
            }
            HttpResponse httpResponse = httpClient.execute(httpPost);
            int statusCode = httpResponse.getStatusLine().getStatusCode();
            System.out.println("状态码：" + statusCode);
            if (statusCode == HttpStatus.SC_OK) {
                HttpEntity resEntity = httpResponse.getEntity();
                result = EntityUtils.toString(resEntity);
            } else {
                readHttpResponse(httpResponse);
            }
        } catch (Exception e) {
            throw e;
        } finally {
            if (httpClient != null) {
                httpClient.close();
            }
        }
        return result;
    }
 
    public static String postXML(String url,String xml){
        CloseableHttpClient client = null;
        CloseableHttpResponse resp = null;
        try{
            HttpPost httpPost = new HttpPost(url);
            httpPost.setHeader("Content-Type", "text/xml; charset=UTF-8");
            client = HttpClients.createDefault();
            StringEntity entityParams = new StringEntity(xml,"utf-8");
            httpPost.setEntity(entityParams);
            client = HttpClients.createDefault();
            resp = client.execute(httpPost);
            String resultMsg = EntityUtils.toString(resp.getEntity(),"utf-8");
            return resultMsg;
        }catch (Exception e){
            e.printStackTrace();
        }finally {
            try {
                if(client!=null){
                    client.close();
                }
                if(resp != null){
                    resp.close();
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        return null;
    }
 
    public static CloseableHttpClient getHttpClient() throws Exception {
        CloseableHttpClient httpClient = HttpClients.custom().setSSLSocketFactory(sslsf).setConnectionManager(cm)
                .setConnectionManagerShared(true).build();
        return httpClient;
    }
 
    public static String readHttpResponse(HttpResponse httpResponse) throws ParseException, IOException {
        StringBuilder builder = new StringBuilder();
        // 获取响应消息实体
        HttpEntity entity = httpResponse.getEntity();
        // 响应状态
        builder.append("status:" + httpResponse.getStatusLine());
        builder.append("headers:");
        HeaderIterator iterator = httpResponse.headerIterator();
        while (iterator.hasNext()) {
            builder.append("\t" + iterator.next());
        }
        // 判断响应实体是否为空
        if (entity != null) {
            String responseString = EntityUtils.toString(entity);
            builder.append("response length:" + responseString.length());
            builder.append("response content:" + responseString.replace("\r\n", ""));
        }
        return builder.toString();
    }
 
}

解析xml数据并封装起来

package com.saic.utils;


import org.dom4j.Document;
import org.dom4j.DocumentException;
import org.dom4j.Element;
import org.dom4j.io.SAXReader;


import java.io.ByteArrayInputStream;
import java.util.*;

public class AlarmHisXmlFileParse {

    public static ArrayList<Map<String,String>> dom4jXml(String interfaceData) {
        List<Element> elementList = null;
        ArrayList<Map<String,String>> workerList = null;
//        ArrayList<List<String>> workerList = null;

        try {
            SAXReader sr = new SAXReader();
            Document document = sr.read(new ByteArrayInputStream(interfaceData.getBytes()));

            Element root = document.getRootElement();

            elementList = root.elements();
            workerList = new ArrayList();
        } catch (DocumentException e) {
            e.printStackTrace();
        }

        for (Element e : elementList) {
            // 解析标签下一级标签
            Element e1 = e.element("ET_PSNDOC");
            List<Element> items = e1.elements();

            for (int i = 0; i < items.size(); i++) {
                Map<String, String> map = new HashMap<>();
                Element keyValue = items.get(i);
                List<Element> perData = keyValue.elements();
                for (int j = 0; j < perData.size(); j++) {
                    Element perMap = perData.get(j);
                    map.put(perMap.getName(), perMap.getStringValue());
//                    list.add(el.getStringValue());
                }
                workerList.add(map);
            }

        }

        return workerList;
    }
}

然后就是实现udtf的步骤
1.继承GenericUDTF

public class UDTFofWorker extends GenericUDTF {
}

2.实现initialize（）

@Override
    public StructObjectInspector initialize(ObjectInspector[] args) throws UDFArgumentException {
		//这里，你需要多少列就输入多少个，列数应和每一行数据的个数相等
        ArrayList<String> fieldNames = new ArrayList<String>();
        ArrayList<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();
        fieldNames.add("col1");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col2");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col3");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col4");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col5");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col6");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col7");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col8");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col9");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col10");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col11");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col12");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col13");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col14");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col15");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col16");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col17");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col18");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col19");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col20");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col21");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col22");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col23");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col24");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col25");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col26");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col27");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col28");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col29");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col30");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col31");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col32");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col33");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col34");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col35");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);
    }

3.实现process（）

	 @Override
    public void process(Object[] args) throws HiveException {
        String url = "调用的接口";
        String xml = "传入的参数";
        //调用接口
        String responseContent = postXML(url, xml);
        //去除获取到的xml多余标签
        String s1 = responseContent.replace("<soap-env:Header/><soap-env:Body>", "").replace("</soap-env:Body>", "");
        //解析XML数据
        ArrayList<Map<String, String>> workers = AlarmHisXmlFileParse.dom4jXml(s1);
        List<ArrayList<String>> list = new ArrayList<>();
        for (Map<String, String> worker : workers) {
            ArrayList<String> list1 = new ArrayList<>();
            //我这里是为了保证数据顺序，用了最笨的方法
            list1.add(worker.get("ZHRYGH"));
            ......
            ......

            list.add(list1);
        }
        //一个forward是一行数据
        forward(list);
    }

4.最后实现close（）

@Override
    public void close() throws HiveException {
    }

仅代表个人所学经验，经验有限，有不足的地方还请指出来，共同学习

回郭肉
关注
java获取回调xml_操作XML文件（dom4j、SAX、Pull三种方法）
weixin_35203997的博客
03-02 277
DOM方式DOM方式解析xml是先把xml文档都读到内存中，然后再用DOMAPI来访问树形结构，并获取数据。由DOM解析的方式可以知道，如果XML文件很大的时候，处理效率就会变得比较低，这也是DOM方式的一个缺点。现在我们来解析上文中提到的有关天气预报信息相关的xml文件。什么是解析呢？说的通俗一点，就是将这个带标签的XML文件识别出来，并抽取一些相关的，对我们有用的信息来给我们使用。那在这个文件...
Hive系列 (四)：自定义函数UDF UDTF UDAF
Eric Ray的博客
08-13 2644
使用idea创建hive自定义函数UDF UDTF UDAF ，详细介绍及语法代码案例
java获取XML数据
纯白色的大鹦鹉的博客
06-17 1139
public static void main(String[] args) throws DocumentException { String a="<?xml version=\"1.0\" encoding=\"UTF-8\"?><ReturnData><Result>True</Result><FileName>1102...
如何调用并解析调用远程接口返回的xml数据
weixin_33888907的博客
06-14 343
如何解析调用远程接口返回的xml数据 .dom4j-1.6.1.jarjaxen-1.1-beta-6.jarjdom.jar此三jar包用于解析调用远程接口返回的xml数据，很方便，例如： package com.my.test; import java.io.BufferedOutputStream;import java.io.ByteArrayOutputStream;import j...
Java中的XML解析
最新发布
weixin_46372265的博客
07-18 2360
以上，我们详细介绍了Java中几种常见的XML解析方式，包括DOM、SAX、StAX和JDOM。DOM解析：适合处理小型XML文件，支持随机访问。SAX解析：适合处理大型XML文件，基于事件驱动，不需要将整个文件加载到内存中。StAX解析：结合了DOM和SAX的优点，按需拉取数据，适合中大型XML文件。JDOM解析：提供了更高层次的API，简化了XML解析的复杂性，适合各种场景。希望通过这篇文章，大家能对Java中的XML解析有一个全面深入的了解。
java读取xml_Java读取xml举例
weixin_32238435的博客
02-15 216
前言在java开发中，xml经常被作为一种轻量的数据格式应用于数据转换和传输的接口开发中，因此使用java读取xml格式的文档并解析节点数据就成为开发人员要掌握的基本知识。XML结构图例实例File myFile=new File(xml全路径)SAXReader reader = new SAXReader();InputStream in;try {Document doc;in = new ...
自定义XML属性，在自定义控件时，数据显示不全
12-30 172
public class MultiTextViewForTagBaikeSetPreference extends RelativeLayout { private Context context; private float textSize = 13; private int textColor; private int wordsMargin = 14; private in
hive学习笔记之十一：UDTF(1)
2301_76348206的博客
04-28 938
/ 第二列的inspector类型为string型// 第三列的列名// 第三列的inspector类型为string型。
PySpark | SparkSQL函数 | SparkSQL运行流程
liujiesxs的博客
06-28 1279
SparkSQL函数定义，SparkSQL整合Hive
ACP复习——考试提纲（仅记录遗漏点）
职业转发抽奖选手的博客
12-30 1064
一、大数据计算服务考试内容 熟悉大数据计算服务基本概念，包括项目空间、表、分区、资源、任务、生命周期、实例、函数、ACID特性 MaxCompute的输入和输出都是表 生命周期只能指定到表级别，而不是在分区级设定生命周期 在MaxCompute中，并不是所有的请求都会被转换成任务，如：项目空间、资源、实例、自定义函数的操作 了解大数据计算服务的组成架构和各组成部分功能 客户端有：RESTful API、Java、R、Web、Command 接入层：返回Account ID给HTTP Serve
Flink SQL(基础实践)
drhrht的博客
09-09 713
为了使用关系查询处理流，必须将其转换为Table，从概念上讲，流的每条记录都被解释为对结果表的INSERT 操作。假设有如下格式的数据：｛user:VARCHAR,//用户名cTime:TIMESTAMP,//访问url的时间uri:VARCHAR//用户访问的url｝下图显示了单击时间流(左侧)如何转换为表(右侧)，当插入更多的单击流记录时，结果的表的数据将不断增长。事件时间属性可以用.rowtime后缀在定义DataStream schema 的时候来定义。
调用Http外部接口，请求xml格式，接收解析xml数据
weixin_45067120的博客
11-09 3489
请求xml,解析xml通过实列直接上手一、依赖包二、实列方法以及思路如果报错：`java.io.FileNotFoundException: 项目路径\xxx.xx (系统找不到指定的文件。)` 一、依赖包 需要导入dom4j包 下载地址：????飞机路径 二、实列方法以及思路 /** 调用外部接口*/ @Test public void analysisXml(){ String xml = getHttpProductApi(); try { //将xml转编码 如果不转有可能出现乱码
HttpClient发送Post请求,内容格式为xml,并获取响应内容
热门推荐
amani10的博客
09-05 1万+
欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I...
HttpClient工具类及应用
小布1994的博客
08-23 1281
Content-Type类型： 常见的媒体格式类型如下： text/html ： HTML格式 text/plain ：纯文本格式 text/xml ： XML格式 image/gif ：gif图片格式 image/jpeg ：jpg图片格式 image/png：png图片格式 以application开头的媒体格式类型： application/xhtml+xml ：XHTML格式 ...
调用WebService接口，并解析返回的XML文件
铦鹞
11-09 6154
1、调用WebSevice、解析XML文件所需的包 使用axis方式调用，需要axis、commons-discovery、jaxrpc、wsdl等jar dom方式解析，主要是dom4j这个jar //wesevice所需包 import java.net.URL; import javax.xml.namespace.QName; import javax.xml.rpc.Parame...
java解析xml文件
啊猿的博客
07-09 1438
java解析xml常用的4种方法(这4种可以解决开发中遇到的xml解析的所有问题) 结果： 第二种 dom4j解析 引入dom4j jar包 结果： 导入依赖 打印： 或者; 第四种 XPath解析网址请求返回的xml文件 接下来我们来解析一个可以查询手机号码相关信息的网址。 地址为（http://apis.juhe.cn/mobile/get?%20phone=16670002013&dtype=xml&key=9f3923e8f87f1ea50ed4ec8c39cc9253） 然后将解析这
接口返回xml数据如何解析
weixin_43907110的博客
04-17 684
/DOMParser 对象解析 XML 文本并返回一个 XML Document 对象。我只想要其中c标签里面的数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值