![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
华为云
我在北国不背锅
致力于AI大模型、Java、大数据、运维及各类计算机技术为一体的知识架构
展开
-
PostgreSQL、华为DWS查询表字段类型、字段描述
PostgreSQL查询表字段的详细信息(字段名、字段类型、字段描述等):# 实际使用中需要修改TABLE_SCHEMA和TABLE_NAME SELECT AA.*,BB.DESC FROM (SELECT A.ORDINAL_POSITION AS COL_NUM, A.COLUMN_NAME AS COL_NAME, A.DATA_TYPE AS COL_TYPE, A.CHARACTER_MAXIMUM_LENGTH AS COL_LEN, A.NUMERIC_PRECI原创 2021-12-27 17:47:25 · 1915 阅读 · 0 评论 -
Spark操作Hive(开启Kerberos认证)代码提交华为云DAYU的MRS Spark组件--方法流程及注意事项
背景:最近在测试华为云DAYU MRS Spark操作Hive的流程,因kerberos认证的问题一直测试失败。代码示例:val sparkSession = SparkSession.builder() .appName(this.getClass.getSimpleName.filter(!_.equals('$'))) .enableHiveSupport() .getOrCreate()val sc: SparkContext = sparkSessio原创 2020-12-14 09:02:26 · 4379 阅读 · 0 评论 -
Java代码访问华为中台MRS服务Hive数仓踩坑之旅
背景:某大型国企总部要抽取地方公司的数据,总部和地方都是用的华为的数据中台。需要我们自己开发一个API接口,总部通过调用API接口抽取地方中台的数据。存在的问题:开发环境:首先是开发环境的问题,因为总部和地方部署华为中台都是私有云,我没有私有云的环境,因为我是自己申请的公有云环境开发的。另外需要注意华为MRS的hive为高可用,连接一律是需要通过zookeeper。(1)网络问题:申请华为公有云的MRS后一定要配置集群所在服务器ECS绑定公网IP。(2)安全组问题:修改绑定MRS的安原创 2020-11-27 11:28:31 · 4792 阅读 · 5 评论 -
使用APIG从华为数据中台取数,保存到自己的Oracle数据库中
APIG操作省略:得到API的URL:https://25.36.xx.xx:8343/getapi/webmaven依赖:<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpcore</ar...原创 2020-05-06 10:44:47 · 3350 阅读 · 0 评论 -
华为云DAYU使用Spark组件开发的学习使用心得
自己学习的心得,如有错误欢迎指正…简单认识首先华为DAYU平台中有两套Spark组件,一个是DLI Spark另一个是MRS Spark。DLI是数据湖探索服务,是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值。MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MR原创 2020-10-19 11:50:38 · 3477 阅读 · 2 评论