- 博客(12)
- 收藏
- 关注
RSS订阅原创 dolphinscheduler 3.2.0 数据质量模块问题汇总
近期打算升级dolphinscheduler到3.2.0，因此进行了一波测试。本文主要讲解在测试数据质量模块的时候遇到的问题，以及问题的原因。和临时解决方案（由于非专门后端，修改的代码可能没有考虑全局，仅为解决当前问题而修改。）
2023-12-30 18:53:32
2013
5
原创 解决Zeppelin使用JdbcRealm角色查询与鉴权不生效问题
可能因为角色SQL判断复杂，查询不通用的特性。导致没有将JDBC方式进行角色查询与校验的相关代码放入。总之，遇到问题解决不了还是得看源码。使用开源软件，一定要会自己编译，不然后续需要改造代码，就没办法操作了。
2023-07-28 06:11:55
237
原创 Hive之自定义函数（UDF、UDAF、UDTF）
内容仅截取函数部分，其他Hive学习笔记见个人博客 https://wangbowen.cn/2020/08/27/Hive%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/十三、函数13.1 发现和描述函数-- 可以看到hive当前会话的所有函数名称，包括内置和用户自定义的show functions;-- 查看函数的简介(加上extended显示更详细的文档)describe function [extended] <函数名>;13.2 调用函数函
2020-08-31 02:38:38
1295
原创 Hive之ObjectInspector详解
Hive之ObjectInspector详解对于我而言，我是在写GenericUDF/UDAF/UDTF时候遇到ObjectInspector的。所以这里的内容仅针对函数的时候写的。我们都知道hql最后会转为MapReduce作业来执行。而我们之前单独写MR的时候，需要写一个Map类和Reduce类，在写这些类的时候我们需要指定输入和输出参数的数据类型（记住不是Java的基本数据类型，还记得吗。是经过Hadoop封装的XxxWritable类型，比如int类型，要写成IntWritable,String
2020-08-31 02:34:18
4792
2
原创 《HBase原理与实践》学习笔记【1-8章 HBase基础知识及其工作原理】
《HBase原理与实践》学习笔记一、HBase概述1.1 HBase数据模型1.1.1 逻辑视图table：表row：行column：列timestamp：时间戳cell：单元格1.1.2 物理视图HBase中的数据是按照列族存储的，即将数据按照列族分别存储在不同目录中。1.2 HBase体系结构1.2.1 Master主要负责HBase系统的各种管理工作：处理用户的各种管理请求，包括建表、修改表、权限操作、切分表、合并数据等。管理集群中的RegionSerer，包括其
2020-06-25 19:03:13
1556
3
原创 HBase2.2.4 ClassNotFoundException: completebulkload
今天学习到HBase的BulkLoad部分，动手测试了一下，通过MR程序生成了HFile后，想通过运行shell命令来达成BulkLoad，但是各种尝试后都是失败的！一直提示找不到类。百度、google都没能解决！最后通过查看官网的资料才发现问题所在，特此记录。给大家避坑！书上的示例有两种：# 1. $ bin/hbase org.apache.hadoop.hbase.tool.LoadIncrementalHFiles <hdfs://storefileoutput> <tabl
2020-06-23 01:03:49
536
原创 本地远程连接HBase
今天学习到HBase客户端的内容，突然想亲自试验下有关Scan缓存的内容。但是HBase这回不是在本地是在阿里云上。一开始连接不上，后面想到刚刚学到的：Connection的连接：例如，集群里有2个Master、5个RegionServer。那么Connection会维持一个到Active Master的TCP和5个到RegionServer的TCP。从这里可以看出，我们的客户端需要需要连接到hbase服务，同时根据报错信息也可以看出需要打开16020端口客户端从Region读取数据的流程：首次本
2020-06-21 00:38:21
2558
原创 蓝桥杯 历届试题 PREV-55 小计算器 JAVA
总结这道题还是属于容易的！但是一开始没有注意到数字中间计算结果不超过2^63，所以用了int，结果肯定有问题，然后看了别人的代码，发现用了大数？（我心里想2 ^ 63也需要大数？那个是真的麻烦，一直调函数运算）然后用了，虽然过了，但是我看到还有人说可以用long类型（啪啪啪，不自信啊！应该相信自己的。）然后又重构代码改成long，也过了。同时也看到有人用了BufferedReader说是会超时？然后我最后还是用了scanner发现不会超时，同时也测试了BufferedReader，不过运行速度确实没有
2020-06-08 00:18:50
149
原创 阿里云ECS同地域不同账号间的内网IP互通
太坑了，ping个IP搞了我一天！希望能给大家带来帮助。首先就是如过是同地区（免费）的不同账号下的服务器，可以先用这个试试：阿里云内网互通教程：https://yq.aliyun.com/articles/750814如果设置完还不能ping通，可能是路由冲突。新建一个交换机，然后重新分配一个内网IP。（果然有问题找工单就对了）。简要说明一下：登录后 左侧菜单栏 -> VPC点击 交换机 -> 创建交换机（如果没有看到，可能是区域没选对，没显示）修改私有IP
2020-05-28 00:26:34
3201
原创 九宫重排（JAVA）蓝桥杯
可能广搜更适合对每一步的状态进行检测。而深搜强调路径（毕竟要回退）？思路：BFS + Set(优化)评分代码import java.util.HashSet;import java.util.LinkedList;import java.util.Scanner;import java.util.Set;class Node { public int row; public int col; public int fromRow; public int fromCol; pub
2020-05-24 16:33:16
264
原创 大臣的旅费（JAVA）蓝桥杯
好像没有看到基于邻接表的实现示例，那就自己写一个把。原理就是两遍DFS（其实刚开始想不到，还是太菜了T.T）题目评测代码实现import java.util.HashMap;import java.util.Map;import java.util.Scanner;class City { public boolean visited = false; public Map<Integer, Integer> nextCity = new HashMap<Integer
2020-05-22 01:16:03
218
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人