自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

IT小王

多读书,多运动,少敲代码,多睡觉。

  • 博客(12)
  • 收藏
  • 关注

原创 dolphinscheduler 3.2.0 数据质量模块问题汇总

近期打算升级dolphinscheduler到3.2.0,因此进行了一波测试。本文主要讲解在测试数据质量模块的时候遇到的问题,以及问题的原因。和临时解决方案(由于非专门后端,修改的代码可能没有考虑全局,仅为解决当前问题而修改。)

2023-12-30 18:53:32 1992 5

原创 解决Zeppelin使用JdbcRealm角色查询与鉴权不生效问题

可能因为角色SQL判断复杂,查询不通用的特性。导致没有将JDBC方式进行角色查询与校验的相关代码放入。总之,遇到问题解决不了还是得看源码。使用开源软件,一定要会自己编译,不然后续需要改造代码,就没办法操作了。

2023-07-28 06:11:55 230

原创 Hive之自定义函数(UDF、UDAF、UDTF)

内容仅截取函数部分,其他Hive学习笔记见个人博客 https://wangbowen.cn/2020/08/27/Hive%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/十三、函数13.1 发现和描述函数-- 可以看到hive当前会话的所有函数名称,包括内置和用户自定义的show functions;-- 查看函数的简介(加上extended显示更详细的文档)describe function [extended] <函数名>;13.2 调用函数函

2020-08-31 02:38:38 1287

原创 Hive之ObjectInspector详解

Hive之ObjectInspector详解对于我而言,我是在写GenericUDF/UDAF/UDTF时候遇到ObjectInspector的。所以这里的内容仅针对函数的时候写的。我们都知道hql最后会转为MapReduce作业来执行。而我们之前单独写MR的时候,需要写一个Map类和Reduce类,在写这些类的时候我们需要指定输入和输出参数的数据类型(记住不是Java的基本数据类型,还记得吗。是经过Hadoop封装的XxxWritable类型,比如int类型,要写成IntWritable,String

2020-08-31 02:34:18 4776 2

原创 《HBase原理与实践》学习笔记【1-8章 HBase基础知识及其工作原理】

《HBase原理与实践》学习笔记一、HBase概述1.1 HBase数据模型1.1.1 逻辑视图table:表row:行column:列timestamp:时间戳cell:单元格1.1.2 物理视图HBase中的数据是按照列族存储的,即将数据按照列族分别存储在不同目录中。1.2 HBase体系结构1.2.1 Master主要负责HBase系统的各种管理工作:处理用户的各种管理请求,包括建表、修改表、权限操作、切分表、合并数据等。管理集群中的RegionSerer,包括其

2020-06-25 19:03:13 1547 3

原创 HBase2.2.4 ClassNotFoundException: completebulkload

今天学习到HBase的BulkLoad部分,动手测试了一下,通过MR程序生成了HFile后,想通过运行shell命令来达成BulkLoad,但是各种尝试后都是失败的!一直提示找不到类。百度、google都没能解决!最后通过查看官网的资料才发现问题所在,特此记录。给大家避坑!书上的示例有两种:# 1. $ bin/hbase org.apache.hadoop.hbase.tool.LoadIncrementalHFiles <hdfs://storefileoutput> <tabl

2020-06-23 01:03:49 533

原创 本地远程连接HBase

今天学习到HBase客户端的内容,突然想亲自试验下有关Scan缓存的内容。但是HBase这回不是在本地是在阿里云上。一开始连接不上,后面想到刚刚学到的:Connection的连接:例如,集群里有2个Master、5个RegionServer。那么Connection会维持一个到Active Master的TCP和5个到RegionServer的TCP。从这里可以看出,我们的客户端需要需要连接到hbase服务,同时根据报错信息也可以看出需要打开16020端口客户端从Region读取数据的流程:首次本

2020-06-21 00:38:21 2556

原创 蓝桥杯 历届试题 PREV-55 小计算器 JAVA

总结这道题还是属于容易的!但是一开始没有注意到数字中间计算结果不超过2^63,所以用了int,结果肯定有问题,然后看了别人的代码,发现用了大数?(我心里想2 ^ 63也需要大数?那个是真的麻烦,一直调函数运算)然后用了,虽然过了,但是我看到还有人说可以用long类型(啪啪啪,不自信啊!应该相信自己的。)然后又重构代码改成long,也过了。同时也看到有人用了BufferedReader说是会超时?然后我最后还是用了scanner发现不会超时,同时也测试了BufferedReader,不过运行速度确实没有

2020-06-08 00:18:50 146

原创 阿里云ECS同地域不同账号间的内网IP互通

太坑了,ping个IP搞了我一天!希望能给大家带来帮助。首先就是如过是同地区(免费)的不同账号下的服务器,可以先用这个试试:阿里云内网互通教程:https://yq.aliyun.com/articles/750814如果设置完还不能ping通,可能是路由冲突。新建一个交换机,然后重新分配一个内网IP。(果然有问题找工单就对了)。简要说明一下:登录后 左侧菜单栏 -> VPC点击 交换机 -> 创建交换机(如果没有看到,可能是区域没选对,没显示)修改私有IP

2020-05-28 00:26:34 3191

原创 九宫重排(JAVA)蓝桥杯

可能广搜更适合对每一步的状态进行检测。而深搜强调路径(毕竟要回退)?思路:BFS + Set(优化)评分代码import java.util.HashSet;import java.util.LinkedList;import java.util.Scanner;import java.util.Set;class Node { public int row; public int col; public int fromRow; public int fromCol; pub

2020-05-24 16:33:16 263

原创 大臣的旅费(JAVA)蓝桥杯

好像没有看到基于邻接表的实现示例,那就自己写一个把。原理就是两遍DFS(其实刚开始想不到,还是太菜了T.T)题目评测代码实现import java.util.HashMap;import java.util.Map;import java.util.Scanner;class City { public boolean visited = false; public Map<Integer, Integer> nextCity = new HashMap<Integer

2020-05-22 01:16:03 217

原创 "程序包xxx不存在"问题的解决

通过报错信息跟踪发现,再某些类中,import了一些包,但是又没有使用到。删掉后,再次运行maven成功!

2019-08-12 01:35:33 2626

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除