自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(13)
  • 问答 (2)
  • 收藏
  • 关注

原创 azkaban 执行hiveshell脚本找不到tez包

azkaban 执行hive ,shell脚本找不到tez包

2022-12-22 16:17:27 409

原创 求一个 安装cdh 6.x 的 一个文件 allkeys.asc

求一个 安装cdh 6.x 的 一个文件 allkeys.asc 现在官网没有这个文件了··需要账号了···有没有大佬有这个文件

2021-05-22 16:02:35 1978 7

原创 HIVE 元数据 信息 sql查询 生成数据字典

SELECT a. NAME as SCHEMA_NAME,-- 数据库名称 t.TBL_NAME as TABLE_NAME,-- 表名 b.PARAM_VALUE as TABLE_COMMENT,-- 表注释 e.INTEGER_IDX as COLUMN_ID,-- 字段序号 e.COLUMN_NAME ,-- 字段名 e.TYPE_NAME as COLUMN_DATA_TYPE,-- 字段类型 f.PART_KEYS as PART_COL...

2021-03-26 11:00:08 799

原创 2019-08 学习笔记记录-一个字段内容可以表达一组数据

思路笔记: 二进制位数0101 可以作为 定位标记 例如 when mis_hetong.qyr_company_name = ‘西北区分公司’ then ‘100000’ when mis_hetong.qyr_company_name = ‘西南区分公司’ then ‘010000’ when mis_hetong.qyr_company_name = ‘华北区分公司’ then ‘0010...

2020-08-14 16:44:56 167

原创 2020年8月-DolphinScheduler(原EasyScheduler)-自动生成项目下导入工作流json

可以直接生成json 导入到工作流 代码 createWorkflow类 import java.io.File; import org.hamcrest.core.SubstringMatcher; public class createWorkflow { //存放表列表的txt文件名 private static String filename = "\\work.txt"; //项目名称 private static St...

2020-08-14 16:36:34 1608

原创 hive 二进制转换与多行转列相关

hive 二进制十进制转换 例子 select conv(12,10, 2) 结果: 1100 select conv(1100,2, 10) 结果: 12 行转列: 字段A 字段B a 2 b 1 b 2 concat_ws(’,’,collect_set(cast(字段 as ...

2019-08-14 19:26:09 4912

原创 mysql远程执行sql脚本

mysql远程执行sql脚本 1.在命令行下 mysql -h 远程服务器地址 –u用户名 –p密码 –D数据库<sql脚本文件路径 示例: mysql -h mysql-qddata.qiandingyun.com -u test -P 3306 -p123456 -Dtest</data/test/filename 还有 就是 用 source 导入。 ...

2019-06-24 17:27:08 5252 4

转载 一致性hash算法-备忘记录

利用hash(key)%N的公式 采用模运算将请求发布到不同的节点,致性哈希将整个哈希值空间组织成一个虚拟的圆环,如假设某哈希函数H的值空间为0 - (2^32)-1(即哈希值是一个32位无符号整形) 因为数据倾斜 大部分数据倾斜在一台机器负载过高因此可以设计虚拟节点, 用户数据映射在虚拟节点上,就表示用户数据真正存储位置是在该虚拟节点代表的实际物理服务器上。 知识源 http://www....

2019-01-14 15:47:49 155

转载 零散小知识

2018-12-28 MySQL Navicat通过excel导入数据时出现无法打开excel的问题,网上有人说要把excel和表都在打开状态下,发现还是不行, 解决办法: 把excel打开另存为.xls格式再重新导入就可以了 ...

2019-01-14 15:46:41 137

转载 2018-11-20(java基础相关-integer和int类型用equals和==判断)

转载记录 Integer为对象判断是否相等还是使用equals(判断值)最靠谱, int为基本类型,判断是否相等就是可以使用==。 在源码中,也就是说范围 -128到127,不在这范围的会新new ,这时可以理解比较是内存地址, 也就是是不是同一对象。 所以说当Integer的值不在-128到127的时候使用==方法判断是否相等就会出错(因为内存地址不一样所以不相等),在这个范围之内的就会没有问题...

2019-01-14 15:38:02 855

转载 2018-11-19(物理CPU和逻辑CPU)

2018-11-19 转载笔记 1.物理cpu数:主板上实际插入的cpu数量,可以数不重复的 physical id 有几个(physical id) 2.cpu核数:单块CPU上面能处理数据的芯片组的数量,如双核、四核等 (cpu cores) 3.逻辑cpu数:一般情况下,逻辑cpu=物理CPU个数×每颗核数,如果不相等的话,则表示服务器的CPU支持超线程技术(HT:简单来说,它可使处理器中...

2019-01-14 15:37:38 190

原创 springcloud-hystrix-turbine 采集路径相关问题

----------2018-12-03----------- 如果微服务 配置文件中加了 management.context-path=/xxx 配置 那么 hystrix 的访问路径:/xxx/hystrix.stream turbine 访问的也是/hystrix.stream,而此时收集端点却是/xxx/hystrix.stream,所以出问题了 给 turbine 加上 turbi...

2019-01-14 15:36:28 219

原创 hive的使用笔记以及遇到的一些坑

hive 使用记录 目前我用的hive版本 通过jar包 查看 是 1.1.0 发现了一个 关于 left join 的问题 例如 : select * from tableA a left join tableB b on a.id = b.aid 这样子写 如果关联条件没有关联上 数据会丢 相当于变成了 inner join 后来解决方案 selec...

2018-11-19 16:32:52 279

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除