自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 通过位运算交换两个变量

1.什么是拉链表拉链表是用来记录历史的,记录一个事物从开始,一直到当前状态的所有变化的信息。2.适用场景(1)数据量比较大,每天全量同步一份快照数据浪费存储空间。(2)某些字段有状态变化,业务需求需要关注这些状态的变化。3.拉链表的设计和数据更新新增 start_date 和 end_date 字段(拉链开始字段和拉链结束字段),start_date表示该条记录的生命周期开始时间,e...

2019-07-24 14:35:18 1516

原创 Hugo博客自定义配置

问题:安装yarn后,在命令行输入yarn --version 报错Error: Could not create the Java Virtual Machine.输入yarn install ,报错:错误: 找不到或无法加载主类 install原因:环境变量冲突,在yarn的环境变量之前有默认的yarn环境变量。解决:打开环境变量设置界面,将yarn的环境变量上移到最前...

2019-07-20 15:52:04 4125 1

原创 将hdfs文件加载到hive分区表

shell脚本如下:如果目标表有分区,先清除分区alter table table_name drop partition (dt >= ‘20181211’);#!/bin/bashcu_date=`date +%Y%m%d`begin_date="20181211"while [ "$begin_date" -le "$cu_date" ];do echo "${b...

2019-01-11 18:05:27 5631 1

原创 将Hive查询的数据导出到本地

1.在Hive上执行: set mapred.reduce.tasks =50; insert overwrite directory '/user/hdfspath/part_0000' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select ...2.将hdfs上的文件拷贝到Linux本地: su...

2018-08-14 15:47:44 6785

原创 Hive数据导入Mysql

1.在Hive上查看表的存储路径:show create table tablename2.在hdfs上将路径复制到Linux本地: sudo -u user hadoop fs -get /.../part-00000 /localpath/part-000003.将拷贝下来的数据导入Mysql: mysql -h host -u user -P 3...

2018-08-14 15:28:45 1563 5

原创 Excel数据导入hive

Excel导hive: 1. hive建表; 2. 将Excel 导出另存为文本文档(制表符分隔); 3. 上传到Linux上:SecureCRT 可用rz命令; 4. 更改编码格式:文件路径上执行 piconv -f gb2312 -t UTF-8 a.txt > c.txt (解决中文乱码) 5. 导入Hive:hive上执行 load data local inpa...

2018-08-14 15:11:40 1326

原创 java求两个int类型平均数的正确姿势

JAVA求两个int类型平均数的正确姿势博主近日正在学习java基础,一天,正在看一本《JAVA从入门到精通》的书,java代码的清香不断飘来,心情愉悦 突然!一个问题进入了我的眼睛:求两个int类型的平均数? 呵,这还不简单吗 int a; int c=(a+b)/2; system.out.println(c); 三行代码,搞定。 如果

2018-01-11 16:04:54 1898 3

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除