- 博客(7)
- 收藏
- 关注
RSS订阅原创 通过位运算交换两个变量
1.什么是拉链表拉链表是用来记录历史的，记录一个事物从开始，一直到当前状态的所有变化的信息。2.适用场景（1）数据量比较大，每天全量同步一份快照数据浪费存储空间。（2）某些字段有状态变化，业务需求需要关注这些状态的变化。3.拉链表的设计和数据更新新增 start_date 和 end_date 字段（拉链开始字段和拉链结束字段），start_date表示该条记录的生命周期开始时间，e...
2019-07-24 14:35:18
1516
原创 Hugo博客自定义配置
问题：安装yarn后，在命令行输入yarn --version 报错Error: Could not create the Java Virtual Machine.输入yarn install ，报错：错误: 找不到或无法加载主类 install原因：环境变量冲突，在yarn的环境变量之前有默认的yarn环境变量。解决：打开环境变量设置界面，将yarn的环境变量上移到最前...
2019-07-20 15:52:04
4125
1
原创 将hdfs文件加载到hive分区表
shell脚本如下：如果目标表有分区，先清除分区alter table table_name drop partition (dt >= ‘20181211’);#!/bin/bashcu_date=`date +%Y%m%d`begin_date="20181211"while [ "$begin_date" -le "$cu_date" ];do echo "${b...
2019-01-11 18:05:27
5631
1
原创 将Hive查询的数据导出到本地
1.在Hive上执行： set mapred.reduce.tasks =50; insert overwrite directory '/user/hdfspath/part_0000' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select ...2.将hdfs上的文件拷贝到Linux本地： su...
2018-08-14 15:47:44
6785
原创 Hive数据导入Mysql
1.在Hive上查看表的存储路径：show create table tablename2.在hdfs上将路径复制到Linux本地： sudo -u user hadoop fs -get /.../part-00000 /localpath/part-000003.将拷贝下来的数据导入Mysql： mysql -h host -u user -P 3...
2018-08-14 15:28:45
1563
5
原创 Excel数据导入hive
Excel导hive： 1. hive建表； 2. 将Excel 导出另存为文本文档（制表符分隔）； 3. 上传到Linux上：SecureCRT 可用rz命令； 4. 更改编码格式：文件路径上执行 piconv -f gb2312 -t UTF-8 a.txt > c.txt （解决中文乱码） 5. 导入Hive：hive上执行 load data local inpa...
2018-08-14 15:11:40
1326
原创 java求两个int类型平均数的正确姿势
JAVA求两个int类型平均数的正确姿势博主近日正在学习java基础，一天，正在看一本《JAVA从入门到精通》的书，java代码的清香不断飘来，心情愉悦 突然！一个问题进入了我的眼睛：求两个int类型的平均数？ 呵，这还不简单吗 int a； int c=（a+b）/2； system.out.println(c); 三行代码，搞定。 如果
2018-01-11 16:04:54
1898
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人