hdfs
热情的蘑菇
1.每天进步一丢丢,做个有趣的人
2.种一棵树最好时间是十年前,其次是现在
3.每个人都有一个觉醒期,但觉醒的早晚决定个人的命运
4.只有自己诚心待人,别人才有可能对自己以诚相待
5.普通并不等于庸俗。在许许多多普普通通的事情中,应该表现出不平常的看法和做法来。
展开
-
HDFS的API学习
package com.jt;import java.io.ByteArrayInputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;impor...原创 2018-11-16 16:16:42 · 130 阅读 · 0 评论 -
hive中动态表和静态表区别
虽然之前已经用过很多次hive的分区表,但是还是找时间快速回顾总结一下加深理解. 举个栗子,基本需求就是Hive有一张非常详细的原子数据表original_device_open,而且还在不断随着时间增长,那么我需要给它进行分区,为什么要分区?因为我想缩小查询范围,提高速度和性能. 分区其实是物理上对hdfs不同目录进行数据的load操作,0.7之后的版本都会自动创建不存在的hdfs的目录...转载 2019-01-04 12:03:51 · 1672 阅读 · 0 评论 -
sqoop从hive导出到mysql报错: failed with state FAILED due to: Task failed
因为报错job任务失败,所以查看了job任务的日志找到原因:原创 2019-03-27 20:06:35 · 3701 阅读 · 1 评论