Hadoop
zhiyong_will
这个作者很懒,什么都没留下…
展开
-
hive学习笔记——Hive表的创建
初衷:以前看过Hadoop方面的材料,但是一直以来都是与实际应用脱轨,现在有机会接触到真正的Hadoop集群,还是被他的性能所震撼,利用这个机会认真重新学习下Hadoop平台的使用,所以想整理下学习中的一些心得,以笔记的形式与大家分享一下。——2015.07.28一、hive概述原创 2015-08-02 21:22:19 · 26871 阅读 · 0 评论 -
hive学习笔记——Hive表中数据的导入和导出
在创建数据表的过程中,Hive表创建完成后,需要将一些数据导入到Hive表中,或是将Hive表中的数据导出。一、将数据导入Hive表Hive表的数据导入主要有三种方式:从本地文件系统中导入数据到Hive表中从HDFS上导入数据到Hive表中从别的表中查询出相应的数据导入到Hive表中在创建Hive表时通过从别的表中查询并插入的方式将数据导入到Hive表中1、从本地文件系统中原创 2015-08-04 22:46:22 · 9250 阅读 · 0 评论 -
Hadoop学习笔记——Hadoop常用命令
Hadoop下有一些常用的命令,通过这些命令可以很方便操作Hadoop上的文件。1、查看指定目录下的内容语法:hadoop fs -ls 文件目录2、打开某个已存在的文件语法:hadoop fs -cat 文件地址 [ | more] []表示的是可选命令3、将本地文件存到Hadoop语法:hadoop fs -put 本地文件地址 Hadoop目录4、将Hadoop上的文件下载到本地文件夹内原创 2016-03-23 14:06:03 · 4745 阅读 · 0 评论 -
Hive——巧用transform处理复杂的字符串问题
相比于Map-Reduce,Hive对数据的处理相对简单,但是Hive本身提供的函数,对于处理复杂的字符串问题,就显得不是很方便,此时,可以借助transform,引入外界的Python程序对字符串进行处理。原创 2017-05-25 14:39:14 · 10345 阅读 · 0 评论