- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hive总结（六）表的三种连接方式
0.数据源hive> SELECT * FROM test; id_name9 Nermaer31 JiaJia10 Messi16 Santi6 Tian21 Pirlohive> SELECT * FROM test_name; 26 Santi26 Tian99 xiaozha991内连接 *SELECE a.,b.* FROM
2017-03-31 18:09:31
9188
原创 Hive总结（五）表的基本操作
0.准备工作,在本地建立测试数据cat /data/hive_data/ data.txt09 Nermaer31 JiaJia10 Messi16 Santi06 Tian21 Pirlo 1.创建分区表表语句hive> CREATE TABLE logs(id BIGINT,name STRING) > PARTITIONED BY(dt STRING,count
2017-03-29 12:06:41
832
转载 hive总结（四）Hive中的桶
感谢原作者elsearch http://www.cnblogs.com/wujin/p/6093401.htmlhive中有桶的概念，对于每一个表或者分区，可以进一步组织成桶，说白点，就是更细粒度的数据范围。 hive采用列值哈希，然后除以桶的个数以求余的方式决定该条记录存放在哪个桶当中。 使用桶的好处： 1、获得更高的查询处理效率。桶为表加上了额外的结构，Hive在处理有些查询时能利用这
2017-03-28 15:17:37
567
原创 MapReduce原理
MapReduce模型主要包含Mapper类和Reducer类两个抽象类。Mapper类主要负责对数据的分析处理，最终转化为key-value数据对；Reducer类主要获取key-value数据对，然后处理统计，得到结果。MapReduce 框架的核心步骤主要分两部分：Map 和Reduce。当你向MapReduce 框架提交一个计算作业时，它会首先把计算作业拆分成若干个Map 任务，然后分配到不
2017-03-16 10:49:16
408
原创 HDFS基础操作一览
命令基本格式: hadoop fs -cmd < args >1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件2.put 将本地数据推送到HDFS上 hadoop fs -put < local file > < hdfs file > hdfs file的父目录一定要
2017-03-14 15:07:24
423
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人