- 博客(7)
- 资源 (24)
- 收藏
- 关注
RSS订阅转载 hive中order by,sort by, distribute by, cluster by作用以及用法
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。 这里跟传统的sql还有一点区别：如果指定了hi...
2019-02-27 11:48:10
172
转载 大数据时代的技术hive：hive的数据类型和数据模型
在上篇文章里，我列举了一个简单的hive操作实例，创建了一张表test，并且向这张表加载了数据，这些操作和关系数据库操作类似，我们常把hive和关系数据库进行比较，也正是因为hive很多知识点和关系数据库类似。 关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家可以类比...
2019-02-27 11:37:38
299
转载 简单聊聊SOA和微服务
简单聊聊SOA和微服务 前两天和一个朋友聊天，他向我咨询如何从零开始构建一个健壮、强大的软件系统，聊着聊着他忽然问我，「听大家都在说微服务（下文中有的地方会使用MSA），还有人会提到SOA，那么他们的区别到底在哪里？」。我想了想，一时也列不出来一个详细的列表，只能跟他讲说其实他们在概念上是相似的。 关于软件系统的架构设计，是一个太多人喜欢讨论的问题，尤其是对软件开发不了解的人士来说，总是被各种各...
2019-02-27 09:24:43
154
原创 MapReduce:详解Shuffle过程
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里...
2019-02-26 14:53:49
197
转载 hadoop文件的序列化
1、为什么要序列化？ 一般来说，"活的"对象只存在内存里，关机断电就没有了。而且"活的"对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。 然而序列化可以存储"活的"对象，可以将"活的"对象发送到远程计算机。 2、什么是序列化？ 序列化就是指将对象（实例）转化为字节流（字符数组）。反序
2019-02-25 15:02:18
264
原创 Hive 的insert into 和 insert overwrite
区分insert into 和 insert overowrite： 1、insert into 语句 Hive> insert into table account select id,age,name from account_tmp; 2、insert overwrite语句 hive> insert overwrite table account2 select id,age,...
2019-02-21 15:11:18
1181
1
原创 hive常见操作
转自https://www.cnblogs.com/ggjucheng/archive/2013/01/04/2844393.html 这里罗列常用操作，更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable 简单...
2019-02-21 14:32:50
236
zookeeper+kafka.zip
2019-11-15
毕设项目Solo系统的设计与实现
2019-09-09
WinSCP.exe
2019-09-09
jd-gui.rar
2019-09-09
erlang_rabbitmq.rar
2019-09-09
tomcat-redis.rar
2019-06-28
kibana-4.6.3-windows-x86.rar
2019-06-21
用蛮力法实现选择排序,冒泡排序程序；用减治法实现插入排序；分治法应用-快排，合并排序，0-1背包问题；Prim算法求最小生成树。伪代码以及java代码实现
2018-05-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人