大数据
文章平均质量分 70
Jimmy文
这个作者很懒,什么都没留下…
展开
-
Hive窗口函数语法
hive窗口函数语法,常用函数原创 2022-08-22 10:43:31 · 478 阅读 · 1 评论 -
linux集群常用文件拷贝命令
1)scp(secure copy)安全拷贝scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称例如:将hadoop101中/opt/module目录下的软件拷贝到hadoop102上。scp -r /opt/module root@hadoop102:/opt/module2)rsync远程同步工具rsync -av $pdir/$fname ...原创 2022-04-21 16:08:27 · 3106 阅读 · 0 评论 -
ZooKeeper原理
ZooKeeper简介ZooKeeper是一个开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。ZooKeeper设计目的1.最终一致性:client不论连接到哪个Server,展示给它都是同一个视图,这是zookeeper最重要的性能。2.可靠性:具有简单、健壮、良好的性能,如果消息m被到一台服务器接受,那么它将被所有的服务器接受。3.实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的.转载 2022-03-05 17:40:14 · 6816 阅读 · 1 评论 -
大数据系列之MapReduce的shuffle原理
Shuffle 的本义是洗牌、 混洗, 把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。 MapReduce 中的 Shuffle 更像是洗牌的逆过程, 把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么 MapReduce 计算模型需要 Shuffle 过程? 我们都知道 MapReduce 计算模型一般包括两个重要的阶段: Map 是映射, 负责数据的过滤分发; Reduce 是规约, 负责数据的计算归并。Reduce 的数据来源于 Map, Map 的输出即是 Reduc转载 2022-03-02 20:17:13 · 172 阅读 · 0 评论 -
Vmware虚拟机三种网络模式详解
原文来自于 Vmware虚拟机三种网络模式详解 - 林加欣 - 博客园原文来自http://note.youdao.com/share/web/file.html?id=236896997b6ffbaa8e0d92eacd13abbf&type=notehttps://www.cnblogs.com/linjiaxin/p/6476480.html我怕链接会失效,故转载此篇文章由于Linux目前很热门,越来越多的人在学习linux,但是买一台服务放家里来学习,实在是很浪费。那么如何解决这..转载 2022-02-23 08:31:04 · 8732 阅读 · 0 评论