大数据
文章平均质量分 88
ha丨hh
这个作者很懒,什么都没留下…
展开
-
hadoop排序等基本原理和代码实现
shuffle阶段的分区:在mapreduce当中有一个抽象类叫做Partitioner,默认使用的实现类是HashPartitioner,我们可以通过HashPartitioner的源码,查看到分区的逻辑。从源码可知,分区公式为(key.hashCode() & 2147483647) % numReduceTasks,即对numReduceTasks的大小求余数。假如说 numReduceTasks=4,则(key.hashCode() & 2147483647) % numRe原创 2020-12-26 14:29:11 · 724 阅读 · 0 评论 -
分布式文件系统---fastDFS
1、系统架构① 首先客户端client 发起对 FastDFS 的文件传输动作,是通过连接到某一台 Tracker Server 的指定端口来实现的;② Tracker Server 根据目前已掌握的信息,来决定选择哪一台 Storage Server ,然后将这个Storage Server 的地址等信息返回给 client;③ 然后 client 再通过这些信息连接到这台Storage Server,将要上传的文件传送到给 Storage Server上。2、fastDFS的特点(1)应用层原创 2021-05-11 14:11:15 · 242 阅读 · 0 评论 -
hadoop3.2集群下载安装
参考:https://blog.csdn.net/u013457387/article/details/87856770一、jdk8下载https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html二、hadoop下载三、server1 192.168.253.129server2 192.168.253.131server3 192.168.253.130......原创 2020-12-13 17:46:34 · 2040 阅读 · 1 评论