![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 88
ha丨hh
这个作者很懒,什么都没留下…
展开
-
hadoop排序等基本原理和代码实现
shuffle阶段的分区: 在mapreduce当中有一个抽象类叫做Partitioner,默认使用的实现类是HashPartitioner,我们可以通过HashPartitioner的源码,查看到分区的逻辑。 从源码可知,分区公式为(key.hashCode() & 2147483647) % numReduceTasks,即对numReduceTasks的大小求余数。 假如说 numReduceTasks=4,则(key.hashCode() & 2147483647) % numRe原创 2020-12-26 14:29:11 · 747 阅读 · 0 评论 -
分布式文件系统---fastDFS
1、系统架构 ① 首先客户端client 发起对 FastDFS 的文件传输动作,是通过连接到某一台 Tracker Server 的指定端口来实现的; ② Tracker Server 根据目前已掌握的信息,来决定选择哪一台 Storage Server ,然后将这个Storage Server 的地址等信息返回给 client; ③ 然后 client 再通过这些信息连接到这台Storage Server,将要上传的文件传送到给 Storage Server上。 2、fastDFS的特点 (1)应用层原创 2021-05-11 14:11:15 · 253 阅读 · 0 评论 -
hadoop3.2集群下载安装
参考:https://blog.csdn.net/u013457387/article/details/87856770 一、jdk8下载 https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 二、hadoop下载 三、 server1 192.168.253.129 server2 192.168.253.131 server3 192.168.253.130 ......原创 2020-12-13 17:46:34 · 2083 阅读 · 1 评论