![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
躁动的青年
招女朋友
展开
-
CentOS8 安装配置使用 pdsh 并行分布式shell
pdsh parallel distributed shell 可以在多台服务器上一起执行命令pdsh使用前要先配ssh免密,CentOS8 设置无密码SSH,SSH免密下载地址https://sourceforge.net/projects/pdsh/安装[root@dev10 opt]# tar -jxvf pdsh-2.26.tar.bz2[root@dev10 opt]# cd pdsh-2.26[root@dev10 pdsh-2.26]# ./configure \--原创 2020-05-17 10:25:50 · 2461 阅读 · 0 评论 -
CentOS8 安装 hadoop3.2.1 完全分布式集群
下载地址:https://hadoop.apache.org/releases.html 上传并解压文档地址:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html一、准备工作1.设置机器名及对应IP,CentOS8 修改主机名,配置对应IP2.安装配置jdk8+,CentOS8 安装JDK8 jdk-8u192-linux-x64.tar.gz3..原创 2020-05-20 07:51:12 · 3450 阅读 · 2 评论 -
hadoop部分架构图
hadoop架构图,hdfs架构图,yarn架构图2.hadoop1.0与hadoop2.0比较图3.MapReduce4.MapReduce Shuffle5.hadoop ha6.hdfsarchitecture7.hdfsdatanodes8.yarn_architecture原创 2020-05-08 22:45:51 · 6040 阅读 · 0 评论 -
CentOS8 安装 Hadoop3.2.1 独立模式、伪分布模式
本文以root用户安装,开发测试使用。生产环境可以考虑用其他用户安装,比如hadoop,hdfs,yarn下载地址:https://hadoop.apache.org/releases.html安装文档:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htmlHadoop安装模式1.独立模式2.伪分布模式3.全分布式模式一、安装准备安装软件如果原创 2020-05-08 22:06:28 · 1694 阅读 · 0 评论