Hadoop
文章平均质量分 83
Hadoop
玛丽莲茼蒿
把热爱的工作做精、做尖才是最酷的
展开
-
Hadoop(五)—— 集群配置
一、集群配置1.集群部署规划注意:(1)NameNode和SecondaryNameNode不要安装在同一台服务器(消耗内存)(2)ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。如果内存很牛忽略上面两条部署:NameNode在102上,ResourceManager在103上,SecondaryNameNode在104上2.根据上述部署要求更改配置文件core-site.xml、hdfs-site.xml、yar原创 2021-11-21 19:26:22 · 1457 阅读 · 0 评论 -
Hadoop部署(三)—— (在第一个克隆机上)安装JKD、安装Hadoop
一、准备将jdk和hadoop的压缩包下载好了以后,用pscp上传到/home/opt目录下面二、JDK安装我之前下载过JDK(在这一篇博文),但是JDK的版本跟教程中带的不一样。我先用着之前的那个,如果有版本不匹配的问题再回来改三、Hadoop安装1、解压cd来到压缩包所在的目录,然后用下面的命令[root@hadoop102 opt]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module2、添加环境变量在(在这一篇博文)中,我们直接在/etc/原创 2021-11-13 23:25:24 · 1068 阅读 · 0 评论 -
Hadoop部署(一)——IP设置及测试
一、什么是hadoophadoop是一个分布式系统架构,负责海量数据的存储和海量数据的分析计算。spark框架可以在Hadoop之上做内存计算二、hadoop框架搭建1.虚拟机安装Centos系统按照 硬件 -> 软件(OS) -> 网卡 -> 主机名 的顺序1)硬件2)软件下载CentOS7.5的镜像。在网盘的学习资料里有。这个链接里也有https://blog.csdn.net/zwx45987568/article/details/96378235...原创 2021-10-30 23:42:29 · 4343 阅读 · 1 评论 -
Hadoop(四)—— Hadoop运行模式
文章目录一、前言二、完全分布式运行模式1.编写集群分发脚本xsync一、前言1)支持2000多个服务器结点,目前最多可支持4000~5000个结点2)官网http://hadoop.apache.org/3) hadoop有三种运行模式本地模式:单机运行,只是用来演示一下官方案例。生产环境不用伪分布模式:单机运行,具备Hadoop集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。完全分布式模式!(五颗星):多台服务器组成分布式环境。生产环境使用。企业中用原创 2021-11-14 19:36:10 · 2557 阅读 · 0 评论 -
Hadoop部署(二)—— 模板虚拟机准备完成,克隆3台虚拟机
在Hadoop部署(一)中,设置好了虚拟机的网络,并进行了测试。1.安装epel-releaseepel(xtra Package for Enterprise Linux)是为“红帽系”的Linux系统提供的额外软件包(centos属于红帽系),相当于是一个补丁,大多数rpm包在官方repository中是找不到的。[root@]# yum install -y epel-release2.关闭防火墙在公司的实际部署时,不需要给每一台服务器都按防火墙,只需要在所有服务器的最外围加一个防火墙就原创 2021-11-08 16:46:21 · 1927 阅读 · 1 评论