hadoop
Hadoop生态技术栈!
秦岭野生程序猿
这个作者很懒,什么都没留下…
展开
-
关于Windows环境下hadoop的nodemanager无法启动的问题
在本地测试hadoop发现windows环境下hadoop nodemanager无法启动 报错:NodeManager from DESKTOP-M067I4E doesn't satisfy minimum allocations最后发现是配置文件 yarn-site.xml 的配置问题 ,默认是没有这些配置的:第一个是nodemanager运行时要求的最低内存第二个是nodemanager运...原创 2018-03-07 14:46:25 · 2178 阅读 · 1 评论 -
Windows环境下调试hadoop程序笔记
环境准备1.系统:windows102.java环境:jdk1.83.添加环境变量:JAVA_HOME4.下载hadoop 我这里下载的是hadoop2.7.4 5.添加环境变量:HADOOP_HOME=解压hadoop的路径 我的是:D:\hadoop2.7.4\6.将D:\hadoop2.7.4\bin和D:\hadoop2.7.4\sbin添加到系统环境变量path中7.这里还需要下载一个重...原创 2018-03-07 16:18:36 · 529 阅读 · 0 评论 -
hadoop分布式集群搭建
1.软件准备VMware workstation 下载地址:点击打开链接;linux镜像文件,这里我选择的是centos7。2.虚拟机安装 具体安装过程百度上有很多 这里我们先新建三个虚拟机,分别取名 hdp01,hdp02,hdp03(最快的方法就是先建一个虚拟机,配置环境完成后再克隆两个),如下图:3. linux环境准备(以下所有命令操作均已centos7为例,不同版本命令操作可能有区别)修...原创 2018-02-28 16:58:44 · 220 阅读 · 0 评论