win10安装Hadoop2.7.7

1.按http://6tt.co/mhGm安装
2.由于开启了虚拟机,而虚拟机保留了namenode用的50070端口,datanode用的50075端口,解决方法1.按http://6tt.co/mhEU关闭虚拟机,重启,保留端口,重启,开启hyper-V后(需重启)删除保留的端口(不需重启)2.hdfs namenode -format 格式化后start-all,出现datanode启动失败,cluster-Id不兼容namenode,复制namenode的version的cluster-ID,粘贴到dtanode里,再次启动,(不需格式化)可以正常使用。
参考博客:
http://6tt.co/mhGz 解决datanode不能正常启动的原因,从这篇里面,结合“端口被占用”那篇博客,查询虚拟机占用端口后才知道要开启50075;
http://6tt.co/mhG9 解决datanode刚启动就死掉(ID不兼容)
安装过程还可以参考:https://www.cnblogs.com/du-blog/p/5998388.html
查看端口是否被进程占用的方法:https://www.cnblogs.com/qq78292959/p/3314716.html

对于在Windows安装Hadoop 2.7.7,以下是一些步骤: 1. 下载Hadoop: 访问Apache Hadoop官方网站(https://hadoop.apache.org/releases.html)下载Hadoop 2.7.7版本。选择合适的二进制版本(tar.gz文件)并下载。 2. 解压文件: 将下载的tar.gz文件解压到一个合适的目录,例如 `C:\hadoop`. 3. 配置环境变量: 在系统环境变量中添加以下变量: - `HADOOP_HOME`: 设置为Hadoop的安装目录,例如 `C:\hadoop`. - `Path`: 在现有的Path变量后面添加 `%HADOOP_HOME%\bin`和`%HADOOP_HOME%\sbin`. 4. 配置Hadoop: 在Hadoop目录下,找到 `etc/hadoop` 文件夹。将 `core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`, 和 `yarn-site.xml` 的示例文件复制一份,并去掉 `.template` 作为扩展名。 5. 配置core-site.xml: 编辑 `core-site.xml`,添加以下内容: ``` <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 6. 配置hdfs-site.xml: 编辑 `hdfs-site.xml`,添加以下内容: ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 7. 配置mapred-site.xml: 编辑 `mapred-site.xml`,添加以下内容: ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 8. 配置yarn-site.xml: 编辑 `yarn-site.xml`,添加以下内容: ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 9. 格式化Hadoop文件系统:在命令行中执行以下命令: ``` hadoop namenode -format ``` 10. 启动Hadoop: 在命令行中执行以下命令启动Hadoop: ``` start-dfs.sh start-yarn.sh ``` 11. 验证安装:在浏览器中访问 `http://localhost:50070` 可以查看Hadoop的Web界面。 这些是基本的安装步骤,但根据你的系统配置和要求,可能会有所不同。请确保按照Hadoop官方文档提供的详细说明进行操作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值