hadoop分布式环境搭建

最新推荐文章于 2022-04-15 21:31:53 发布
最新推荐文章于 2022-04-15 21:31:53 发布
阅读量358 收藏
点赞数 1
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mrslw/article/details/53239444
版权

1.克隆虚拟机后，要修改虚拟机名字及ip地址，mac地址 

方法：

vi /etc/sysconfig/network-scripts/ifcfg-eth0


重启网络服务： service network restart

查看： ifconfig    里面有相关信息 

2，linux root权限分配以及修改hosts文件

 

    因为一些操作需要用到root权限，所以要给hadoop用户分配sudo权限。

 

   （1）命令：su   root  （切换到root用户）

        输入密码

   （2）命令：chmod u+w /etc/sudoers （给sudoers增加写权限）

   （3）命令：vi /etc/sudoers  （修改sudoers文件）

        执行命令后会进入sudoers文件的查看模式，该模式下按“i”进入文件修改模式，

        然后在root ALL=(ALL)  ALL下方增加hadoop ALL=(ALL)NOPASSWD:ALL  按 “esc”键推出修改模式，大写模式下，按两次“z”保存退出。

 

    （4）命令：chmod u-w /etc/sudoers （撤销sudoers文件的写权限）

    （5）命令：vi /etc/hosts     （修改hosts文件）

         按下面的格式修改，切记，ip地址要写自己的    

192.168.118.128 Master

192.168.118.129 Slave1

3.免密钥登录 

使用下例中ssky-keygen和ssh-copy-id，仅需通过3个步骤的简单设置而无需输入密码就能登录远程Linux主机。 
ssh-keygen 创建公钥和密钥。 
ssh-copy-id 把本地主机的公钥复制到远程主机的authorized_keys文件上。
ssh-copy-id 也会给远程主机的用户主目录（home）和~/.ssh, 和~/.ssh/authorized_keys设置合适的权限 。

步骤1: 用 ssh-key-gen 在本地主机上创建公钥和密钥
ligh@local-host$ ssh-keygen -t  rsa
Enter file in which to save the key (/home/jsmith/.ssh/id_rsa):[Enter key] 
Enter passphrase (empty for no passphrase): [Press enter key]
Enter same passphrase again: [Pess enter key]
Your identification has been saved in /home/jsmith/.ssh/id_rsa.
Your public key has been saved in /home/jsmith/.ssh/id_rsa.pub. 
The key fingerprint is: 33:b3:fe:af:95:95:18:11:31:d5:de:96:2f:f2:35:f9 
ligh@local-host

步骤2: 用 ssh-copy-id 把公钥复制到远程主机上
ligh@local-host$ ssh-copy-id -i ~/.ssh/id_rsa.pub  root@192.168.0.3
ligh@remote-host‘s password:
Now try logging into the machine, with ―ssh ?remote-host‘‖, and check in: 
.ssh/authorized_keys to make sure we haven‘t added extra keys that you weren‘t expecting.
[注: ssh-copy-id 把密钥追加到远程主机的 .ssh/authorized_key 上.]

步骤3: 直接登录远程主机
ligh@local-host$ ssh remote-host 
Last login: Sun Nov 16 17:22:33 2008 from 192.168.1.2 

3.将jdk，hadoop压缩包拷贝到/home/hadoop/usr中 

解压：tar -xzvf jdk压缩包名

4.设置jdk环境变量

这里采用全局设置方法，就是修改etc/profile，它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_45
export JRE_HOME=/usr/local/java/jdk1.7.0_45/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin: $PATH

 

请记住，在上述添加过程中，等号两侧不要加入空格，不然会出现“不是有效的标识符”，因为source /etc/profile 时不能识别多余到空格，会理解为是路径一部分。

然后保存

source /etc/profile

 使profile生效

5.

)hadoop安装完毕需要配置hadoop的一些文件，准备工作先建立几个文件夹

home/hadoop/usr/dfs/name

home/hadoop/usr/dfs/data

home/hadoop/usr/tmp



6：修改配置文件

          hadoop-env.sh：   

[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. export JAVA_HOME=/opt/java  

          core-site.xml：

[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.   <property>  
  3.     <name>fs.default.name</name>  
  4.     <value>hdfs://master1:9000</value>  
  5.   </property>  
  6.   <property>  
  7.     <name>hadoop.tmp.dir</name>  
  8.     <value>/opt/hadoop/tmp</value>  
  9.   </property>  
  10. </configuration>  

            hdfs-site.xml：

[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.   <property>  
  3.     <name>dfs.replication</name>  
  4.     <value>2</value>  
  5.   </property>  
  6.   <property>  
  7.     <name>dfs.namenode.name.dir</name>  
  8.     <value>file:/opt/hadoop/dfs/name</value>  
  9.   </property>  
  10.   <property>  
  11.     <name>dfs.datanode.data.dir</name>  
  12.     <value>file:/opt/hadoop/dfs/data</value>  
  13.   </property>  
  14. </configuration>  
         mapred-site.xml：

[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.   <property>  
  3.     <name>mapreduce.framework.name</name>  
  4.     <value>yarn</value>  
  5.   </property>  
  6.   <property>  
  7.     <name>mapreduce.jobhistory.address</name>  
  8.     <value>Master:10020</value>  
  9.   </property>  
  10.   <property>  
  11.     <name>mapreduce.jobhistory.webapp.address</name>  
  12.     <value>Master:19888</value>  
  13.   </property>  
  14. </configuration>  
         yarn-site.xml：

[html]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. <configuration>  
  2.   
  3. <!-- Site specific YARN configuration properties -->  
  4.   <property>  
  5.     <name>yarn.nodemanager.aux-services</name>  
  6.     <value>mapreduce_shuffle</value>  
  7.   </property>  
  8.   <property>  
  9.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
  10.     <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  11.   </property>  
  12.   <property>  
  13.     <name>yarn.resourcemanager.address</name>  
  14.     <value>Master:8032</value>  
  15.   </property>  
  16.   <property>  
  17.     <name>yarn.resourcemanager.scheduler.address</name>  
  18.     <value>Master:8030</value>  
  19.   </property>  
  20.   <property>  
  21.     <name>yarn.resourcemanager.resource-tracker.address</name>  
  22.     <value>Master:8031</value>  
  23.   </property>  
  24.   <property>  
  25.     <name>yarn.resourcemanager.admin.address</name>  
  26.     <value>Master:8033</value>  
  27.   </property>  
  28.   <property>  
  29.     <name>yarn.resourcemanager.webapp.address</name>  
  30.     <value>Master:8088</value>  
  31.   </property>  
  32. </configuration>  

    7：编辑slaves文件

        清空加入从节点的名字

        slave1

        slave2

  8：在master节点格式化hdfs

           bin/hdfs namenode -format

           

          看见status 0表示安装成功

9.启动

sbin/start-all.sh

jps 查看启动进程



10 网页版查看 

：http://192.168.48.130:8088/

：http://192.168.48.130:50070

11.若节点启动成  网页打不开  可能是防火墙没有关闭 



DarryRingLW
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop分布式环境搭建过程
08-25
主要介绍了hadoop分布式环境搭建过程，本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
Hadoop错误5_配置Hadoop环境变量时export‘=’not a valid identifier的一个原因
wang_zhenwei的博客
08-24 4881
该问题出现在配置Hadoop环境变量时，经过查找资料，发现问题原因，并根据说明解决。 资料原文： 这个问题至少让我损失了2个小时，终于在stackoverflow上找到原因 You cannot put spaces around the = sign when you do: export foo=bar Remove the spaces you ha
Hadoop完全分布式集群搭建
y_zilong的博客
04-15 2817
Hadoop完全分布式集群搭建 0、准备工作 版本选型： 系统名称 版本 centos 7.9 java 1.8.0_291 mysql 8.0.23 Hadoop 2.7.7 Hive 2.3.7 硬件规划： 组件 10.0.7.1 10.0.7.2 10.0.7.3 Java Y Y Y MySql Server+Client N N Hive Client
bash: export: `/usr/lib/jvm/jdk1.8.0_201/lib/dt.jar': 不是有效的标识符
Jackie Huang
04-10 4813
ps: 如果有任何问题可以评论留言，我看到后会及时解答，评论或关注，您的鼓励是我分享的最大动力 转载请注明出处：https://blog.csdn.net/qq_40938301/article/details/89190272 出现问题： Linux 配置 JDK 环境变量时出现以下问题 bash: export: `/usr/lib/jvm/jdk1.8.0_201/...
bash: export: `=': 不是有效的标识符
默茉的博客
05-30 3476
解决办法：把等号两边的空格去掉
出现不是有效的标识符问题
晚来天欲雪，能饮一杯无
04-19 4721
bash: export: `=': 不是有效的标识符 原因是等号两边多了空格，去掉即可
实验报告-hadoop分布式环境搭建.doc
05-12
hadoop分布式环境搭建的完整详细的实验报告，基于Hadoop的伪分布式安装，3个节点的分布式集群的安装和配置说明。很详细，值得借鉴
hadoop伪分布式环境搭建
09-22
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
Hadoop分布式环境搭建详细步骤.docx
08-18
hadoop 安装部署！
hadoop分布式文件系统搭建
03-01
工作中搭建的hadoop分布式文件系统和hive ，mysql等的搭建的具体步骤
大数据课程实验总结（四）--hadoop-2.7.3的安装和配置
Ldcrle的博客
04-20 1724
这里写目录标题实验准备hadoop安装文件安装hadoop-2.7.3配置hadoop将hadoop命令加入到PATH验证hadoop注意事项 实验准备 本实验是在大数据课程实验总结（三）的实验基础上继续进行的，为确保实验完整，进行此次实验前请确保Xshell已经成功与四台虚拟机建立会话，建议打开Xshell工具中的“发送键输入到所有会话”功能以减少重复操作。 本次实验所需资源为：大数据课程实验（四）资料包hadoop-2.7.3.zip hadoop安装文件 在实验环境下，hadoop安装文件已经放置在
linux JDK配置 -bash: export: `/usr/lib/java': 不是有效的标识符
热门推荐
Freewind的技术专栏
10-30 2万+
export JAVA_HOME=/usr/lib/java export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
-bash: export: `=': 不是有效的标识符
大鱼的博客
02-19 1万+
配置javahome出错 -bash: export: `=': 不是有效的标识符 -bash: export: `/usr/java/latest': 不是有效的标识符 -bash: export: `=': 不是有效的标识符 -bash: export: `/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin': ...
/tmp/hadoop-hadoop-datanode.pid: Permission denied
u013808288的专栏
11-01 6449
今天终于要把分布式的集群搭建完毕啦，就在我与成功差之毫厘的时候，执行sbin/stop-all.sh  命令并不能把datanode关闭掉，无奈只能强制Kill掉 ，错误显示/tmp/hadoop-hadoop-datanode.pid: Permission denied   在网上搜索了好多办法有的说给tmp目录777权限，我没有成功，终于找到一个办法就是修改hadoop-env.sh文件
centos7 最小化安装后再装上界面
u013808288的专栏
02-16 3376
yum grouplist -- 查看支持的图形界面， 有Minimal Install（最小安装是没有桌面的）、GNOME Desktop、KDE Plasma Workspaces等 yum groupinstall "X Window System" -- 安装图形组件 yum groupinstall "GNOME Desktop" --安装界面（我选择安装GNOME，还可以安装KDE
centos sbt 安装
u013808288的专栏
02-20 2367
1.随便新建一个目录  vim sbt 2.在文件里编辑如下内容： BT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M" java $SBT_OPTS -jar /home/spark/sbt-launcher-packaging-0.13.13/bin/sbt-launc
jar 包运行 资源路径问题
u013808288的专栏
03-04 1392
如果使用代码FileReader reader = new FileReader("debora_0_column_30.arff");  jar包运行时会报找不到文件的错误，原因是打成jar包后根目录变了。jar包后 根目录变成了jar包所在的目录 所以要想找到上述文件，需要将上述文件放在jar包的同目录下...
jar 包运行 依赖第三方jar包
u013808288的专栏
03-04 1374
在hadoop平台上写了一个mapreduce程序，jar包运行时总是报NoClassDefFoundError错误，我是通过maven方式导入的jar包。解决办法：将maoreduce程序打成的jar包里新建一个lib文件夹，里面放上需要的第三方jar包，再运行即可...
Hadoop分布式环境搭建实验小结
最新发布
10-07
Hadoop分布式环境搭建实验小结如下： 为了搭建一个Hadoop分布式环境，我们需要进行以下步骤： 1. 安装Java：首先，我们需要在所有节点上安装Java开发工具包（JDK），因为Hadoop是使用Java编写的。确保所有节点上的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值