Ubuntu配置Hadoop环境

最新推荐文章于 2024-08-17 01:51:39 发布
最新推荐文章于 2024-08-17 01:51:39 发布
阅读量544 收藏 2
点赞数
文章标签： hadoop linux 大数据 centos hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/auscoo111/article/details/109269528
版权
本文详细介绍了在Ubuntu系统中配置Hadoop环境的步骤，包括JDK安装、Hadoop目录设置、SSH服务开启和配置，以及Hadoop相关配置文件的修改。在解决SSH连接问题后，进行了NameNode格式化、Hadoop和YARN集群的启动，并通过jps检查配置，最后测试了HDFS和YARN的Web界面。
摘要由CSDN通过智能技术生成

Ubuntu配置Hadoop环境

JDK目录

cd /usr/lib/jvm/java-8-openjdk-amd64

Hadoop目录

cd /usr/local/hadoop

IP地址

ifconfig

ssh服务开启

Linux系统的ssh要打开，不然后面连接不上HDFS。

1.问题：

ssh连接时报以下错误：

$ ssh root@192.168.199.22
root@192.168.199.22's password: 
Permission denied, please try again.

2.原因：

系统默认禁止root用户登录ssh

3. 解决：
(1)修改/etc/ssh/sshd_config文件
vim /etc/ssh/sshd_config


PermitRootLogin without-password

改为

PermitRootLogin yes
(2)重启ssh
sudo service ssh restart

Hadoop配置

查看Hadoop的etc文件

cd /usr/local/hadoop/etc/hadoop/

配置$HADOOP_HOME/etc/hadoop下的hadoop-env.sh文件 

vim hadoop-env.sh 



 



                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  奥斯科AUSCOO
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
Ubuntu 16.4虚拟机 配置Hadoop集群

				
			

			

				

					ws_Ando的博客
				

				

					11-24
					
					2759
					
				

			

		

		

			
				
Ubuntu 16.4 配置Hadoop集群

			
		

	



                

              
                



	

		

			

				
					
Ubuntu下搭建Hadoop单机模式环境

				
			

			

				

					08-23
				

			

		

		

			
				
本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。

			
		

	



                


  
              

                


	

		

			

				
					
Ubuntu上搭建Hadoop环境(伪分布式)

				
			

			

				

					jishublog
				

				

					06-15
					
					387
					
				

			

		

		

			
				

首先要了解一下Hadoop的运行模式：

单机模式（standalone）
   单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模...

			
		

	





	

		

			

				
					
Ubuntu22.04系统Hadoop集群搭建

					
最新发布

				
			

			

				

					weixin_61338219的博客
				

				

					08-17
					
					1009
					
				

			

		

		

			
				
Ubuntu-22.04 中 Hadoop集群搭建

			
		

	



		

			
		



	

		

			

				
					
ubuntu配置hadoop环境

				
			

			

				

					ybb520chongren_的博客
				

				

					02-28
					
					473
					
				

			

		

		

			
				
https://blog.csdn.net/xuan314708889/article/details/80500006  ：详情请点击此链接

			
		

	





	

		

			

				
					
Ubuntu下安装配置Hadoop

				
			

			

				

					weixin_30332241的博客
				

				

					03-30
					
					90
					
				

			

		

		

			
				
Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 
在这里介绍用虚拟机搭建伪分布式。 
需要的软件有： 
1.VMware10 
2.ubuntu-14.04.4镜像 
3....

			
		

	





	

		

			

				
					
Ubuntu中Hadoop环境搭建

				
			

			

				

					kexinxin1的博客
				

				

					12-20
					
					1355
					
				

			

		

		

			
				
Ubuntu中Hadoop环境搭建
JDK安装
方法一：通过命令行直接安装（不建议）
有两种java可以安装oracle-java8-installer以及openjdk
(1)安装oracle-java8-installer
apt install software-properties-common
add-apt-repository ppa:webupd8team/java
...

			
		

	





	

		

			

				
					
Ubuntu配置Hadoop环境变量

				
			

			

				

					05-24
				

			

		

		

			
				
在Ubuntu上配置Hadoop环境变量可以按照以下步骤进行：  1. 打开终端，输入以下命令创建Hadoop目录：   ```  sudo mkdir -p /usr/local/hadoop  ```  2. 下载并解压Hadoop安装包，将解压后的文件复制到上述目录下。  ...

			
		

	





	

		

			

				
					
ubuntu配置hadoop环境变量

				
			

			

				

					06-28
				

			

		

		

			
				
在Ubuntu中配置Hadoop环境变量可以按照以下步骤进行：  1. 打开终端，使用以下命令打开Hadoop配置文件：   ```  sudo nano /etc/environment  ```  2. 在文件末尾添加以下内容，替换其中的路径为你的Hadoop安装路径...

			
		

	





	

		

			

				
					
详解Ubuntu16.04下Hadoop 2.7.3的安装与配置

				
			

			

				

					09-15
				

			

		

		

			
				
总结，本文详尽地介绍了如何在Ubuntu 16.04系统中搭建Java环境、安装SSH Server并实现免密码登录，以及如何安装配置Hadoop 2.7.3的单机模式和伪分布模式。这些步骤对于初次接触Hadoop集群的开发者来说至关重要，不仅...

			
		

	





	

		

			

				
					
ubuntu 搭建 hadoop环境

					
热门推荐

				
			

			

				

					架构师实战感悟
				

				

					02-16
					
					2万+
					
				

			

		

		

			
				
hadoop版本 2.7.3下边将一步一步的介绍在ubuntu系统中搭建hadoop环境。
安装sun jdk
配置免密码登录
下载hadoop可执行包
修改hadoop配置文件
启动hadoop服务
安装sun jdk如果你的机器上已经安装了openjdk，请先卸载，如果没有，请按照下面方法继续操作。 
在oracle官网上下载最新的jdk包，在这里我选则的是jdk1.8.0_121，具体下载地址

			
		

	





	

		

			

				
					
ubuntu搭建hadoop

				
			

			

				

					03-25
				

			

		

		

			
				
NULL
博文链接：https://ouyida3.iteye.com/blog/1156589

			
		

	





	

		

			

				
					
基于ubuntu安装Hadoop详细过程

				
			

			

				

					06-28
				

			

		

		

			
				
在Mac虚拟机上使用ubuntu安装Hadoop 的详细过程，中科院数据库新技术大作业。

			
		

	





	

		

			

				
					
Ubuntu下配置Hadoop环境

				
			

			

				

					weixin_33829657的博客
				

				

					12-27
					
					544
					
				

			

		

		

			
				
1. 下载Hadoop
到官网下载Hadoop:

http://hadoop.apache.org/#Download+Hadoop

这里我使用的是hadoop-2.6.5.tar.gz版本。
2. 安装Hadoop
直接将压缩包解压到目标路径（我选择安装在'/opt'路径下）：
sudo tar -zxvf hadoop-2.6.5.tar.gz -C /opt
复制代码3. 创建Hadoo...

			
		

	





	

		

			

				
					
Ubuntu搭建Hadoop环境

				
			

			

				

					duke_ding2的博客
				

				

					12-01
					
					1640
					
				

			

		

		

			
				
本文是在一个全新的Ubuntu 22.04 虚拟机上安装Hadoop 3.3.4。

			
		

	





	

		

			

				
					
Ubuntu下搭建Hadoop开发环境

				
			

			

				

					xiaotom5的专栏
				

				

					10-17
					
					1万+
					
				

			

		

		

			
				
大家好，最近对Hadoop非常感兴趣，今天花点工夫搭建一个开发环境，并整理成文。
首先要了解一下Hadoop的运转形式：
单机形式（standalone）
       单机形式是Hadoop的默许形式。现在次解压Hadoop的源码包时，Hadoop无奈了解硬件安装环境，便激进地抉择了最小配置。在这种默许形式下所有3个XML文件均为空。当配置文件为空时，Hadoop会齐全运转在当地。由于不需

			
		

	





	

		

			

				
					
Ubuntu上搭建Hadoop环境(单机版)

				
			

			

				

					HADES@OAK
				

				

					05-01
					
					814
					
				

			

		

		

			
				
Ubuntu上搭建Hadoop环境（附实例）

    两天的学习后，我们对Hadoop有所了解了，特别是昨天对MapReduce的部分源码进行了分析，知道了MapReduce是怎么运作的，是不是手痒了，很想自己安装Hadoop吧（其实是我自己手痒了...）？那我们今天就先不分析源码，我们就来安装Hadoop（单机集群模式）。以下所有操作均在Ubuntu
 11.04下完成。

			
		

	





	

		

			

				
					
基于Ubuntu系统下的Hadoop 环境搭建(新手可尝)

				
			

			

				

					墨染的博客
				

				

					04-15
					
					8230
					
				

			

		

		

			
				
文章目录Hadoop 环境搭建1、安装虚拟机2.安装 Ubuntu 操作系统3、关闭防火墙4、 SSH 安装5、 安装 Xshell 及 Xftp6、 安装 JDK7、安装 hadoop8. 结语
Hadoop 环境搭建
1、安装虚拟机
在一切行动的前提，我们需要先安装好虚拟机，毕竟是供我们学习用的，因此我们需要通过虚拟机利用Linux系统来实现我们的Hadoop环境。
安装虚拟机步骤：
(1）下载 VMware 安装包。到 VMware® Workstation Pro 官网，选择对应的版本 进行下载。本

			
		

	





	

		

			

				
					
Hadoop单机环境搭建（Ubuntu18.04-Linux）

				
			

			

				

					What's Up
				

				

					11-22
					
					338
					
				

			

		

		

			
				
一、下载JDK
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

1、解压
tar -zxvf jdk-8u271-linux-x64.tar.gz
2、在etc/profile里面配置环境变量
export JAVA_HOME=/usr/local/jdk1.8/jdk1.8.0_271
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值