Hadoop伪分布式安装

已于 2022-06-12 09:01:59 修改
阅读量1.1k 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
于 2022-04-11 23:02:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yandao/article/details/124090264
版权
本文档详细介绍了如何在CentOS系统上进行Hadoop的伪分布式安装，包括安装CentOS、修改网络设置、配置环境变量、编辑多个配置文件如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-env.sh和yarn-site.xml，以及启动集群和验证安装的步骤。
摘要由CSDN通过智能技术生成

Hadoop伪分布式安装

1.安装centos

30G空间
/boot 300M
swap 2048
/ Fill

2.修改IP地址

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

DEVICE=eno16777736
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.121.150
GATEWAY=192.168.121.2
NETMASK=255.255.255.0
DNS1=8.8.8.8
DNS2=114.114.114.114

systemctl restart network
ping www.baidu.com
ping 本机ip

3.修改主机映射

hostnamectl set-hostname single

vi /etc/sysconfig/network
HOSTNAME=single
reboot

4.修改IP映射

vi /etc/hosts
#添加 ip 名字
192.168.121.150 single

5.查看防火墙和selinux,确认关闭

systemctl status firewalld
#输出如下
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
   
sestatus
#输入如下
SELinux status:                 disabled

6.密钥


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  yandao
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
CentOS7上安装Hadoop2.0——单机模式/伪分布式模式 暨任务二

				
			

			

				

					
				

				

					12-06
					
					3007
					
				

			

		

		

			
				
注意：本文步骤参考给力星的http://www.powerxing.com/install-hadoop-in-centos/的内容，实验结果均是本人真实实验的图片，仅用于记录和学习之用。一． 创建hadoop用户1. 登录root用户，创建Hadoop用户$ su root2. 创建可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell。# useradd -m hadoop

			
		

	



                

            
              



	

		

			

				
					
centOS 7下Hadoop伪分布式搭建

				
			

			

				

					wicjwnx的博客
				

				

					09-02
					
					3460
					
				

			

		

		

			
				
centOS下Hadoop伪分布式搭建

			
		

	



              


  
              

                


	

		

			

				
					
Centos一键安装hadoop伪分布式

				
			

			

				

					长河的博客
				

				

					05-05
					
					1302
					
				

			

		

		

			
				
新建一个install.sh文件, 复制粘贴内容如下:


#Hadoop install Script
 
#Define
HadoopLink='https://repo.huaweicloud.com/apache/hadoop/core/hadoop-2.9.2/hadoop-2.9.2.tar.gz'
 
#echo -e "\033[0;31m\033[0m"        32绿 31红 34蓝
 
#Functions
installJDK()        #安装JDK
{
      .

			
		

	





	

		

			

				
					
Hadoop大数据初入门----haddop伪分布式安装

				
			

			

				

					m0_67400972的博客
				

				

					09-06
					
					289
					
				

			

		

		

			
				
4.导入jar包(在hadoop-2.4.1sharehadoophdfs下的hadoop-hdfs-2.4.1.jar，还有hadoop-2.4.1sharehadoophdfslib下的所有jar包，hadoop-2.4.1sharehadoopcommon下的hadoop-common-2.4.1.jar，hadoop-2.4.1sharehadoopcommonlib下的所有jar包)11.修改yarn-site，（vim yarn-site.xml），在configuration中添加。

			
		

	



		

			
		



	

		

			

				
					
centos搭建hadoop伪分布式

				
			

			

				

					m0_46120209的博客
				

				

					10-08
					
					2850
					
				

			

		

		

			
				
centos搭建hadoop伪分布式

			
		

	





	

		

			

				
					
hadoop伪分布式安装

				
			

			

				

					YYY7769的博客
				

				

					04-20
					
					1664
					
				

			

		

		

			
				
在这个文件最后换行添加如下三行：vi /etc/profile # JDK
export JAVA_HOME=/opt/jdk
export PATH=$JAVA_HOME/bin:$PATH在这个文件最后换行添加如下三行：vi /etc/profile#HADOOP
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin进行免密登录需要安装ssh如果有openssh-clients、openss

			
		

	





	

		

			

				
					
Hadoop伪分布式安装教程

					
最新发布

				
			

			

				

					cai_4的博客
				

				

					05-29
					
					2490
					
				

			

		

		

			
				
hivesever2的模拟用户功能，依赖于Hadoop提供的proxy user（代理用户功能），只有Hadoop中的代理用户才能模拟其他用户的身份访问Hadoop集群。因此，需要将hiveserver2的启动用户设置为Hadoop的代理用户，配置方式如下：修改配置文件。首先，在根目录下创建文件夹 Downloads 用来存放传输上来的文件，在 opt 目录下创建 module 文件用来存放使用解压出来的大数据软件，选择一个安全的，并确保记住它，因为后面需要用到这个密码。要测试它，请检查其状态。

			
		

	





	

		

			

				
					
基于Linux的Hadoop伪分布式安装

					
热门推荐

				
			

			

				

					leoatliang的博客
				

				

					10-04
					
					1万+
					
				

			

		

		

			
				
【大数据技术2】：基于Linux的Hadoop伪分布式安装。主要内容包含：创建用户、安装ssh、安装vim、安装JDK并配置环境变量、安装Hadoop、hadoop伪分布式配置以及启动HDFS伪分布式模式。

			
		

	





	

		

			

				
					
hadoop伪分布式安装.pdf

				
			

			

				

					10-22
				

			

		

		

			
				
### Hadoop伪分布式安装知识点详解  #### 一、Hadoop伪分布式概述 Hadoop是一种能够处理海量数据的大规模分布式计算框架。它通过将任务分解到多个计算机节点上并行处理来提高数据处理效率。Hadoop支持多种运行模式，...

			
		

	





	

		

			

				
					
Hadoop技术-Hadoop伪分布式安装.pptx

				
			

			

				

					11-02
				

			

		

		

			
				
Hadoop技术-Hadoop伪分布式安装  Hadoop技术是当前大数据处理和存储领域中最流行的技术之一，Hadoop伪分布式安装是Hadoop技术中的一个重要组件。本文将详细介绍Hadoop伪分布式安装的步骤和配置过程。  一、Hadoop伪...

			
		

	





	

		

			

				
					
Hadoop伪分布式安装及配置参考步骤.docx

				
			

			

				

					04-22
				

			

		

		

			
				
Hadoop伪分布式安装及配置参考步骤  Hadoop是一种分布式系统基础架构，由Apache基金会开发，能够对大量数据进行分布式处理和存储。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop具有高可靠...

			
		

	





	

		

			

				
					
Hadoop完全分布式配置

				
			

			

				

					yandao的博客
				

				

					04-18
					
					6258
					
				

			

		

		

			
				
1.虚拟机环境准备
1.1 克隆虚拟机




1.2.	修改克隆虚拟机的静态IP




机器名
静态IP




master
192.168.121.151


slaver1
192.168.121.152


slaver2
192.168.121.153


[root@master Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 
#输入以下内容
DEVICE=eno16777736
TYPE=Ethernet
ONB

			
		

	





	

		

			

				
					
HDFS文件系统

				
			

			

				

					yandao的博客
				

				

					04-25
					
					2974
					
				

			

		

		

			
				
HDFS是Hadoop体系中最重要的组成部分，主要用于解决海量大数据的存储的问题，是目前应用最广的分布式文件存储系统。
1.HDFS解决传统文件存储的两个问题

当数据量越来越大时，会遇到存储的瓶颈，需要扩容
由于文件太大，上传和下载都非常耗时

解决：


扩容
纵向扩容：增加内存和磁盘
横向扩容：增加服务器的数量


分块：大的文件分成多个数据库，并行处理数据


2.HDFS的基本概念
2.1 NameNode(名称节点)
NameNode是HDFS集群的主服务器，通常成为名称节点或者主节点。两大功能

			
		

	





	

		

			

				
					
hadoop问题总结

				
			

			

				

					yandao的博客
				

				

					04-24
					
					2576
					
				

			

		

		

			
				
1.The authenticity of host ‘localhost (::1)’ can’t be established.
方法1
ssh -o StrictHostKeyChecking=no 192.168.121.xxx

方法2
修改/etc/ssh/ssh_config文件（或$HOME/.ssh/config）中的配置，添加如下两行配置：
StrictHostKeyChecking no
UserKnownHostsFile /dev/null

修改好配置后，重新启动sshd服务即可

			
		

	





	

		

			

				
					
Hadoop天气系统

				
			

			

				

					yandao的博客
				

				

					09-13
					
					2539
					
				

			

		

		

			
				
1.写完计数程序打包成jar
只要class文件即可
2.上传到node1上
3.hadoop jar weather.jar com.hadoop.mr.weather.WeatherSystem
hdfs dfs -ls /data/weather/output
hdfs dfs -cat /data/weather/output/part-r-00000
也可以把内容copy到当前的目录
hdfs dfs -get /data/weather/output/* ./
public class Weat

			
		

	





	

		

			

				
					
hadoop配置使用到的脚本

				
			

			

				

					yandao的博客
				

				

					04-18
					
					2337
					
				

			

		

		

			
				
1.ip_hostname.sh 查看ip和hostname
[root@master conf]# vi ip_hostname.sh

#!/bin/bash
# input ip
ip=`ifconfig eno16777736| grep "inet" | awk '{ print $2}'`
echo "本机的IP是$ip"
# input hostname
hostname=`hostname`
echo "本机的主机名是$hostname"
ip=`ifconfig -a|grep inet|

			
		

	





	

		

			

				
					
hadoop wordcount

				
			

			

				

					yandao的博客
				

				

					06-21
					
					2272
					
				

			

		

		

			
				
wordcount

			
		

	





	

		

			

				
					
Hadoop伪分布式安装与配置指南

				
			

			

				

					
				

			

		

		

			
				
“Linux上的Hadoop伪分布式安装及配置步骤，涉及Hadoop的三种运行模式：本地模式、伪分布模式和完全分布模式。”  在Hadoop的世界里，了解和掌握不同的运行模式对于开发者和管理员来说至关重要。以下是关于这些模式...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值