hadoop 本地模式安装和伪分布式

hadoop安装前提是必须安装jdk

第一种：独立模式 Standalone Mode

直接解压安装包，配置环境变量即可

JAVA_HOME=/soft/jdk1.8

HADOOP_HOME=/soft/hadoop

PATH="/usr/local/sbin:/usr/local/bin:/usr/bin:/soft/jdk1.8/bin:/soft/hadoop/bin:/soft/hadoop/sbin"

 

第二种：伪分布式 Psedodistributed Mode

 

1.修改配置文件,路径为 hadoop/etc/hadoop

<?xml version="1.0"?>
<!-- core-site.xml -->
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost/</value>
        </property>
    </configuration>
    
    
<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>


<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

2.配置ssh无秘登录

安装ssh

ubuntu:

$>sudo apt-get install ssh

centos:

$>yum install openssh.x86_64

 

3.生成证书

$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

4.将s100生成的公钥添加到s101的授权文件，这样s100就可以无秘登录到s101

$>cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

A将公钥发给B，不是让B来访问A，而是A访问B。也就是说B不能在.ssh文件夹下的authorized_keys保留A的公钥，如保存就是把A无秘访问自己！

 

登录ssh

ssh localhost

 

第四步：格式化名称节点

% hdfs namenode -format

 

第五步：启动

start-all.sh

停止

stop-all.sh