Linux下安装lrzsz，java，hadoop

最新推荐文章于 2024-04-28 18:07:23 发布

宣晨光

最新推荐文章于 2024-04-28 18:07:23 发布

阅读量381

点赞数

分类专栏： Linux 文章标签： linux

本文链接：https://blog.csdn.net/xcg340123/article/details/54963803

版权

Linux 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

虚拟机（rhel-1.41.1.10.4.el6-i386）

1.lrzsz 安装

cd /tmp

--以不安全方式登录（否则报错）
wget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gz --no-check-certificate

tar zxvf lrzsz-0.12.20.tar.gz --解压

 cd lrzsz-0.12.20

./configure && make && make install

安装过程默认把lsz和lrz安装到了/usr/local/bin/目录下，
现在并不能直接使用，下面创建软链接，并命名为rz/sz：

cd /usr/bin
ln -s /usr/local/bin/lrz rz
ln -s /usr/local/bin/lsz sz

2.jdk 安装
下载jdk-7-linux-i586.tar.gz
一般默认情况下Linux自带（本人虚拟机）
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0

配置环境变量


vim ~/.bashrc  --或者 ~/.bash_profile

添加：（环境变量修改见hadoop配置）
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0
export JRE_HOME=${JAVA_HOME}/jre 
#export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${JAVA_HOME}/bin:$PATH 



保存退出，输入以下命令使之立即生效。
source ~/.bashrc 

-- source令通常用于重新执行刚修改的初始化文件，
--  使之立即生效，而不必注销并重新登录。

java -version --检查

3.hadoop安装
hadoop-1.2.1-bin.tar.gz 包下载

tar xzf hadoop-1.2.1-bin.tar.gz 

--配置环境变量 hadoop安装目录/tmp/hadoop-1.2.1
vim ~/.bashrc 

#export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:${HADOOP_INSTALL}/sbin

export HADOOP_HOME=/tmp/hadoop-1.2.1
#export HADOOP_INSTALL=/tmp/hadoop-1.2.1

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

source ~/.bashrc  --更新

hadoop version --查看版本

4.修改hadoop配置文件（./conf）

--独立模式（默认 ）

--伪分布模式 修改配置文件


 --core-site.xml
<configuration> 
  <property>
    <name>fs.default.name</name>
    <value>hdfs:/localhost/</value>
  </property>
</configuration>

 --hdfs-site.xml 
 <configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
</configuration>

--mapred-site.xml
<configuration>
  <property>
   <name>mapred.job.tracker</name>
   <value>localhost:8021</value>
  </property>
</configuration>

--如果是YARN 需要配置 yarn-site.xml 
<configuration>
  <property>
   <name>yarn.resourcemanager.address</name>
   <value>localhost:8032</value>
  </property>

   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce:shuffle</value>
  </property>
</configuration>

5.实现无密码登录

root@localhost$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 
root@localhost$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh localhost --测试

6.使用hadoop前

--1.需要格式化HDFS文件系统
hadoop namenode -format

--2.启动和终止守护进程（MapReduce 1 没有YARN）
/hadoop/bin/
$>start-dfs.sh
$>start-mapred.sh

--浏览器中输入地址查看(通过本机访问虚拟机192.168.1.63 替换localhost)
http://localhost:50030/jobtracker.jsp   --50070


--3.终止
$>stop-dfs.sh
$>stop-mapred.sh

注：最后的hadoop及java环境配置

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0

export JRE_HOME=${JAVA_HOME}/jre 

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 

#export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:${HADOOP_INSTALL}/sbin
#export HADOOP_INSTALL=/tmp/hadoop-1.2.1

export HADOOP_HOME=/tmp/hadoop-1.2.1
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH