Hadoop安装(二)---单机模式


单机模式(Standalone Mode)是指Hadoop运行在一台主机上,按默认配置以非分布式模式运行一个独立的Java进程。单机模式的特点是:没有分布式文件系统,直接在本地操作系统的文件系统读/写;不需要加载任何Hadoop的守护进程。单机模式是Hadoop的默认模式,一般用于本地MapReduce程序的调试,MapReduce处理的是本地Linux的文件数据。

下表为安装Hadoop单机模式所需要配置的文件、属性名称、属性值及含义。

文件名称属性名称属性值含义
hadoop-env.shJAVA_HOME/home/用户名/jdkJAVA_HOME

1、安装前准备

参考

2、设置Hadoop配置文件

进入Hadoop配置文件所在目录,修改hadoop-env.sh文件。

$ cd ~/hadoop/etc/hadoop
$ vi hadoop-env.sh

找到export JAVA_HOME一行,把行首的#去掉,并按实际修改JAVA_HOME的值。注意:JAVA_HOME=/home/hadoop/jdk,其中的hadoop为用户名,注意要按实际修改。
Alt

3、测试Hadoop

创建文件并输入文件内容,

$ mkdir  ~/input
$ cd ~/input
$ vi data.txt

往data.txt写入如下内容,

Hello World
Hello Hadoop

运行MapReduce WordCount例子(注意:output不用自己建,系统会自动新建),

$ cd ~/hadoop/share/hadoop/mapreduce
$ hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input/data.txt  ~/output

查看结果。

$ cd ~/output
$ ll
$ cat part-r-00000

Alt

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop单机模式安装部署可以按照以下步骤进行: 1. 创建用户:`sudo useradd -m hadoop -s /bin/bash`,设置密码:`sudo passwd hadoop`,并将用户添加到sudo组:`sudo adduser hadoop sudo`。 2. 切换到hadoop用户:`sudo su - hadoop`。 3. 更新资源库:`sudo apt-get update`。 4. 安装vim:`sudo apt-get install vim`。 5. 安装ssh:`sudo apt-get install openssh-server`。然后生成SSH密钥:`cd ~/.ssh/`,`ssh-keygen -t rsa`,并将公钥添加到授权文件:`cat id_rsa.pub >> authorized_keys`。 6. 安装Java环境:`sudo apt-get install openjdk-8-jre openjdk-8-jdk`。编辑.bashrc文件:`vim ~/.bashrc`,在文件第一行添加以下内容: ``` export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native" export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native ``` 然后运行`source ~/.bashrc`使变量生效。 7. 安装hadoop:切换到/usr/local目录:`cd /usr/local`,解压下载的hadoop文件:`sudo tar -zxvf ./hadoop-2.10.1.tar.gz`,将解压后的文件夹重命名为hadoop:`sudo mv ./hadoop-2.10.1/ ./hadoop`,并将权限设置为hadoop用户:`sudo chown -R hadoop ./hadoop`。 8. 修改hadoop配置文件:`vim /usr/local/hadoop/etc/hadoop/core-site.xml`,修改以下部分: ``` <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 9. 启动Hadoop:切换到hadoop目录:`cd /usr/local/hadoop`,格式化NameNode:`bin/hdfs namenode -format`,然后启动Hadoop:`sbin/start-dfs.sh`。 10. 检查Hadoop是否成功启动:运行`jps`命令,应该能看到NameNode、DataNode和SecondaryNameNode这三个进程。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值