Ubuntu Linux创建Hadoop用户

# 1. 创建hadoop用户,并使用/bin/bash作为shell
sudo useradd -m hadoop -s /bin/bash

# 2. 为hadoop用户设置密码,密码输入两次
sudo passwd hadoop         

# 3. 为hadoop用户增加管理员权限,方便部署
sudo adduser hadoop sudo       

# 4. 将当前用户切换到hadoop用户
su - hadoop             

# 5. 更新hadoop用户的apt,方便后续软件安装
sudo apt-get update

### 安装 Hadoop 的准备工作 在 Ubuntu 系统中安装 Hadoop 需要完成一系列配置和操作。以下是详细的说明: #### 1. 准备工作环境 为了确保系统的稳定性,建议先更新系统软件包列表升级现有软件包: ```bash sudo apt-get update && sudo apt-get upgrade -y ``` 如果需要通过 FTP 传输 JDK 和 Hadoop 压缩包,则可以按照以下方法安装 `vsftpd` 解决可能的错误情况[^4]: ```bash sudo apt-get install vsftpd ``` 如果遇到安装失败或 404 错误,可以通过修改 `/etc/apt/sources.list` 文件来解决问题。 --- #### 2. 下载解压 Hadoop 软件包 假设已经下载了 Hadoop 的压缩包(如 `hadoop.master.tar.gz`),将其放置于用户的家目录下,执行以下命令进行解压和权限设置[^3]: ```bash cd ~ sudo rm -r /usr/local/hadoop || true # 删除旧版 (如果存在) sudo tar -zxf hadoop.master.tar.gz -C /usr/local/ sudo chown -R $USER:$USER /usr/local/hadoop ``` 上述命令会将 Hadoop 解压至 `/usr/local/hadoop` 目录,赋予当前用户对该路径的操作权限。 --- #### 3. 修改 Hadoop 配置文件 进入 Hadoop 的配置文件夹位置[^2]: ```bash cd /usr/local/hadoop/etc/hadoop/ ``` 编辑核心配置文件 `core-site.xml` 来指定 NameNode 地址以及默认存储路径: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 对于高版本的 Hadoop(如 3.x 版本),Web UI 默认监听端口已更改为 9870[^5]。因此,在浏览器中访问 Web 接口时应使用该端口号。 接着,编辑 `hdfs-site.xml` 添加副本因子和其他参数: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 最后,根据需求调整其他配置项(如 MapReduce 或 YARN 参数)。 --- #### 4. 启动 HDFS 和测试服务 初始化 HDFS 文件系统: ```bash hdfs namenode -format ``` 启动 Hadoop 服务: ```bash start-dfs.sh jps ``` 运行最后一个命令验证各个守护进程是否正常启动(如 `NameNode`, `DataNode`)。如果没有问题,可以在浏览器中输入地址 `http://localhost:9870` 查看集群状态页面。 --- #### 5. 测试 Hadoop 功能 创建一个简单的文本文件作为数据源,上传到 HDFS 中: ```bash echo "Test data for Hadoop." > test.txt hdfs dfs -mkdir /input hdfs dfs -put test.txt /input/test.txt ``` 运行 WordCount 示例程序检验功能是否正常: ```bash hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output hdfs dfs -cat /output/part-r-00000 ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值