Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】

已于 2024-01-25 19:21:45 修改
阅读量415 收藏 1
点赞数 1
分类专栏： ::: :: : Hadoop : :: ::: 文章标签： 大数据 hadoop linux
于 2021-07-27 17:56:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanzhengme/article/details/119149129
版权

我使用的安装文件是 hadoop-3.1.3.tar.gz ，以下内容均以此版本进行说明。

1.前置条件

Hadoop 的运行依赖 jdk 我安装的 openjdk11【这里有个很深的坑，随后会说明】。

[root@tcloud ~]# java -version
openjdk version "11" 2018-09-25
OpenJDK Runtime Environment 18.9 (build 11+28)
OpenJDK 64-Bit Server VM 18.9 (build 11+28, mixed mode)

2.配置免密登录

Hadoop 组件之间需要基于 SSH 进行通讯。

2.1

了解本专栏 订阅专栏 解锁全文 超级会员免费看
シ風
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
hadoop3.1环境搭建
04-14
hadoop3.1支持GPU,Linux, Windows, 了不起的系统 也是最新的技术， 看项目网站更全面：http://hadoop.apache.org/docs/current/index.html
Ubantu安装Hadoop3.1.3单机、伪分布式
huangdxian的博客
10-14 585
一安装完ubantu后，下载hadoop进行安装 1.默认环境 Ubuntu 18.04 64位 作为系统环境（或者Ubuntu 14.04，Ubuntu16.04 也行，32位、64位均可） hadoop3.1.3.tar.gz文件下载地址传送门 可以采用迅雷下载，速度比较快 2.准备工作 创建一个 名字为“hadoop”的用户，并使用 /bin/bash 作为 shell sudo useradd -m hadoop -s /bin/bash 使用如下命令设置密码，可简单设置为 123456，按提示输
hadoop3.1.3安装
最新发布
qq_41953856的博客
05-29 710
hadoop3.1.3集群安装
Centos7 单机版搭建Hadoop3.1.2
qq_37497275的博客
10-08 787
1.我在vmware里面安装的centos7 2.搭建Hadoop单机 创建一个hadoop用户 创建好了hadoop用户，如果你只是测试其实用root也可以，主要是害怕root删除其他的一些东西 创建hadoop文件目录 mkdir /usr/local/hadoop/tmp mkdir /usr/local/hadoop/hdfs/name mkdir /usr/local/h...
centos 7.9 安装hadoop3.3.1
01-11 806
上传hadoop包到master 节点 解压 hadoop 包 tar -zxvf hadoop-3.3.1.tar.gz 配置hadoop 环境变量 vim /etc/profile source /etc/profile hadoop version 查看是否配置成功 添加用户 adduser hadoop #(首字母一定要小写) 更新密码 passwd hadoop 添加到组 usermod -a -G hadoop hadoop 给hadoo...
hadoop-3.1.3.tar.gz
12-20
Hadoop是Apache的一款开源框架，使用java语言编写，可以通过编写简单的程序来实现大规模数据集合的分布式计算。工作在Hadoop框架上的应用可以工作在分布式存储和计算机集群计算的环境上面。 Hadoop具有高扩展性，其集群能够从单台机器扩展到数千台机器。 Hadoop 采用的是Apache v2协议，Hadoop基于Google发布的MapReduce论文实现，并且应用了函数式编程的思想。
手把手教你在腾讯云上搭建hadoop3.x伪集群的方法
09-14
首先，我们需要确保我们的系统环境是CentOS Linux release 7.5.1804 (Core)。伪集群允许我们在单个节点上模拟多节点集群的行为，这对于开发和测试Hadoop应用程序非常有用。 1. **环境准备** - 创建必要的文件夹，...
Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件
03-21
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
spark--bin-hadoop3-without-hive.tgz
09-17
总的来说，"spark--bin-hadoop3-without-hive.tgz"提供了一个在CentOS 8和Hadoop 3.1.3环境下运行的Spark实例，不包含Hive支持，适合那些需要高效大数据处理而不依赖Hive功能的用户。要充分利用这个版本，理解Spark...
Centos 升级linux内核版本
热门推荐
weixin_40209911的博客
09-14 1万+
1. 从官网下载我们需要升级的内核文件并解压 下载内核5.11的源码并解压，源码路径Index of /pub/linux/kernel/v5.x/，解压：tar -zxvflinux-5.11.tar.gz 解压到磁盘空间较大的分区中，对于v5.11版本的内核编译，建议至少要有10G以上的剩余磁盘空间，否则编译到一半发现磁盘空间不够。。。 2. 复制红帽官方的kernel编译配置文件并更改名字 进入解压后的目录，参考下列命令执行： cp /boot/config-3.10.0-1127..
Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】（附：集群启动&停止Shell脚本）
シ風
07-29 1183
说明 搭建集群首先要进行集群的规划【哪台做主节点，哪些做从节点】，这里简单搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。 集群搭建跟单机版本的差别只体现在配置文件上，然后就是将文件同步给其他集群服务器。 1.前置条件【每台服务器】 Hadoop 的运行依赖 jdk 我原本安装的是 openjdk11【由于yarn报错，换回了jdk8】。 [
CentOS Linux release 7.5升级OpenSSH版本至9.0p1
CrazyBaymax的博客
09-15 1441
本次升级因是生产环境的服务器，所以服务器是不能连接外网的，而且整个升级过程中是通过访问堡垒机然后SSH连接服务器完成升级的，不允许绕过堡垒机使用Telnet连接做保障，所以升级之前先对服务器做一个快照，防止升级失败后连不上服务器，因此升级过程中万分小心，一旦失败就要通过快照还原，而且还不好找到原因，只能重新来过，十分麻烦）（我在升级过程中，在走到下边 OpenSSL安装的时候，make命令正常， make test 一步的时候报错，因此上传镜像，配置了一下本地yum源
Linux系统centos中sudo命令不能用----提升权限
年少無知，稳步前行。
10-13 585
1.切换到root用户 su ，如果想要切换回去 exit 2.添加sudo文件的写权限,命令是: chmod u+w /etc/sudoers 3.编辑sudoers文件 vi /etc/sudoers 找到这行 root ALL=(ALL) ALL,在他下面添加xxx ALL=(ALL) ALL (这里的xxx是你的用户名) ps:这里说下你可以sudoers添加下面四行中任意一条 youuser ALL=(ALL) ALL %youuser...
Linux（2）系统基本操作-Mysql数据库原生安装_Mysql常用命令_安装和使用过程常用问题
JasonHuan的博客
03-26 1397
摘要： 本文概述了Linux系统基本操作，包括查询CentOS版本、图形界面与命令行模式的切换。重点介绍了Linux系统下Mysql数据库的原生安装过程，涵盖了常用命令如启动、停止、查询状态等。同时，针对安装和使用过程中可能遇到的常见问题，如权限不足、配置错误等，提供了相应的解决方法。通过本文，读者能够掌握Linux系统基本操作技能，并顺利在Linux环境下安装、使用Mysql数据库，有效处理常见问题，提升数据库管理水平。
Hadoop3.1.3完全分布式安装配置
2301_76741492的博客
06-04 5097
6.三个节点设置静态ip（之前博客有发这里不再进行演示）。同样的方式创建bigdata03节点这里不再进行演示。
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
大胆刁民的博客
03-16 1万+
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
linux安装Hadoop-3.1.3-单机/伪分布（图文详细版）
qq_46138492的博客
01-06 1612
linux安装Hadoop-3.1.3-单机/伪分布
Hadoop 3.1.3 详细安装教程
fwdwqdwq的博客
08-16 1628
1）如果集群是第一次启动，需要在hadoop001节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）（3）在配置了ResourceManager的节点（hadoop002）启动YARN。（3) 修改window的主机映射文件（hosts文件）（2）配置主机名称映射，打开/etc/hosts。配置yarn-site.xml。...
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount input output
06-06
其中，hadoop是启动Hadoop的命令，jar指定要运行的jar包是hadoop-mapreduce-examples-3.1.3.jar，wordcount是要运行的程序名，input是输入文件路径，output是输出文件路径。这个命令的作用是将输入文件中单词出现的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

シ風

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值