2-1_Linux下hadoop安装及配置

最新推荐文章于 2022-01-14 21:12:07 发布
最新推荐文章于 2022-01-14 21:12:07 发布
阅读量175 收藏
点赞数 1
分类专栏： Hadoop 文章标签： hadoop linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43889206/article/details/107212653
版权

Linux下hadoop安装及配置

  1. 解压
tar zxvf hadoop-2.10.0.tar.gz  -C ~/softwares

在这里插入图片描述

  1. 设置软连接
ln -s hadoop-2.10.0/ hadoop

在这里插入图片描述

  1. 配置环境变量

    HADOOP_HOME：配置Hadoop的安装目录；

    HADOOP_USER_NAME：配置以什么用户身份操作Hadoop的相关集群；
    （如果不配置此项，则Hadoop的相关命令会使用执行该命令的用户名作为访问呢Hadoop集群的用户身份。）HADOOP_USER_NAME

    PATH：配置Hadoop可执行程序的路径；
    $HADOOP_HOME/bin

vi ~/.bashrc

在这里插入图片描述

source ~/.bashrc
  1. 验证
    在这里插入图片描述
yss_cc
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
安装Hadoop2.10.1
慕诡的博客
04-22 5125
文章目录 前言 通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop 所有文件同步到其他Hadoop节点。 一、集群规划 #主机名 ‘master/hadoop1’ ‘slave01/hadoop2’ ‘slave02/hadoop3’ #启动节点 Namenode Nodemanager Nodemanager Resourcemanager
linux安装hadoop伪分布,linux Mint20(Ubuntu)伪分布安装hadoop
weixin_42181319的博客
05-26 122
linux 伪分布安装hadoop前言系统环境安装版本安装步骤配置hadoop账户安装ssh-server配置SSH免密码登录安装，配置java环境安装hadoop修改hadoop相关配置文件编辑 core-site.xml 文件编辑 hdfs-site.xml 文件配置 MapReduce 相关配置前言系统环境Linux Mint20安装版本hadoop2.10.1安装步骤配置hadoop账户创...
Linux系统中修改用户名的两种方案整理
热门推荐
程序媛想事儿
01-26 3万+
在安装系统的时候，经常会无意识的随便起个用户名，后面如果发现该用户名不好或因为环境需要须重起个用户名，经过查找资料和亲自测试发现有两种方案可选：手动修改和使用usermod等命令自动修改。方案一：手动修改各个关联用户文件以root身份登录系统文件的修改需要root权限，这里不管是原root用户登录还是普通用户切换到root下都可以，只要有修改权限就行。修改/etc/passwd这个文件中的用户名部
Ganglia 的安装与部署
我是一个博客
01-14 920
Flume 数据流监控 Ganglia 的安装与部署,以及web页面的权限问题
Ganglia的安装与部署
weixin_43558205的博客
02-04 240
Ganglia的安装与部署 一、安装依赖和环境 安装httpd服务与php sudo yum -y install httpd php 安装其他依赖 sudo yum -y install rrdtool perl-rrdtool rrdtool-devel sudo yum -y install apr-devel 安装ganglia yum -y install epel-release sudo yum -y install ganglia-gmetad sudo yum -y in
eclipse-java-linux-gtk-x86_64.tar.gz
03-18
在Linux环境下，Eclipse可以与常见的版本控制系统（如Git）无缝集成，并支持诸如IntelliJ IDEA、NetBeans等其他IDE的导入导出功能，方便开发者切换工作环境。 总之，"eclipse-java-linux-gtk-x86_64.tar.gz"是一个...
实验8+Hadoop安装、部署与应用-final.zip_depthrss_hadoop_linux
09-24
在Linux环境下进行Hadoop的安装和配置，能够更好地发挥其性能优势。 首先，我们需要准备一个Linux环境，例如Ubuntu或CentOS，因为它们是Hadoop最常见的运行平台。在Linux系统上，你需要具备基本的命令行操作能力，...
eclipse-committers-2019-03-R-linux-gtk-x86_64.tar.gz
05-03
标题中的“eclipse-committers-2019-03-R-linux-gtk-x86_64.tar.gz”是一个特定版本的Eclipse IDE的压缩包文件，发布于2019年3月，针对Linux GTK环境，适用于64位（x86_64）架构。Eclipse是一款强大的开源集成开发...
Linux下安装mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz
12-15
这里我们详细讨论如何在Linux环境下安装`mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz`这个版本的MySQL。 首先，从MySQL官方网站下载对应版本的安装包。`mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz`是一个适用于...
spark-3.0.0-bin-hadoop3.2
最新发布
02-17
在解压"spark-3.0.0-bin-hadoop3.2"后，你将找到包含Spark运行所需的所有组件，如bin目录下的可执行脚本，lib目录下的库文件，以及conf目录下的配置文件。在Windows环境下，你可以通过修改配置文件，设置环境变量，...
java访问HDFS指定HADOOP_USER_NAME仍然不生效解决方法
trnanan的博客
07-20 5907
使用java访问HDFS特别是HDFS没有开启ACLS的情况下，如果未正确指定用户，HDFS会使用当前用户进行访问，如果当前用户是administrator、root等用户可能对HDFS没有访问权限，此时我们能够想到的有以下几种解决方案 1.将hdfs目录权限改为当前用户 2.使用hdfs上面的用户启动程序 3.在程序里面指定，其中XXXXXXX代表有权限的用户名 System.setProperty("HADOOP_USER_NAME","xxxxxxxx"); 当然我们是推崇第三种方法的，但
CentOS 7+Hadoop-2.10.1的hadoop集群搭建
qq_44923545的博客
12-07 2735
Hadoop集群搭建搭建所使用的环境和软件： 搭建所使用的环境和软件： Xshell hadoop-2.10.1.tar.gz jdk-8u162-linux-x64.tar.gz CentOS-7-x86_64-DVD-2009.iso VMware-workstation-full-15.5.6-16341506 (1).exe 网盘链接 link 提取码：whs9 ...
Permission denied：System.setProperty("HADOOP_USER_NAME", "用户名")
あずにゃん梓喵的博客
04-26 9029
大数据组件使用 总文章 System.setProperty("HADOOP_USER_NAME", "用户名") 对应的是 hdfs文件系统目录下的路径：/user/用户名的文件夹名 例子1：System.setProperty("HADOOP_USER_NAME", "root") 例子2： //通过这种方式设置java客户端访问hdfs的身份：会以 gzp 的身份访问 hdfs文件系...
Linux环境下配置Hadoop环境
weixin_40165317的博客
10-24 745
Linux：centOS 7 jdk：1.8 准备： 1. 关闭三台服务器的防火墙： systemctl stop firewalld.service 开机时禁止启动防火墙： systemctl disable firewalld.service 查看防火墙状态： firewall-cmd --state 一. 配置Hadoop环境 Java的环境配置不多赘述了，可以参考...
hadoop-2.10.1完全分布式安装
jassyzhen的博客
04-07 1403
hadoop是java开发的，其运行的环境必须是java环境，在vmvare中安装CentOS7并配置网络和jdk环境中已配置好，这里需要四台机器作为集群配置 四台的主机名和IP地址及安装的服务如下表： 每台都要设置本机到主机的映射 vi /etc/hosts 在问答末尾添加 关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 关闭selinux vi /etc/selinux/c..
CentOS 7.7 安装 Hadoop 2.10.1集群
扛麻袋的少年的博客
10-29 1714
三：CentOS 7.7 安装 Hadoop 2.10.1集群 1.Hadoop集群   Hadoop集群，具体来说包含两个集群：hdfs集群和yarn集群。两者逻辑上分离，但物理上常在一起。 hdfs集群:   负责海量数据的存储工作。集群中的角色主要有 NameNode、DataNode、SecondaryDataNode。 yarn集群:   负责海量数据运算时的资源调度。集群中的角色主要有ResourceManager、NodeManager。 各个角色职责：
Ubuntu18.04下hadoop2.10安装详细步骤（亲测有效，可供参考）
zhang_rui_rui的博客
11-23 2843
** 安装详细步骤 ** 首先给出安装过程需要用到的安装包：云盘连接 提取码：rfxs 解压过后里面有四个文件： 下面给出详细安装步骤，博主是在虚拟机(Ubuntn18.04)上安装的，注意：需要将文中的xxx换成自己的目录即可。 一、首先需要安装jdk环境： 1、更新Ubuntu源 sudo apt-get update 2、将JDK压缩包(jdk-8u251-linux-x64.tar.gz)解压到Ubuntu系统中 /usr/local/ 中 sudo tar -zxvf jdk-8u251-li
Ganglia的安装、配置、运行
xhb306286215的博客
05-24 1万+
一、安装ganglia: 网上示例很多，对该部分的翻译后续再跟进。 二、配置ganglia: 默认的配置仅仅能使ganglia工作，如果了解比默认配置多的配置项，能帮助你更好的使用ganglia做监控部署。 （1）gmod: 安装在每个想监控的节点上，与操作系统交互获取度量信息（cpu使用率、内存、网络以及其他可通过自定义拓展的度量）并与集群内其他节点共享。每个在集群内的gm
HDFS常用命令
Z645817的博客
08-06 5331
HDFS常用命令，虽然现在流行很多hadoop插件，直接或间接操作HDFS，但是熟悉HDFS原生操作命令也是有好处的。HDFS命令和Linux系统操作命令有很多相似之处，对熟悉Linux系统操作的人来说学习很简单，所以大数据入门首先学习Linux系统。hadoop fs 和hdfs dfs 两种命令都可以操作执行。 #hdfs dfs -help [com] 　　　　　　　　　　　　　　　　　　...
Hadoop安装与配置.docx
06-06
实验环境为Ubuntu 20.04操作系统，JDK版本为jdk1.8.0_251，使用Putty 0.74和FileZilla Client 3.50.0，并安装Hadoop Release 2.10.1在Linux虚拟机下完成实验。 在安装准备阶段，首先创建了hadoop用户，并更新了APT...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值