安装hadoop，并配置hue

于 2023-10-09 11:33:34 发布
阅读量287 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013869488/article/details/133697924
版权

0、说明

对于大数据学习的初始阶段，我也曾尝试搭建相应的集群环境。通过搭建环境了解组件的一些功能、配置、原理。
在实际学习过程中，我更多的还是使用docker来快速搭建环境。
这里记录一下我搭建hadoop的过程。

1、下载hadoop

下载地址：Apache Hadoop

wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

# 解压
tar -zxvf hadoop-2.10.1.tar.gz

# 复制到 /usr/hadoop/目录下
# sudo mkdir /usr/hadoop/
# cp -r hadoop-2.10.1 /usr/hadoop/

# 添加HADOOP_HOME
sudo /etc/profile
# 添加如下内容,并保存退出
#HADOOP_HOME
export HADOOP_HOME=/home/airwalk/bigdata/soft/hadoop-2.10.1
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH


# 使生效
source /etc/profile

# 测试
hdfs version

#结果如下
airwalk@svr43:/usr/hadoop/hadoop-2.10.1$ hdfs  version
Hadoop 2.10.1
Subversion https://github.com/apache/hadoop -r 1827467c9a56f133025f28557bfc2c562d78e816
Compiled by centos on 2020-09-14T13:17Z
Compiled with protoc 2.5.0
From source with checksum 3114edef868f1f3824e7d0f68be03650
This command was run using /home/airwalk/bigdata/soft/hadoop-2.10.1/share/hadoop/common/hadoop-common-2.10.1.jar


# 测试
cd bigdata/soft/hadoop-2.10.1
mkdir input
cp etc/hadoop/* input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar grep input/ output '[a-z.]+'

至此，在一台机器上的hadoop安装成功

2、配置

svr43server42server37
hdfsnamenode,datanodedatanodeSecondaryNamenode,datanode
yarnnodeManagerresourceManager,nodeManagernodeManager

0：免密登录配置

  • 在svr43机器上生成密钥（hdfs的namenode节点）
cd ~/.ssh
## 下面一直回车即可
ssh-keygen -t rsa

## 然后在该目录下执行
ssh-copy-id server42
ssh-copy-id server37
# 自己也需要免密登录自己
ssh-copy-id svr43
  • 在 server42机器上生成密钥，免密登录其它节点，因为该节点是yarn 的resourceManger
cd ~/.ssh
## 下面一直回车即可
ssh-keygen -t rsa

## 然后在该目录下执行
# 自己也需要免密登录自己
ssh-copy-id server42
ssh-copy-id server37
ssh-copy-id svr43

!! 注意，出现如下异常

airwalk@server42:~/.ssh$ ssh svr43
Warning: the ECDSA host key for 'svr43' differs from the key for the IP address '192.168.0.43'
Offending key for IP in /home/airwalk/.ssh/known_hosts:3
Matching host key in /home/airwalk/.ssh/known_hosts:11
Are you sure you want to continue connecting (yes/no)? yes
Welcome to Ubuntu 16.04.6 LTS (GNU/Linux 4.4.0-142-generic x86_64)

# 解决方法
ssh-keygen -R 192.168.0.43
  • 在svr43机器上生成root密钥（hdfs的namenode节点）
# 切换到root账户下
sudo su root
cd /root/.ssh
ssh-keygen -t rsa
ssh-copy-id server42
ssh-copy-id server37
ssh-copy-id svr43

1：配置core-site.xml

临时文件的位置,注意不能放在太小的磁盘里，这里使用的是如下目录

/home/airwalk/bigdata/soft/hadoop-2.10.1/data/tmp

<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.0.43:9000</value>
<!-- 这里直接使用配置ip的方式  -->
#<value>hdfs://svr43:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/airwalk/bigdata/soft/hadoop-2.10.1/data/tmp</value>
</property>

2：hdfs的配置文件

配置hadoop-env.sh

echo $JAVA_HOME
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

配置hdfs-site.xml

因为集群时3个，所以这里改为副本为3

    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!-- 指定hadoop辅助namenode节点主机配置 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>server37:50090</value>
    </property>

3：yarn配置

配置yarn-env.sh

vim yarn-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

配置yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!-- 指定hadoop辅助namenode节点主机配置 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <!-- 这里直接使用配置ip的方式  -->
    <value>192.168.0.42</value>
        <!-- <value>server42</value> -->
</property>

4：MapReduce配置

配置mapred-env.sh

vim yarn-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

配置mapred-site.xml


    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

3、启动

  • 在namenode节点上，进行格式化操作
hdfs namenode -format
  • 启动namenode
cd sbin
./hadoop-daemon.sh start namenode
./sbin/hadoop-daemon.sh start namenode
  • 启动datanode
# 三台机器均启动
./sbin/hadoop-daemon.sh start datanode
  • 退出
./sbin/hadoop-daemon.sh stop namenode
# 三台机器均退出
./sbin/hadoop-daemon.sh stop datanode

4、集群启动

1：配置slaves, 所有节点都要修改

cd /home/airwalk/bigdata/soft/hadoop-2.10.1/etc/hadoop
vim salves
# 添加从主机的名字，不允许有空格和空行
svr43
server42
server37

2: 启动hdfs集群

可以自动启动集群中的所有datanode和namenode

# 在hdfs的namenode节点上执行下面的命令
./sbin/start-dfs.sh

3：启动yarn

# 需要再resourceManger节点上进行处理(server42)
./sbin/start-yarn.sh

starting yarn daemons
resourcemanager running as process 10206. Stop it first.
server42: nodemanager running as process 10550. Stop it first.
svr43: starting nodemanager, logging to /home/airwalk/bigdata/soft/hadoop-2.10.1/logs/yarn-airwalk-nodemanager-svr43.out
server37: starting nodemanager, logging to /home/airwalk/bigdata/soft/hadoop-2.10.1/logs/yarn-airwalk-nodemanager-server37.out

5、查看

namenode 节点上的链接

http://192.168.0.43:50070/

在这里插入图片描述

6、配置hue

Hadoop配置文件修改

hdfs-site.xml

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

core-site.html

<property>
  <name>hadoop.proxyuser.airwalk.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.airwalk.groups</name>
  <value>*</value>
</property>

<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>

httpfs-site.xml配置

    <!-- Hue HttpFS proxy airwalk setting -->
    <property>
    <name>httpfs.proxyuser.airwalk.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>httpfs.proxyuser.airwalk.groups</name>
    <value>*</value>
    </property>

HUE配置文件修改

[[hdfs_clusters]] [[[default]]]

fs_defaultfs=hdfs://mycluster

webhdfs_url=http://node1:50070/webhdfs/v1

hadoop_bin=/usr/hadoop-2.5.1/bin

hadoop_conf_dir=/usr/hadoop-2.5.1/etc/hadoop

启动hdfs、重启hue

解决方法：

1、 关闭hdfs的权限验证

hdfs-site.xml

<property>
 <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>


 docker run -tid --name hue88  -p 8888:8888  -v /home/airwalk/bigdata/soft/hadoop-2.10.1/etc/hadoop:/etc/hadoop  gethue/hue:latest

 docker cp hue.ini hue88:/usr/share/hue/desktop/conf/
 
 docker restart hue88
 
 docker exec -it --user root <container id> /bin/bash

sudo apt-get install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel rsync


# 作者：一拳超疼
# 链接：https://www.jianshu.com/p/a80ec32afb27
# 来源：简书



# 参考文档
[Install :: Hue SQL Assistant Documentation (gethue.com)](https://docs.gethue.com/administrator/installation/install/)
# 安装完所以的依赖后，再
# /home/airwalk/bigdata/soft/hue 是想要安装的目录
sudo PREFIX=/home/airwalk/bigdata/soft/hue make install
  • python3.8 安装
https://blog.csdn.net/qq_39779233/article/details/106875184
  • 安装npm
sudo apt install npm
npm install --unsafe-perm=true --allow-root
  • 安装node
# 选择源，及版本号，这里是10.x,其它版本只需要更改为一些如：12.x，注意后面就是一个x
curl -sL https://deb.nodesource.com/setup_10.x | sudo -E bash -

# 安装相应的node
sudo apt-get install -y nodejs

# 查看
node --version
  • 问题
# gyp ERR! stack Error: EACCES: permission denied, mkdir问题解决方案
# npm 有些命令不允许在root用户下执行，会自动从root用户切换到普通用户，这里设置一下，就可以在当前用户下执行

sudo npm i --unsafe-perm

# 然后在root权限下执行如下命令
PREFIX=/home/airwalk/bigdata/soft/hue make install

编译安装成功！！！

欧阳小伙
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hue的环境搭建
08-09
hue的环境搭建，主要是用来管理大数据配置平台 Hue环境的搭建 下载链接：https://github.com/cloudera/hue/tree/branch-3.11 参考文档：http://blog.csdn.net/lsshlsw/article/details/47865601 环境准备 yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel
Hue的安装部署
qq_40721801的博客
12-16 594
Hue的安装部署Hue简介Hue安装下载github上的文件进行编译启动HueHadoop搭建 Hue简介 Hue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。 HUE官方地址htt...
hue 环境搭建
热门推荐
大数据记录
12-06 1万+
​​​​​​1.上传压缩包 rz ​​​​​​2.解压到制定的目录 tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/ 3.联网安装需要编译依赖的包 yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ kr...
Hue搭建
I_very_vegetable的博客
01-07 525
Hue概述 Hue是开源的Apache Hadoop UI系统（HUE=HadoopUser Experience），最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。Hue所支持的功能特性集合：1.认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义更改
大数据Hadoop之——Hadoop图形化管理系统Hue（Hue环境部署）
匠人精神，持之以恒！
04-19 6811
文章目录 一、概述 Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。 Hue官方网站：https://gethue.com/ 官方安装文档：https://docs.gethue.com/administrato
hue搭建入门
cainno的博客
05-14 995
hue搭建使用详解 一、基本介绍 1、hue的基本介绍 HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。 通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏
【大数据入门核心技术-Hue】（二）Hue安装部署
08-28 285
这里选用docker方式进行安装。通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行交互，来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。访问HDFS和文件浏览 2）通过web调试和开发hive以及数据结果展示 3）查询solr和结果展示，报表生成 4）通过web调试和开发impala交互式SQL Query 5）spark调试和开发6）Pig开发和调试
Hadoop之Hue
fang19970714的博客
05-23 960
Hadoop User Experience 一个图形化界面，提供一个Web界面可以供我们查看执行我们其他的框架 Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。简单就理解就是hadoop可视化工具 Hue集成H
hue安装与配置
warrah 南极狼
02-22 3880
hue-3.12.0官方下载地址 hue安装与部署 hue安装与部署官方说明 上面是其他人写配置，我这里就不用赘述，另外我实际操作过程中做一些补充 groupadd hue useradd -g hue hue passwd hadoop # 设置hadoop的密码，姑且默认为000000 chown -R hue:hue hue-3.12.0 1 hadoop依赖配置 2 hue
Hadoop接口与SnappyData数据处理调度配置.docx
07-02
本文档简单阐述了SnappyData做为数据仓库，结合hue及hadoop大数据平台，配置相关调度及简单ssh命令语法。
hadoopi：该项目包含配置文件和厨师代码，以将五个Raspberry Pi 3s的集群配置为运行Hue的工作Hadoop
02-05
Hadoopi-Raspberry Pi Hadoop集群该项目包含配置文件和厨师代码，用于将五个Raspberry Pi 3s的集群配置为运行Hue的工作Hadoop。 该视频显示了如何使用此代码来设置和配置集群，但是这是使用“ 1.0”标签配置的，该...
hue使用方法
08-01
叫你如何使用hue，包括安装，编译，配置hive，oozie，mysql，hadoop
Apache Hue 2小时轻松搞定大数据可视化终端视频教程
10-21
2.Hadoop配置代理用户 3.Hue集成HDFS实战案例 4.Hue集成YARN实战案例 5.Hue集成JobHistoryServer实战案例 6.Hue配置集成HiveServer2 7.Hue集成Hive实战案例 第四章：Hue与RDBMS、Oozie、Impala集成 1.Hue...
Cloudera Hadoop 5&Hadoop高阶管理及调优课程
06-06
Cloudera Hadoop 5&Hadoop高阶管理及调优课程，完整版，提供课件...2、搭建本地Yum部署CDH5的重要组件和优化配置 3、Impala、Oozie和Hue的部署、使用操作及调优 4、Hadoop安全认证及授权管理 5、Hadoop各组件性能调优
Hue编译安装
weixin_42454473的博客
01-31 495
Hue官方网站：https://gethue.com/ HUE官方用户手册：https://docs.gethue.com/ 官方安装文档：https://docs.gethue.com/administrator/installation/install/ HUE下载地址：https://docs.gethue.com/releases/ Hue的安装并不是那么简单，官方并没有编译好的软件包，需要从github上下载源码、安装依赖、编译安装。以下详细讲解Hue下载、编译、安装的操作过程。 安装Hue的节点
Hue安装配置
漫天雪_昆仑巅
06-28 813
    Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。很早以前就听说过Hue的便利与强大，一直没能亲自...
萌新篇 —从零开始搭建自己的大数据环境-----hue篇
qq_52137951的博客
04-21 499
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、hue简介二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考
教小白白Hue安装部署
搞数据
09-16 1644
大数据软件生涩的命令行和蹩脚的可视化界面，让许多孩子望而生畏通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行交互，来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。
进击大数据系列（十五）Hadoop 图形化管理系统 Hue
民工哥的博客
06-26 573
点击下方名片，设为星标！回复“1024”获取2TB学习资源！前面介绍了Hadoop 数据仓库 Hive、计算引擎 Spark、实时计算流计算引擎Flink、数据库 Hbase、任务调度器 Oozie、数据同步工具 Sqoop、分布式采集系统 Flume、数据分析引擎 Apache Pig 等相关的知识点，今天我将详细的为大家介绍 大数据 Hadoop 图形化管理系统 Hue 相关知识，希望大家能...
windows安装hue
最新发布
08-30
安装Hue（Hadoop User Experience）在Windows上可以按照以下步骤进行： 1. 首先，确保你的系统已经安装了Python 2.7版本和Java Development Kit（JDK）。 2. 下载Hue的压缩包。你可以从Hue官方网站或者源代码仓库下载最新版本的压缩包。 3. 解压缩下载的压缩包到一个目录中，比如 `C:\hue`。 4. 打开命令提示符（CMD）并进入到解压缩目录中，比如 `C:\hue`。 5. 运行以下命令以安装依赖项： ``` python2.7 get-pip.py pip2.7 install Django==1.6.11 pip2.7 install pytz ``` 6. 接下来，运行以下命令以生成Hue的配置文件： ``` cd desktop/core make apps ``` 7. 运行Hue服务器： ``` cd .. ./build/env/bin/hue runserver ``` 8. 打开浏览器并访问 `http://localhost:8000`，你应该能够看到Hue的登录页面。 这样，你就成功在Windows上安装了Hue。请注意，这只是一个简要的安装指南，具体步骤可能因版本和环境而有所不同。如果遇到任何问题，建议参考官方文档或相关资源进行更详细的安装说明。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

欧阳小伙

您的打赏是我创作的：最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值