基于ARM64银河麒麟V4编译安装Ambari2.6的一种方法

最新推荐文章于 2023-09-29 12:01:35 发布
最新推荐文章于 2023-09-29 12:01:35 发布
阅读量4.9k 收藏 3
点赞数
分类专栏： arm架构适配 银河麒麟4.0.2 Hadoop 文章标签： hadoop ambari arm kylin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YYC1503/article/details/105871159
版权

引言

目前市场上主流的大数据平台以CDH和HDP两种为主，而两种大数据平台都是基于Apache原生态版本改进的，HDP版本的更贴近于原生态版本，开源率100%，基本上支持所有的开源大数据组件。CDH版本大数据平台经过二次开发与原生态版本有较大差异，且在2018年已经闭源，但市场占有率较大。以上两种大数据平台都仅支持x86架构，早在几年期RedHat联手cloudera公司发表声明将推出64位ARM版，据悉目前Centos7.5以上版本系统已经支持arm架构，cloudera公司产品未见推出arm机构大数据平台，且Cloudera和Hortonworks合并后的CDH和HDP版本都无法下载，猜测开始进行收费。目前Cloudera官方最新大数据平台CDP是CDH与HDP两个产品合并后的新产品，之前有咨询官方客服，收到回复最新版HDP支持arm架构，但无法下载。

以下为各个版本支持架构

产品支持架构是否收费
CDHx866.3版本后需从官方下载
HDPx86、Power 8、Power 9官方最新3.1.5，githup最新2.7.5
HD（华为）x86、arm（已知）是
TDH（星环）x86、arm（已知）是
CRH（红象云腾）x86、arm（已知）是

编译环境准备

下面开始基于arm架构编译Ambari
参考地址http://www.360doc.com/content/19/1027/03/40492717_869278661.shtml

  1. 安装基础环境
gcc , c++ ,python-dev, git , bower, brunch,gulp
  1. 安装python-dev
apt-get install python-dev
  1. 安装Phantomjs
apt-get isntall phantomjs

修改配置 /usr/bin/phantomjs

#!/bin/sh
LD_LIBRARY_PATH="/usr/lib/phantomjs:$LD_LIBRARY_PATH"
export LD_LIBRARY_PATH
export QT_QPA_PLATFORM=offscreen
export QT_QPA_FONTDIR=/usr/share/fonts
exec "/usr/lib/phantomjs/phantomjs" "$@"

检查版本

phantomjs -v
2.1.1
  1. 编译安装leveldb
wget http://pkgs.fedoraproject.org/repo/pkgs/snappy/snappy-1.0.5.tar.gz/4c0af044e654f5983f4acbf00d1ac236/snappy-1.0.5.tar.gz

tar -xf snappy-1.0.5.tar.gz ; cd snappy-1.0.5

./configure --disable-shared --with-pic --host   aarch64-unknown-linux --build arrch64-unknown-linux

make -j4

在这里插入图片描述

  1. 编译leveldb
git clone https://github.com/google/leveldb.git
sudo apt-get install cmake
cd leveldb 
cmake CMakeLists.txt
make

生成：leveldb.a文件

  1. 安装leveldbjni
https://opsx.alibaba.com/mirror/search?q=leveldbjni&lang=zh-CN
阿里源下载leveldbjni-javadoc-1.8-19.fc29.noarch.rpm
通过alien 转换为deb包
Dpkg 解压安装
  1. 编译安装frontend-maven-plugin
git clone   https://github.com/eirslett/frontend-maven-plugin.git
cd frontend-maven-plugin
git checkout -b 0.0.16 frontend-plugins-0.0.16
mvn clean -DskipTests install -U

编译ambari源码

  1. 下载ambari源码
wget http://archive.apache.org/dist/ambari/ambari-2.6.1/apache-ambari-2.6.1-src.tar.gz
tar xfvz apache-ambari-2.6.1-src.tar.gz
cd apache-ambari-2.6.1-s
  1. 按照网页对文件进行修改
http://www.360doc.com/content/19/1027/03/40492717_869278661.shtml
  1. 修改完毕后进行编译(编译部分为ambari-metrics)
mvn versions:set -DnewVersion=2.6.1.0.0
pushd ambari-metrics
mvn clean install -U
popd

执行成功后如图：（只要Ambari Metrics编过即可）
在这里插入图片描述
当前目录为(编译部分为ambari整体)：
/server/apache-ambari-2.6.1-src
执行：

mvn -B clean install package rpm:rpm -DskipTests   -Dpython.ver="python >= 2.6" -Preplaceurl   -Drat.ignoreErrors=true -U

如果报错：

[INFO] Compiling 114 source files to /server/apache-ambari-2.6.1-src/ambari-metrics/ambari-metrics-timelineservice/target/classes
编译器 (1.8.0_91) 中出现异常错误。如果在 Bug Database (http://bugs.java.com) 中没有找到该错误, 请通过 Java Bug 报告页 (http://bugreport.java.com) 建立该 Java 编译器 Bug。请在报告中附上您的程序和以下诊断信息。谢谢。
java.lang.NullPointerException
	at com.sun.tools.javac.comp.Lower.visitSelect(Lower.java:3837)
	at com.sun.tools.javac.tree.JCTree$JCFieldAccess.accept(JCTree.java:1897)
	at com.sun.tools.javac.tree.TreeTranslator.translate(TreeTranslator.java:58)
	at com.sun.tools.javac.comp.Lower.translate(Lower.java:2371)
	at com.sun.tools.javac.comp.Lower.translate(Lower.java:2390)
	at com.sun.tools.javac.comp.Lower.visitAssign(Lower.java:3202)
	at com.sun.tools.javac.tree.JCTree$JCAssign.accept(JCTree.java:1686)

解决方法：

第二次执行时,该位置编译成功又出问题，报错和上面一样，需要手动删除 /server/apache-ambari-2.6.1-src/ambari-metrics/ambari-metrics-timelineservice/target

在这里插入图片描述

使用http服务，搭建本地源

apt-get isntall npm
npm install http-server -g
apt install nodejs-legacy
/usr/local/bin/http-server

在这里插入图片描述

安装ambari-server和agent

启动agent报错

  1. 报错1
    在这里插入图片描述
    解决方法：
    vim /var/lib/ambari-agent/bin/ambari-agent 修改
export PYTHON=/usr/bin/python
将buildNumber修改为VERSION

vim /etc/init.d/ambari-server 添加
在这里插入图片描述

  1. 报错2
    在这里插入图片描述
    解决
cp -r /usr/lib/ambari-server/lib/resource_management/ /usr/lib/ambari-agent/lib/
cp -r /usr/lib/ambari-server/lib/resource_management/ /usr/lib/python2.6/site-packages/
cp -r /usr/lib/ambari-server/lib/ambari_jinja2/ /usr/lib/python2.6/site-packages/

server启动报错

vim /etc/init.d/ambari-server
在这里插入图片描述

Ambari无法识别Kylin系统解决

  1. 修改os_check，直接在配置中写死让ambari认为是ubuntu14系统
    vim /usr/lib/python2.6/site-packages/ambari_commons/os_check
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

其他报错

  1. 修改base_alert.py | 添加如下代码
    vim /usr/lib/python2.6/site-packages/ambari_agent/alerts/base_alert.py
import sys
reload(sys)
sys.setdefaultencoding('utf8')

2.修改apt.py| 添加如下代码
vim /usr/lib/python2.6/site-packages/resource_management/core/providers/package/apt.py
在这里插入图片描述

mysql相关配置

  1. 修改：vim /etc/mysql/mysql.conf.d/mysqld.cnf
    将bind-address 127.0.0.1修改为0.0.0.0
#bind-address            = 127.0.0.1
bind-address            = 0.0.0.0

重启mysql

  1. 将mysql驱动包复制到/usr/share/java/下；
修改配置文件：vim /etc/ambari-server/conf/ambari.properties
server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar
  1. 启动前需要手动在mysql数据库中创建ambari库、用户、表
mysql> create database ambari DEFAULT CHARACTER SET utf8;
Query OK, 1 row affected (0.00 sec)

mysql> create user 'ambari'@'%' identified by 'bigdata';
Query OK, 0 rows affected (0.00 sec)

mysql> grant select,insert,update,delete,create on ambari.* to ambari;
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on *.* to ambari@'localhost' identified by 'bigdata';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> grant all privileges on *.* to ambari@'node1' identified by 'bigdata';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush  privileges;
Query OK, 0 rows affected (0.00 sec)

执行：

mysql -uambari -p ambari </var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

密码输入：bigdata
  1. 修改配置文件：
vim /etc/ambari-agent/conf/ambari-agent.ini
[server]
hostname=node1
url_port=8440
secured_url_port=8441
connect_retry_delay=10
max_reconnect_retry_delay=30

将[server]下的[hostname]值为ambari-server所在的主机名。
重启ambari-agent。

  1. Ambari-server setup
[Unauthorized System] root:# /etc/init.d/ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
WARNING: Could not run /usr/sbin/sestatus: OK
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):ambari
Adjusting ambari-server permissions and ownership...
Checking firewall status...
/bin/bash: ufw: command not found
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
=============================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/lib/jvm/java-8-openjdk-arm64 
Validating JDK on Ambari Server...done.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? n
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
=============================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
=============================================================
Enter choice (1): 3
Hostname (localhost): 
Port (3306): 
Database name (ambari): 
Username (ambari): 
Enter Database Password (bigdata): 
Configuring ambari database...
Proceed with configuring remote database connection properties [y/n] (y)? 
Extracting system views...
ambari-admin-2.6.1.0.0.jar

Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
  1. 创建python链接
ln -s /usr/bin/python /usr/bin/ambari-python-wrap
  1. 启动ambari-server
/etc/init.d/ambari-server start
  1. 启动ambari-agent
/etc/init.d/ambari-agent start
  1. 访问界面
    在这里插入图片描述

在这里插入图片描述

经过重重困难终于安装成功，但是仍然有一些amd安装包需要进行重新打包安装，另外此平台还有很多需测试和解决问题，依靠个人力量仍然无法完成，希望各位兄弟支持共同完成。

最后转载两个华为大佬编译博客，强烈建议参考

https://bbs.huaweicloud.com/forum/thread-38329-1-1.html?from=groupmessage
https://bbs.huaweicloud.com/forum/thread-28829-1-1.html

可耐的牛牛
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 16
    评论
专栏目录
Kylin安装，ambari hadoop平台，操作系统CentOS6.8
vivismilecs的博客
05-26 3655
前提 Ambari Hadoop平台：Ambari2.4，HDP2.5，保证Hive，HBase正常运行。 JDK1.8 下载官网二进制包 Binarydownload: for HBase 1.x (includes HDP 2.3/2.4, EMR 5.0) - apache-kylin-2.0.0-bin-hbase1x.tar.gz   来
银河麒麟v4 (x88_64架构和arm架构） 离线安装docker
最新发布
qq_28523521的博客
05-25 1163
arm架构的离线docker安装方式一样，唯一的区别是下载的安装包不一样而已，需要下载arm64版本的依赖包。银河麒麟v4 飞腾2000+ arm架构 离线安装docker。银河麒麟v4 x86_64架构 离线安装docker。docker安装时缺少的依赖包下载地址。安装系统的对应的linux内核版本。安装系统的对应的linux内核版本。arm架构的docker安装包下载。docker文件下载地址。安装过程中报错，一般都是。2.查看操作系统信息。2.查看操作系统信息。
aarch64架构（ARMv8）系统环境下编译 Ambari
Yore - Home
05-20 8271
本文主要介绍了在 aarch64架构系统（ARM v8）下的 Ambari和 HDP的移植，重点对 Ambari 的编译及中间出现的问题的解决方法，并提供了最终的华为官方的镜像资源包的下载连接。
国产麒麟系统部署Ambari + HDP
地球人是我哈的博客
07-25 2033
国产融创 hadoop
【Ambari】银河麒麟V10 ARM64架构_安装Ambari2.7.6&HDP3.3.1问题总结
康师傅没有眼泪
09-29 2254
HDP 3.3.1 安装问题总结
Ambari-2.7.5在麒麟V10操作系统中的集群部署（二）
Jason1511的博客
07-06 1414
查看麒麟系统的python2和python3的模块包site-packages，发现2.7的模块很少，没有yum其他的依赖也少的可怜，3.7倒是有很多，也有dnf和之前设置的软链yum。经过之前安装Ambari，yum是可以正常使用的，但仍然出现该错误，可能是因为yum模块的路径没有正确设置。，使用的是python3，这里又与Ambari的安装调用python有点出入。，注意ambari-server.py使用的是python2，所以我们的思路是给python2装一个可用的yum。
Ambari-2.7.5在麒麟V10操作系统中的集群部署（一）
Jason1511的博客
06-30 888
关于安装包的下载和前期服务器准备工作，可以参考另一位博主的文章：http://t.csdn.cn/Yj6Ub 第一章第一节安装包准备。MySQL数据库的安装（tar.gz包）：http://t.csdn.cn/7mpJL （rpm包可以自行百度）配置/etc/ambari-server/conf/ambari.properties，添加如下行。麒麟操作系统-01-java环境说明和安装：http://t.csdn.cn/tN1ju。在主节点（安装server的节点）启动ambari-server。
hadoop ambari 2.6 全套安装手册
11-29
《Hadoop Ambari 2.6 全套安装手册》是针对大数据环境下的Hadoop集群部署、管理和优化的一份详尽指南。Ambari是由Apache软件基金会开发的一款开源工具，它提供了用户友好的Web界面，使得Hadoop集群的安装、配置、...
Ambari 2.6.0.0
04-25
该文件为百度网盘地址
Ambari-2.6.2.2 + HDP-2.6.5 （Centos7和Redhat7版本）的网盘下载地址
05-12
Ambari-2.6.2.2 版本是 Apache Ambari 的一个重要里程碑，它包含了对 Hadoop 分布式平台的优化和支持，而 HDP-2.6.5 则是 Hortonworks Data Platform 的一个版本，这个平台集合了多个 Hadoop 生态系统组件。...
Apache Ambari 2.6.1.5 操作指南
06-06
Apache Ambari 是一个开源的管理工具，主要用于简化大数据集群的安装、配置、管理和监控。Hortonworks公司是其主要贡献者之一，并且Hortonworks Data Platform（HDP）是基于Ambari构建的一个数据平台。 首先，...
ambari-Kylin:Ambari集成Apache Kylin服务（离线部署、可支持HDP2.6+及HDP3.0+）
05-09
ambari-Kylin Ambari集成Apache Kylin服务 参考 cas-bigdatalab提交的ambari-kylin-service项目 项目地址: 感谢大佬提供了ambari集成Kylin服务的思路。 加群 这个项目开源了一段时间了，有不少人已经在用了，大部分朋友都已经搭建成功。如果您在使用过程中遇到任何问题，可扫描下方二维码关注公众号【大数据实战演练】或者加我好友【create17_】，回复【加群】，群内有不少已经搭建成功的小伙伴。 概述 目前上传至ambari-Kylin上的有两个版本，一个是HDP2.6与Kylin2.5.1集成使用的一版；一个是HDP3.0与Kylin2.6.0集成使用的一版。 上传至github上的仅支持服务的基本使用，如正常启停，超链接Kylin Web UI功能。 但是像服务的启停顺序和服务的自定义告警没有上传至此，需要微信关注公众号大
ambari编译环境搭建
07-10
对ambari编译环境的搭建进行详解 ,和搭建时遇到的问题的解决方案
银河麒麟桌面操作系统V4安装手册-×86（加入完整标签）.pdf
09-26
银河麒麟桌面操作系统安装手册包含了银河麒麟桌面操作系统的详细安装过程以及相关问题解决方案，图文并茂，手册在手，安装无忧！
国产arm架构操作系统下phantomjs编译后的运行文件
04-26
国产麒麟系统，phantomjs无法正常工作，系统架构为aarch64。本资源包含arm架构和普通架构资源包。
Apache Ambari 2.6.1.5 系统管理
06-05
Apache Ambari 是一个用于简化Hadoop集群管理的开源工具，它提供了一个基于Web的界面，可以帮助用户安装、配置、监控以及维护Hadoop集群。Apache Ambari *.*.*.*是该系统的一个版本，它支持Hortonworks数据平台(HDP)...
Konga arm64 安装
TrustNature
05-11 595
arm64 平台： 一、源码安装 konga 前提：安装nodejswget https://nodejs.org/dist/v12.16.1/node-v12.16.1-linux-arm64.tar.xztar -xf node-v12.16.1-linux-arm64.tar.xz 配置node环境变量：vi /etc/profileexport NODE_HOME='/home/no...
安装phantomjs
huaweitman的专栏
08-05 8637
Linux For Ubuntu Linux (tested on a barebone install of Ubuntu 10.04 Lucid Lynx, Ubuntu 11.04 Natty Narwhal, Ubuntu 12.04 Precise Pangolin): sudo apt-get update sudo apt-get install build-essentia
Ambari2.7.6 汉化适配kylin10国产操作系统麒麟V10、centos7、centos8，支持ARM架构
qq_30540299的博客
06-27 1142
ambari2.7.6 汉化适配kylin10国产操作系统麒麟V10，升级centos7\centos8系统的ambari2.7.3
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

可耐的牛牛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值