ambari二次开发(一)

ambari二次开发准备工作

Ambari能够搭建、管理Hadoop集群,这是一件很酷的事情,让集群管理变的easy,但是有可能也有自己的一些需求,如果我想基于Ambari做二次开发DIY,修改一下界面,增加一些功能,添加一个模块等等,这些都是没问题,首先Ambari是基于ASF协议,其次,开发也很方便,唯一不足的是官网基于此的开发文档不多。

我主要介绍下,怎么基于Ambari做二次开发,搭建开发环境,最后编译部署打包

开发环境搭建
在windows下安装nodejs python的编译运行环境比较复杂,主要是nodejs有些库文件 是需要C++ 、ruby、python等一些语言进行编译,所以在linux上搭建这些环境简单,使用samba协议共享Linux中的文件,在linux上运行测试,在windows下进行代码修改。(使用samba协议是一种连接linux和windows的方法,可以应用到很多场景,我觉得这是亮点)。
安装samba
安装samba:可以先检查下是否已经安装:rpm -qa | grep samba,没有的话自己安装下

#安装samba
[root@test-server-1 home]#yum install samba -y
#重启 SMB
[root@test-server-1 home]#service smb restart 
#在 Linux 上建立samba用户
[root@test-server-1 home]#useradd samba
#创建 Smb 用户,此用户必须是 Linux 上已经建立的,这里是samba,
[root@test-server-1 home]# smbpasswd -a samba
New SMB password:
Retype new SMB password:
Added user samba.
#关闭防火墙,这里是关闭iptables,如果没有安装,可以关闭firewalld
[root@test-server-1 home]# service iptables status
#检查selinux,打开的话,临时关闭
[root@test-server-1 home]#setenforce 0
#修改/etc/samba/smb.conf 在最后加入想要共享的文件夹:

#共享名称
[samba home]
	#共享文件夹路径
    path = /home/samba
    #是否可写
    writeable = yes
    #是否允许GUEST访问
    guest ok = no

windows下连接,启动运行,输入\<samba_ip>,输入smb帐号密码就可以了
ambari二次开发图
此时就可以在windows上创建文件夹/文件 ,在linux上执行了
ambari具体开发过程,在下一篇博客会继续更新

Flink是个用于大规模流处理和批处理的分布式数据处理框架。在进行Flink二次开发时,可以根据具体需求进行以下几个方面的工作: 1. 自定义算子:Flink提供了各种内置算子,但有时可能需要根据业务需求自定义算子。可以通过编写继承自`RichFlatMapFunction`、`RichMapFunction`等类的自定义函数来实现。 2. 数据源和数据接收器:Flink支持各种数据源和数据接收器,如Kafka、Hadoop文件系统、Socket等。对于特定的数据源或数据接收器,可以根据需求进行二次开发,以实现与特定系统的集成。 3. 状态管理:Flink提供了状态管理机制,可以将流处理过程中的中间结果保存在内存或外部存储中。在二次开发中,可以根据需要实现自定义的状态管理,以满足更复杂的应用需求。 4. 定时器和事件时间:Flink支持基于事件时间的处理和定时器机制。在二次开发中,可以利用定时器和事件时间的特性,实现基于时间的操作和窗口计算。 引用提到的HDFS.NameNode和YARN.ResourceManager是Apache Hadoop的组件,Flink可以与Hadoop集成,以便在分布式环境中处理大规模数据。 引用提到的ambari-server开放的REST API可以通过与ambari-web交互进行监控管理服务。在Flink二次开发中,可以利用这些API来进行集群管理、作业提交和监控等操作。 总结起来,Flink二次开发主要涉及自定义算子、数据源和数据接收器、状态管理、定时器和事件时间等方面的工作。同时,可以利用与Hadoop集成和与ambari-server交互的功能来实现更全面的数据处理和管理。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [第四章 Ambari二次开发之自定义Flink服务源码剖析](https://blog.csdn.net/qq_27924553/article/details/127482321)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值