ETL工具NIFI的3种部署方式(免登录方式、单用户、多租户登录方式)

在实时数仓架构中,选一个得心应手的ETL工具,可以大大提高开发效率,节省人力成本。这里向大家推荐一款很好的、笔者已在生产环境中使用的、可以实现无代码编程的ETL工具:NIFI。

本文使用NIFI1.19.1版本演示NIFI的三种部署方式(免登录方式、单用户登录方式、多租户登录方式)

1、免登录方式

1.1 从https://nifi.apache.org/download.html下载nifi安装包,放到linux系统中的指定目录(本文目录/opt/nifi),解压。

1.2 编辑nifi.properties(conf目录下),修改如下内容:

# web properties #
#############################################
nifi.web.http.host=xxx.xxx.xxx.xxxx
nifi.web.http.port=8443
#############################################
#注释如下三行
#nifi.web.https.host=127.0.0.1
#nifi.web.https.port=8443
#nifi.web.https.network.interface.default=

# security properties #
#这是用于加密处理器中配置的任何敏感属性值的密码。默认情况下,它是空的,
#但是系统管理员应该为它提供一个值。它可以是任何长度的字符串,建议的最小长度为10个字符。
#请注意,一旦设置了此密码,并且配置了一个或多个敏感处理器属性,就不应该更改此密码。
nifi.sensitive.props.key=gJ/uToq/479HAlsx6W1Tt7MCx+hkL1oQ
#情况下面4个属性值
nifi.security.keystore=
nifi.security.keystoreType=
nifi.security.truststore=
nifi.security.truststoreType=

1.3 启动nifi,运行bin目录下的nifi.sh命令

#首次启动时,会创建logs等相关目录,启动过程日志可以查看nifi-app.log文件
[root@testcdh11 nifi]# ../bin/nifi.sh start
[root@testcdh11 nifi]# tail -f ../logs/nifi-app.log

1.4 访问nifi

http://ip:8443/nifi/

2、单用户登录方式

2.1 下载nifi解压后,修改nifi.properties

#默认IP为127.0.0.1,需改成当前服务器IP 默认端口8443,可按需修改
nifi.web.https.host=173.16.200.46
nifi.web.https.port=8443

2.2 启动nifi(方法同上)

观察启动日志,有如下信息输出:​​​​​​​

# 默认用户名密码
Generated Username [3f21fcd1-3cba-4530-a15e-0defb3930eba]
Generated Password [vZuBw6wUY1VdBU2hNRwoZrLbPGdhuKyS]
# 设置用户名密码
2023-02-11 11:07:48,489 INFO [main] o.a.n.a.s.u.SingleUserLoginIdentityProvider Run the following command to change credentials: nifi.sh set-single-user-credentials USERNAME PASSWORD

2023-02-11 11:09:27,731 INFO [main] org.apache.nifi.web.server.JettyServer https://173.16.200.46:8443/nifi

2.3 登录nifi

3、多租户登录方式

不同于前两种登录方式,多租户登录方式可以实现多用户登录、授权,适合用于生产环境,尤其是多个ETL开发团队的场景。

NIFI的多租户登录方式中的用户验证有多种实现方式,本文使用LDAP实现。授权方式也有多种,本文使用文件授权的方式,即认证和授权是两个独立的步骤。更多信息,请参考公众号-登峰大数据。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

登峰大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值