Apache Storm-2.1.0轻量型服务器伪分布式安装教程

Apache Storm-2.1.0轻量型服务器伪分布式安装教程

开发环境:
1. 阿里云轻量型服务器
2. ubuntu18.04系统
3. 已安装Java1.8
4. 已安装zookeeper3.4.x


首先,从Apache官网下载安装包,这里不再赘述。


解压并重命名文件夹为storm-2.1.0,修改文件所有者
$ sudo tar -zxvf apache-storm-2.1.0.tar.gz -C /usr/
$ sudo mv apache-storm-2.1.0/ storm-2.1.0
$ sudo chown -R hadoop:hadoop storm-2.1.0/

创建data文件夹
$ mkdir /usr/storm-2.1.0/data

修改storm-2.1.0/conf/storm.yaml

注意:不许用tab
同一级配置需要左对齐,参考python语法规则。

# 设置zookeeper的主机名:
storm.zookeeper.servers:
      - "ubuntu2"
# 主控节点nimbus 
nimbus.seeds: ["ubuntu2"]
ui.host: 0.0.0.0
ui.port: 6688   # ui默认端口是8080,按需修改
# 指定storm的数据存储路径
storm.local.dir: "/usr/storm-2.1.0/data"
# 指定supervisor上启动的worker对应的端口号
supervisor.slots.port:  # 表示此节点最多运行多少个worker进程(这里为4个)
         - 6700
         - 6701
         - 6702
         - 6703

配置环境变量并使之生效
$ vim ~/.bashrc

export STORM_HOME=/usr/storm-2.1.0
export PATH=$PATH:$STORM_HOME/bin

$ source ~/.bashrc

启动测试 (先启动zookeeper服务)
$ storm nimbus &
$ storm ui &
$ storm supervisor &
$ storm logviewer &
$ jps
8754 Jps
8674 LogviewerServer
18052 QuorumPeerMain
29655 Supervisor
18024 QuorumPeerMain
29577 UIServer
29434 Nimbus
18094 QuorumPeerMain

浏览器访问 ubuntu2:6688

状况一:成功打开Storm UI,安装成功!
状况二:发现无法打开Storm UI

emmmm

设置防火墙规则(对于服务器,强烈不建议关闭防火墙哦)

放行6688和6627端口
再次尝试访问,访问成功!

安装成功
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
apache-atlas-2.1.0-hive-hook.tar.gz是Apache Atlas项目中的一个软件包。Apache Atlas是一个开源的数据治理和元数据框架,用于收集、集成、索引和搜索数据资产。它提供了一个统一的视图来管理企业中的所有数据资产,包括表、列、模式、实体和关系等。而apache-atlas-2.1.0-hive-hook.tar.gz是Atlas项目为了与Hive集成而提供的一个插件。 Hive是一个构建在Hadoop之上的数据仓库基础设施工具,用于处理大规模的结构化数据。它提供了类似于SQL的查询和分析功能,可以将数据批量导入、导出和查询。通过与Apache Atlas的集成,可以实现对Hive中数据资产的元数据管理和治理。 在实际的应用中,apache-atlas-2.1.0-hive-hook.tar.gz可以被部署到Hive的服务器上,并与Hive的插件机制进行集成。通过配置Hive的元数据存储URL、用户名和密码等信息,Atlas可以自动从Hive中提取元数据,并将其索引到Atlas的元数据仓库中。这样,用户可以在Atlas的界面中浏览和搜索Hive中的表、列和关系,并进行数据资产的管理和治理。 此外,apache-atlas-2.1.0-hive-hook.tar.gz还提供了一些其他功能,如基于分类标签的权限控制、数据血缘追踪、数据脱敏等。通过这些功能,用户可以更好地理解和管理Hive中的数据资产,提高数据治理的效率和质量。 总之,apache-atlas-2.1.0-hive-hook.tar.gz是Apache Atlas项目中用于与Hive集成的插件,通过它可以实现对Hive中数据资产的元数据管理和数据治理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值