大数据工具安装
文章平均质量分 77
程序员老五
不积跬步无以至千里
展开
-
【大数据工具】Flume、Sqoop、Azkaban 安装
2、将安装文件上传到集群,最好上传到安装 hive、sqoop 的机器上,方便命令的执行,并最好统一存放在某个目录下,新建 azkaban 目录,用于存放 azkaban 运行程序。3、加入 MySQL 驱动包到 sqoop 的 lib 目录下。4、启动 Azkaban Executor 执行器。1、上传 azkaban 的三个包。5、验证是否安装成功。原创 2023-06-07 09:38:10 · 62 阅读 · 0 评论 -
【大数据工具】Flink集群搭建
1、下载 Flink 安装包并上传至服务器。原创 2023-06-07 09:25:15 · 1331 阅读 · 0 评论 -
【大数据工具】Spark 伪分布式、分布式集群搭建
安装前提:安装 Spark 前需要先安装好 JDK。原创 2023-06-07 09:19:55 · 683 阅读 · 0 评论 -
【大数据工具】Kafka伪分布式、分布式安装和Kafka-manager工具安装与使用
管理多个 Kafka 集群便捷的检查 Kafka 集群状态(topic,broker,备份分布情况,分区分布情况)选择要运行的副本基于当前分区状况进行可以选择 topic 配置并创建 topic(0.8.1.1 和 0.8.2 的配置不同)删除 topic(只支持 0.8.2 以上的版本并且要在 broker 配置中设置Topic list 会指明哪些 topic 被删除(0.8.2 以上版本使用)为已存在的 topic 增加分区为已存在的 topic 更新配置。原创 2023-06-07 09:14:25 · 2418 阅读 · 0 评论 -
【大数据工具】HBase 集群搭建与基本使用
(3)修改 regionservers(存放的 region server 的 hostname)(Hadoop2 和 Hadoop3 就一块启动了)(2)修改 hbase-site.xml。(1)修改 hbase-env.sh。使用 FileZilla 将。上传至 Hadoop0 的。,并重命名解压后的文件夹。(5)配置从节点环境变量。原创 2023-06-07 09:10:14 · 569 阅读 · 0 评论 -
【大数据工具】Hive 安装
hivedb2 表示:是之后初始化后,在MySQL里生成的元数据库的名字。配置连接器信息,设置 MySQL 作为元数据存储的位置。该 jar 包放置在 hive 的根路径下的。修改配置文件(目录下面没有,直接vim就可以了)注:安装 Hive 前要先安装好 MySQL。放到 hive 的根路径下的 lib 目录。一定要记得加入 MySQL 驱动包。至此 MySQL 安装成功。说明:安装到一个节点即可。将 MySQL 驱动包。安装完成,配置环境变量。说明:三台节点都安装。原创 2023-06-07 09:06:52 · 695 阅读 · 0 评论 -
【大数据工具】Zookeeper 分布式集群和伪分布式安装
说明:伪分布即在一台服务器上通过不同端口模拟出分布式集群的效果,分布式一般 3 台起,一主两从。说明:伪分布安装在了 Windows 开辟的虚拟机上,主机名为 bigdata。原创 2023-06-07 09:03:33 · 765 阅读 · 0 评论 -
【大数据工具】Hadoop 分布式集群搭建
1. 环境准备-------------- 三台都修改 --------------1. 配置网络将3台CentOS的ip设置成手动 Manual。VMware:编辑 → 虚拟网络编辑器 → VMnet8 NAT模式 → NAT模式(与虚拟机共享主机的IP地址) → NAT设置,获取VMware的相关信息:子网IP:192.168.26.0子网掩码:255.255.255.0网关:192.168.26.22. 修改hostname主机名[root@hadoop0 ~]# hostnam原创 2021-06-15 21:09:17 · 75 阅读 · 5 评论