大数据环境一键部署包（Lite版）

最新推荐文章于 2023-10-31 16:34:45 发布
最新推荐文章于 2023-10-31 16:34:45 发布
阅读量445 收藏
点赞数
文章标签： linux 大数据 mysql elasticsearch 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nhapis/article/details/108872123
版权

大数据环境一键部署包（Lite版）

说明
  • 单机POC必备组件，一键部署包
  • 告别Dock, 从裸机系统 -> 大数据环境部署完成 ，仅需10分钟、仅需10分钟、仅需10分钟。
  • POC从此不再为环境担忧。精准安装报告展示。节省"时间成本"和"人工成本"，懂行的人，知道这意味着什么
  • 注意：需要有Yum源
  • 由于相关组件包比较大，可以加入QQ群：26036666，在群文件中索取，本脚本包于2020.09.29日开源
  • gitee源码地址 如果觉得好，别忘了，点个小星星哦
组件列表
组件名称版本号
JDK1.8.0_261
Zookeeper3.4.14
Kafka2.2.2
Kafka-eagle2.0.2
Flink1.10.1
Elasticsearch7.3.2
Redis3.2.12-2
Mysql5.7.31
Nginx1.17.7
架构
├─0.initEnv.sh ------------------------------ // 基础环境配置、禁止内存交换、文件打开数、JDK部署
├─1.installMysql.sh ------------------------- // 安装Mysql5.7.31
├─2.deployZookeeper.sh ---------------------- // 部署Zookeeper伪集群
├─3.deployKafka.sh -------------------------- // 部署Kafka伪集群、并配置默认分区数、副本数
├─4.deployKafkaEagle.sh --------------------- // 部署Zookeeper、Kafka监控平台
├─5.deployRedis.sh -------------------------- // 安装Redis、并开启密码授权访问
├─6.deployNginx.sh -------------------------- // 安装Nginx
├─7.deployFlink.sh -------------------------- // 部署Flink伪集群
├─8.deployElasticSearch.sh ------------------ // 部署ElasticSearch伪集群
├─9.deployKibana.sh ------------------------- // 部署Kibana
├─config.ini -------------------------------- // 所有组件汇总配置文件
├─deployAll.sh ------------------------------ // 一键执行所有脚本
├─openFirewall.sh --------------------------- // 开墙脚本
├─poros-conf -------------------------------- // 配置文件目录
│ ├─elasticsearch 
│ ├─flink 
│ ├─kafka 
│ ├─kafka-eagle 
│ ├─kibana 
│ ├─mysql 
│ ├─redis 
│ └─zookeeper 
├─poros-litePackage ------------------------- // 组件安装包目录
│ ├─elasticsearch-7.3.2_nhApis.tar.gz 
│ ├─flink-1.10.2-scala_2.11_nhApis.tar.gz 
│ ├─jdk-8u261-linux-x64.tar.gz 
│ ├─kafka-eagle-web-2.0.1-bin.tar.gz 
│ ├─kafka_2.11-2.2.2.tgz 
│ ├─kibana-7.3.2-linux-x86_64.tar.gz 
│ ├─mysql_5.7 
│ ├─redis 
│ ├─tengine-2.3.2.tar.gz 
│ └─zookeeper-3.4.14.tar.gz 
└─showLog.sh -------------------------------- // 日志输出到Nginx、直接在浏览器访问部署报告
配置文件
[EnvConfig]
#本地IP
WORK_IP=192.168.88.128
#工作目录
POROS_DIR=/poros/tools
#日志文件
LOG_FILE=./deployLog.log

[MySqlConfig]
#mysql 端口
MYSQL_PORT=23366
#mysql 密码
MYSQL_PASS=PorosMysql@123456

[ZookeeperConfig]
#zookeeper数据目录
ZOOKEEPER_DATA_PATH=/data/zookeeper

[KafkaConfig]
#kafka数据目录
KAFKA_DATA_PATH=/data/kafka

[ElasticSearchConfig]
#ES 数据目录
ES_DATA_PATH=/data/es
#ES 内存配置(注意:单位小写)
ES_MEM=1g
#ES 快照备份目录
ES_BACKUP_PATH=/data/esdatabackup

[RedisConfig]
#Redis 密码
REDIS_PASSWORD=PorosRedis@123456

[FlinkConfig]
#Flink taskmanager.memory.process.size 内存大小
FLINK_TASKMANAGER_JVM=1728m
#Flink numberOfTaskSlots 数量
FLINK_SLOTS=9
部署日志报告
./deployLog.log
2020-09-18 17:28:44 -----------------------------------------------
2020-09-18 17:28:49 工作目录：/poros/tools
2020-09-18 17:28:49 JDK目录：/poros/tools/jdk1.8.0_261
2020-09-18 17:28:54 -----------------------------------------------
2020-09-18 17:30:51 -----------------------------------------------
2020-09-18 17:31:29 MySql 端口：23366
2020-09-18 17:31:29 MySql 账号/密码：root/PorosMysql@123465
2020-09-18 17:31:29 MySql 启动命令：systemctl start mysqld.service
2020-09-18 17:31:29 MySql 重启命令：systemctl restart mysqld.service
2020-09-18 17:31:32 -----------------------------------------------
2020-09-18 17:31:32 -----------------------------------------------
2020-09-18 17:31:32 Zookeeper 部署目录：/poros/tools/zookeeper-3.4.14
2020-09-18 17:31:32 Zookeeper 数据目录：/data/zookeeper
2020-09-18 17:31:33 Zookeeper 地址/端口：192.168.110.128:22181,192.168.110.128:22182,192.168.110.128:22183
2020-09-18 17:31:33 Zookeeper 启动脚本：sh /poros/tools/zookeeper-3.4.14/bin/start-zk.sh
2020-09-18 17:31:36 Zookeeper 查看状态脚本：sh /poros/tools/zookeeper-3.4.14/bin/status-zk.sh
2020-09-18 17:31:36 Zookeeper 停止脚本：sh /poros/tools/zookeeper-3.4.14/bin/stop-zk.sh
2020-09-18 17:31:36 -----------------------------------------------
2020-09-18 17:31:36 -----------------------------------------------
2020-09-18 17:31:36 Kafka 部署目录：/poros/tools/kafka_2.11-2.2.2
2020-09-18 17:31:36 Kafka 数据目录：/data/kafka
2020-09-18 17:31:37 Kafka Zookeeper配置目录：192.168.110.128:22181,192.168.110.128:22182,192.168.110.128:22183/KafkaRoot
2020-09-18 17:31:37 Kafka 地址/端口：192.168.110.128:29902,192.168.110.128:29903,192.168.110.128:29904
2020-09-18 17:31:37 Kafka 启动脚本：sh /poros/tools/kafka_2.11-2.2.2/bin/start-kafka.sh
2020-09-18 17:31:39 -----------------------------------------------
2020-09-18 17:31:39 -----------------------------------------------
2020-09-18 17:31:39 KafkaEagle 部署目录：/poros/tools/kafka-eagle-web-2.0.1
2020-09-18 17:31:39 KafkaEagle 启动脚本：/poros/tools/kafka-eagle-web-2.0.1/bin/ke.sh start
2020-09-18 17:31:54 KafkaEagle 访问地址：http://192.168.110.128:8048
2020-09-18 17:31:54 KafkaEagle 用户名/密码：admin/123456
2020-09-18 17:31:54 -----------------------------------------------
2020-09-18 17:31:54 -----------------------------------------------
2020-09-18 17:31:54 Redis 密码：PorosRedis@123465
2020-09-18 17:31:58 Redis 启动脚本：/usr/bin/redis-server /etc/redis.conf
2020-09-18 17:31:58 -----------------------------------------------
2020-09-18 17:31:59 -----------------------------------------------
2020-09-18 17:35:12 Nginx 部署目录：/poros/tools/nginx
2020-09-18 17:35:42 Nginx 启动脚本：/poros/tools/nginx/sbin/nginx
2020-09-18 17:35:42 Nginx 重启脚本：/poros/tools/nginx/sbin/nginx -s reload
2020-09-18 17:35:42 -----------------------------------------------
2020-09-18 17:35:42 -----------------------------------------------
2020-09-18 17:35:42 Flink-1.10.2 部署目录：/poros/tools/flink-1.10.2
2020-09-18 17:35:42 Flink 任务内存配置：1728m
2020-09-18 17:35:42 Flink 任务通道配置：9
2020-09-18 17:35:51 Flink 启动脚本: /poros/tools/flink-1.10.2/bin/start-cluster.sh
2020-09-18 17:35:55 Flink Web访问地址: http://192.168.110.128:28801
2020-09-18 17:35:55 -----------------------------------------------
2020-09-18 17:35:55 -----------------------------------------------
2020-09-18 17:38:23 ElasticSearch-Node1 部署目录：/poros/tools/elasticsearch-7.3.2-node-1
2020-09-18 17:38:23 ElasticSearch-Node1 数据目录：/data/es/node1
2020-09-18 17:38:23 ElasticSearch-Node2 部署目录：/poros/tools/elasticsearch-7.3.2-node-2
2020-09-18 17:38:23 ElasticSearch-Node2 数据目录：/data/es/node2
2020-09-18 17:38:23 ElasticSearch-Node3 部署目录：/poros/tools/elasticsearch-7.3.2-node-3
2020-09-18 17:38:23 ElasticSearch-Node3 数据目录：/data/es/node3
2020-09-18 17:38:23 ElasticSearch 快照备份目录：/data/esdatabackup
2020-09-18 17:38:23 ElasticSearch 用户/用户组：elsearch:elsearch
2020-09-18 17:38:23 ElasticSearch-Node1 启动脚本：su - elsearch -c "/poros/tools/elasticsearch-7.3.2-node-1/bin/elasticsearch -d"
2020-09-18 17:38:44 ElasticSearch-Node2 启动脚本：su - elsearch -c "/poros/tools/elasticsearch-7.3.2-node-2/bin/elasticsearch -d"
2020-09-18 17:39:14 ElasticSearch-Node3 启动脚本：su - elsearch -c "/poros/tools/elasticsearch-7.3.2-node-3/bin/elasticsearch -d"
2020-09-18 17:39:34 ElasticSearch Api端口：192.168.110.128:29030,192.168.110.128:29031,192.168.110.128:29032
2020-09-18 17:39:34 ElasticSearch Http端口：192.168.110.128:29020,192.168.110.128:29021,192.168.110.128:29022
2020-09-18 17:39:34 -----------------------------------------------
2020-09-18 17:39:35 -----------------------------------------------
2020-09-18 17:40:21 Kibana 部署目录：/poros/tools/kibana-7.3.2
2020-09-18 17:40:23 Kibana 启动脚本：/poros/tools/kibana-7.3.2/bin/start.sh
2020-09-18 17:40:23 Kibana Web访问地址：http://192.168.110.128:25610
2020-09-18 17:40:23 -----------------------------------------------
修改记录
2020.09.29
  • 增加开启zookeeper Acl的脚本，默认允许当前IP过滤
  • 增加kafka jaas配置文件与脚本
2020.09.18
  • 增加zookeeper停止脚本和kill脚本
  • 增加ElasticSearch快照备份目录配置项，更新配置文件
  • 增加kafka停止脚本
2020.09.15
  • 升级flink至1.10.2
  • 升级redis至3.2.12-2
2020.09.08
  • 升级mysql至5.7.31版本
  • 增加mysql端口配置修改功能
  • 升级jdk至1.8_261版本
  • 升级kafka-eagle至2.0.1版本
  • 修改所有组件的默认端口号
nhApis_Poros
关注
【项目实战】环境搭建
pengpengsays
09-22 534
虚拟机准备 安装说明 & 文件下载 下载并安装 Virtual Box，准备并安装 3 台 CentOS 7.2 的虚拟机，主机名命名为 Node01、Node02、Node03。 虚拟机的安装可以使用纯系统镜像，安装后配置主机名。但过程会比较繁琐，学习环境讲求开箱即用，尽量少地在环境上花费时间，否则会打击学习的热情。所以，也可以直接导入已经配置好的虚拟机镜像文件，方便使用。 使用纯镜像安装，下附...
深度学习系列资料总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
iserver大数据一键部署说明
Dejounte的博客
09-30 565
目录 软件包说明 操作系统安装 2.1 安装操作系统 2.2 网络环境配置 2.3 计算机名更改 一键部署安装 3.1 配置文件修改 3.1.1 Host.conf 3.1.2 Init.conf 3.1.3 Setting 3.2 onestep 部署配置 3.3 执行 bin/01preinstall.sh 3.4 执行 bin/02installssh.sh 3.5 ...
大数据环境脚本一键安装单机版 （持续更新中）
欢迎大神交流讨论
12-10 1625
#!/bin/bash #安装必要的软件，持续填充 setup_software(){ yum -y install vim yum -y install tree yum -y install lrzsz } #修改系统名称 同时修改hosts文件 modify_sysname(){ hostnamectl set-hostname $1 #先获取hosts文件中对应的内容如果没发现对应的内容才能添加这个地址 cfg=`cat /etc/hosts | grep $2 | grep .
大数据平台一键安装OS
weixin_33852020的博客
07-03 159
大数据平台一键安装OS【搭建脚本篇】大数据平台一键安装OS【定制化OS镜像制作】 转载于:https://blog.51cto.com/xrgq1986/1944192
基于docker一键部署大数据环境以及基本命令
小星博博的博客
01-19 428
【代码】基于docker一键部署大数据环境。
大数据工具-kafkaUi-lite
最新发布
s_unbo的博客
10-31 653
史上最轻便好用的 kafka ui 界面工具，提供了对 kafka 的界面化操作可以在界面生产消息、消费消息、创建管理 topic可以支持管理多个 kafka 集群部署简便，不需要连数据库，只有一个 jar 包启动即可。
区块链系统Docker&Kuberntes一键部署
Hyperchain的博客
11-09 1688
因此，随着区块链的广泛应用，Baas服务的稳定性日趋关键，其中高可用部署就是重要环节。本文将从BaaS系统如何通过冗余+自动故障转移等机制，实现系统的高可用。
openGauss_3.0.0 轻量版（openGauss-Lite-3.0.0-CentOS-x86_64.tar.gz）
06-30
在部署openGauss时，首先要确保系统环境满足要求，然后运行安装脚本`install.sh`，根据提示完成安装过程。在使用过程中，可以根据`opengauss_lite.conf`配置文件调整数据库参数，优化性能。当需要升级或扩展数据库...
使用 RT-AK 部署 Cifar10 模型至 Art-Pi
rtthreadiotos的博客
07-13 738
Github：https://github.com/EdgeAIWithRTT/Project7-Cifar10_Cube_Art-PiRT-AK 及 Art-Pi 简介目前该项目为 RT...
大数据平台使用搭建脚本一键安装OS
09-30
本文给大家分享的是如何在大数据平台使用脚本来实现一键安装定制OS，并给大家附上了脚本源码，有需要的小伙伴可以参考下
一键部署安装包及命令20201209.zip
12-09
无需任何繁琐配置、一行命令centos8上安装分布式fastdfs、nginx、redis6、jdk1.8、mysql8.0
ankus:ANKUS 是大数据框架的部署和编排工具
06-14
安库斯 Ankus 是一个大数据部署和编排工具。 处理安装和管理： （最新） Hadoop生态系统工具：（最新的），（最新的）， ， （最新的），Hadoop搜索 （最新） （最新） （卡夫卡-0.8） (storm-0.8.2) Ankus 可以处理本地（本地机器组）和云（由云提供商托管的服务器）中的部署。 本地模式- 用户可以为部署指定实例角色、支持的操作系统（ centos或ubuntu ）。 云模式- Ankus 将创建/管理实例并自动为其分配角色。 目前 ankus 支持 、 和 。 Ankus 利用了多种开源工具，例如： puppet & puppetdb 用于部署和配置管理 用于扩展部署的乘客 监控神经节 nagios 警报 用于日志聚合的 logstash 支持的部署类型： 高可用的 Hadoop 和 HBase 集群部署 安全的 Hadoop
Kubernetes部署大数据组件系列二：一键部署Hadoop集群
mark's technic world
11-15 1万+
系列一中忘了说明，用Kubernetes部署大数据容器平台，有一个很大的好处是压根不用操心容器间的网络通信，不管是同一物理服务器内，还是跨物理服务器间的网络通信，你都不用操心，只需要把容器间互相关心的端口暴露好，把容器间的service name映射好，就OK了。 本篇教大家部署Hadoop 2.7.3集群，暂时没有做HA和联邦： Docker适合封装无状态的、单进程的应用程序，如果用它来部署Ha
大数据环境的搭建部署
qq_36392247的博客
10-24 501
大数据环境的搭建部署安装环境物理机环境：软件环境：用户安装范围 本篇交代的是搭建的硬件环境： 安装环境 本文档除airflow外其他全部为离线安装包安装； 物理机环境： --64位Windows10操作系统； --内存16G； --256G SSD存储； --1T 机械硬盘存储； 软件环境： --安装VMware Workstation Pro虚拟机； --虚拟机上安装的CentOS 7操作系统 * 3； --每台分配2G内存 --每台分配40G硬盘存储 用户 本机安装用户除特殊几个外均为root用户，可根
一键部署容器化版本，助力开发者快速试用WeDataSphere开源大数据平台套件
沧海之巅的专栏
05-17 1637
您是否为搭建包含Hadoop、Hive、Spark等基础计算存储引擎的WeDataSphere（以下简称WDS）开源大数据平台套件而烦恼？是否希望能有一种简单快捷的方式来完成所有组件的部署和试用？如果您也曾遇到WeDataSphere开源大数据平台套件的部署试用问题，那么现在我们有了一个令人振奋的消息！****
大数据平台一键安装OS【搭建脚本篇】
weixin_33725270的博客
06-29 153
  定制化大数据平台一键安装OS大数据平台一键安装OS系列大数据平台一键安装OS【定制化OS镜像制作】搭建脚本篇脚本命名随便，只要能看懂就行镜像包说明os1.1.iso 用于安装服务端和客户端操作系统hdp.iso 用于安装hdp服务1.架构图：服务端客户端2.原理分析安装系统-安装本地yum源-安装http源-安装并配置ntp服务-配置秘钥-安装jdk-安装mysql-编译安装ambari平台3...
大数据自动化安装部署方案(一) - 集群系统环境设置
weixin_30908707的博客
07-30 551
1.前期准备 1.1系统和yum源镜像准备 需要的条件： ① 至少三台刚装上Centos7.0系统的物理机或者虚拟机； ②CentOS-7.0-x86_64-bin-DVD1.iso镜像，用于制作本地yum源； 注意：本文三台物理机或虚拟机的操作系统镜像是CentOS-7-x86_64-Minimal-1804.iso。 用于制作本地yum源的CentOS-7.0-x86_64-bi...
用Ambari一键部署大数据平台
十色花的博客
07-09 4407
安装前准备先明确几个概念： 1. Ambari只能安装Hortonworks Data Platform，即Hortonworks的开源Hadoop，不支持Apach的Hadoop平台； 2. 对于已经安装了Apach Hadoop或者其他Hadoop平台的，不能使用Ambari来管理； 再说几个注意事项： 1. Ambari默认的安装方式是使用yum，从远程下载HDP组件安装，而HDP平台安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值