部署
文章平均质量分 83
cpuCode
站在巨人的肩上行走 https://github.com/CPU-Code
展开
-
大数据部署导航
部署这块 , 自己一个一个部署非常耗时间 , 我实习的公司正好正在进行 Python 脚本自动化部署这些组件 , 但我个人觉得人力时间成本过高 。后来我接触 Ansible 自动工具 , 感觉看到希望, 我希望以后可以利用它进行自动化部署大数据部署的前置准备 :原创 2022-04-25 12:04:37 · 542 阅读 · 0 评论 -
Kerberos 部署
安装 Kerberos切换到 root主节点从节点修改配置文件服务端主机 ( cpu102 )客户端主机初始化 KDC 数据库修改管理员权限配置文件启动Kerberos相关服务创建 Kerberos 管理员用户使用入门Kerberos 数据库操作登录数据库创建Kerberos主体Kerberos 认证操作密码认证密钥文件认证销毁凭证原创 2022-04-11 14:27:31 · 794 阅读 · 0 评论 -
Kylin 安装
Kylin 安装Kylin 依赖环境Kylin 搭建上传 Kylin 安装包解压文件Kylin兼容性问题排除冲突的jar包Kylin启动关闭KylinKylin BI工具集成JDBCZepplinZepplin安装与启动Kylin 依赖环境安装 Kylin 前需先部署好 Hadoop、Hive、Zookeeper、HBaseZookeeper 分布式安装 :https://blog.csdn.net/qq_44226094/article/details/123119682Hadoop HA 部署原创 2022-04-05 15:18:20 · 2545 阅读 · 0 评论 -
Presto 安装
Presto 安装Presto Server 安装解压到 `/opt/module` 目录修改名称创建存储数据文件夹创建存储配置文件文件夹添加jvm.config配置文件Presto 命令行 Client 安装Presto 可视化 Client 安装原创 2022-04-04 23:09:52 · 3841 阅读 · 3 评论 -
Spark 部署 Standalone 模式
Spark 部署 Standalone 模式解压缩文件修改配置文件启动集群Web UI 界面提交应用提交参数说明配置历史服务配置日志存储路径添加日志配置重启动 Hadoop 集群重启动历史服务重新执行任务查看历史服务配置高可用(HA)集群规划 :停止集群启动 Zookeeper启动集群关闭集群关闭历史服务 :解压缩文件将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩在指定位置tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz原创 2022-03-30 17:16:24 · 1724 阅读 · 0 评论 -
Spark Yarn 模式部署
Spark Yarn 模式部署解压缩文件修改配置文件配置历史服务器配置日志存储路径启动HDFS以及YARN集群提交应用查看进程查看历史页面解压缩文件将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 linux 并解压缩,放置在指定位置tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/modulecd /opt/module 换名 :mv spark-3.0.0-bin-hadoop3.2 spark-3.0.0-ya原创 2022-03-30 17:08:28 · 3076 阅读 · 0 评论 -
Superset 在线部署安装
Superset 在线部署安装安装Python环境安装Miniconda取消激活base环境创建Python3.7环境激活 superset 环境安装依赖安装Superset初始化Supetset数据库启动Supterset安装Python环境安装Miniconda命令进行安装,并按照提示操作,直到安装完成bash Miniconda3-latest-Linux-x86_64.sh出现以下提示时,可以指定安装路径/opt/module/miniconda3加载环境变量配置文件,使之生效s原创 2022-03-28 17:06:15 · 2462 阅读 · 0 评论 -
DolphinScheduler 集群模式部署
DolphinScheduler 集群模式部署集群规划前置准备工作解压DolphinScheduler安装包初始化数据库配置一键部署脚本一键部署 DolphinSchedulerDolphinScheduler启停命令集群规划集群模式下,可配置多个 Master 及多个 Worker通常可配置2~3个Master,若干个Workercpu101cpu102cpu103master√worker√√√前置准备工作三台节点均需部署JDK(1.8+),并配原创 2022-03-28 15:30:46 · 2029 阅读 · 0 评论 -
Sqoop 安装
Sqoop 安装安装条件下载并解压修改环境变量修改配置文件拷贝JDBC驱动验证SqoopSqoop 连接数据库安装条件具备 Java 和 Hadoop 的环境Java :https://blog.csdn.net/qq_44226094/article/details/122685082Hadoop HA :https://blog.csdn.net/qq_44226094/article/details/123401032下载并解压下载地址:http://archive.apache.o原创 2022-03-18 09:33:56 · 1073 阅读 · 0 评论 -
Hive 安装 Spark
Hive 安装 Spark兼容性说明在 Hive 所在节点部署 Spark配置 SPARK_HOME 环境变量在 hive 中创建 spark 配置文件向 HDFS 上传 Spark 纯净版 jar 包修改 `hive-site.xml` 文件配置 HA :未配置 HA :兼容性说明官网下载的 Hive3.1.2 和 Spark3.0.0 默认是不兼容的因为 Hive3.1.2 支持的 Spark 版本是 2.4.5,所以需要重新编译 Hive3.1.2 版本编译步骤:官网下载 Hive3.1原创 2022-03-16 17:25:21 · 617 阅读 · 0 评论 -
Hive 安装 Tez
Hive 安装 Tez将tez安装包拷贝到集群解压tar包解决日志 Jar 包冲突上传tez依赖到HDFS新建tez-site.xml修改Hadoop环境变量修改 Hive 的计算引擎启动 Hive将tez安装包拷贝到集群mkdir /opt/module/tez-0.10.1解压tar包tar -zxvf /opt/software/tez-0.10.1-SNAPSHOT-minimal.tar.gz -C /opt/module/tez-0.10.1解决日志 Jar 包冲突rm sl原创 2022-03-16 10:04:38 · 622 阅读 · 0 评论 -
HBase 分布式部署
Nginx1.1. nginx概述(Nginx engine x)是—个高性能的HTP和反向代理服务器特点是占有内存少并发能力强,事实上 nginx的并发能力确实在同类型的网页服务器中表现较好,中囯大陆使用 nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等官网:ptt:/ nginx. org/...原创 2022-03-11 16:23:09 · 1208 阅读 · 0 评论 -
Hadoop HA 部署
Hadoop HA 部署Hadoop 规划集群HA 集群部署HA 集群准备创建文件(所有节点)HDFS-HA 配置配置 core-site.xml配置 hdfs-site.xmlYARN-HA 配置配置 yarn-site.xml分发运行 HA配置环境变量保证 ZooKeeper 启动格式化 namenode初始化 HA 在 Zookeeper 中状态启动 HA 服务脚本测试 HAHadoop 规划集群cpu101cpu102cpu103HDFSNameNodeNameNod原创 2022-03-10 16:11:31 · 1165 阅读 · 0 评论 -
CentOS7 部署 Mysql
Mysql 安装安装包准备卸载自带的Mysql-libs将安装包和JDBC驱动上传到 `/opt/software`安装MySQL安装mysql依赖安装mysql-client安装mysql-server启动mysql查看mysql密码配置MySQL查到的密码进入mysql更改mysql密码策略设置密码进入msyql库修改user表,把Host表内容修改为%刷新退出安装包准备卸载自带的Mysql-libsrpm -qa | grep -i -E mysql\|mariadb | xargs -n1 s原创 2022-03-08 20:35:37 · 1025 阅读 · 0 评论 -
大数据部署的前置准备
WARN [QuorumPeer[myid=1]:QuorumCnxManager@685] - Cannot open channel错误现象 :解决方案 :WARN [QuorumPeer[myid=1]:QuorumCnxManager@685] - Cannot open channel错误现象 :解决方案 :quorumListenOnAllIPs=true启动zk.sh startzk.sh原创 2022-03-07 18:33:35 · 1573 阅读 · 3 评论 -
CentOS7 部署 Maxwell
这里写自定义目录标题原创 2022-03-06 23:05:04 · 1279 阅读 · 0 评论 -
DataX安装部署
DataX安装部署解压解压下载 DataX 安装包并上传到 cpucode101 的 /opt/software下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz解压 datax.tar.gz 到 /opt/moduletar -zxvf datax.tar.gz -C /opt/module/自检,执行python bin/datax.py job/job.json...原创 2022-03-03 20:49:48 · 299 阅读 · 0 评论 -
Hive安装部署
Hive安装部署Hive安装部署Hive元数据配置到MySQL拷贝驱动配置MySQL作为元数据存储启动Hive初始化元数据库启动hive客户端修改元数据库字符集Hive安装部署把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的 /opt/software 目录下解压 apache-hive-3.1.2-bin.tar.gz 到 /opt/module/ 目录下面tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/modul原创 2022-03-01 23:19:07 · 2485 阅读 · 0 评论 -
Flume 安装部署
Flume 安装部署安装地址安装部署安装地址Flume官网地址:http://flume.apache.org/文档查看地址:http://flume.apache.org/FlumeUserGuide.html下载地址:http://archive.apache.org/dist/flume/安装部署将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的 /opt/software 目录下tar -zxf /opt/software/apache-flum原创 2022-02-25 23:47:12 · 755 阅读 · 0 评论 -
Kafka 分布式安装部署
Kafka 分布式安装部署集群规划集群部署Kafka监控(Kafka Eagle)集群规划cpucode101cpucode102cpucode103zkzkzkkafkakafkakafka下载官网 :http://kafka.apache.org/downloads集群部署解压安装包tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/修改解压后的文件名称在 /opt/module/kafka 目录下创建原创 2022-02-24 21:42:58 · 1159 阅读 · 0 评论 -
Zookeeper 分布式安装
Zookeeper 分布式安装分布式安装部署集群规划解压安装配置服务器编号配置 zoo.cfg 文件集群操作客户端命令行操作分布式安装部署集群规划在 cpucode101、cpucode102和cpucode103三个节点上部署 Zookeepercpucode101cpucode102cpucode103ZookeeperZookeeperZookeeperZookeeper解压安装解压 Zookeeper 安装包到 /opt/module/ 目录下tar原创 2022-02-24 21:03:34 · 1010 阅读 · 0 评论 -
Hadoop 分布式集群配置安装
这里写自定义目录标题集群部署规划NameNode 和 SecondaryNameNode 不要安装在同一台服务器ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在同一台机器上cpucode101cpucode102cpucode103HDFSNameNodeSecondaryNameNodeDataNodeDataNodeDataNodeYARNResourceMana原创 2022-02-17 22:48:32 · 445 阅读 · 0 评论