安装部署大杂烩
文章平均质量分 74
在大数据学习的过程中用到的工具,Hadoop、flume、kafka、zookeeper、Nginx、MySQL、flink等等的安装部署。
一个人的牛牛
一个人的牛牛,要么孤独,要么庸俗!踏踏实实从头开始!
展开
-
Azkaban的安装部署
介绍:Azkaban 是个简单的批处理调度器,用来构建和运行Hadoop作业或其他脱机过程。整体包括三部分webserver、dbserver、executorserver。 Azkaban是由Linkedin开源的一个Java项目,批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。 Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。Azkaban的功能特点1.兼容所有版本的 Had...原创 2022-05-28 12:18:37 · 3742 阅读 · 0 评论 -
安装hive配置同步数据到MySQL(apache-hive-3.1.2-bin)
一.安装准备1.安装好MySQLLinux安装MySQL5.7(CentOS7)_一个人的牛牛的博客-CSDN博客2.下载安装包点击连接下载Index of /hive3.版本选择我安装的是apache-hive-3.1.2-bin版本!二.安装配置1.上传安装包用MobaXterm_Protable上传,MobaXterm_Protable是Windows和Linux之间的连接工具。MobaXterm_Portable的简单使用_一个人的牛牛...原创 2022-05-11 21:33:40 · 1281 阅读 · 0 评论 -
Kafka Eagle的安装(kafka-eagle-bin-1.3.7)
一、安装准备1.安装了kafka没有的可以参考:kafka单机和集群(全分布)的安装部署过程_一个人的牛牛的博客-CSDN博客_kafka集群部署2.下载安装包官网地址:EFAK二、安装配置三、验证输入密码 admin/123456 登录即可...原创 2022-05-05 19:43:54 · 1494 阅读 · 0 评论 -
hadoop3X HA安装部署
目录一、前期准备1.1安装了jdk1.2安装了zookeeper分布式1.3配置免密码登录1.4机器准备二、安装部署2.1上传2.2解压2.3配置环境变量(每一台都要)2.4修改hadoo-env.sh2.5修改core-site.xml2.6修改hdfs-site.xml2.7修改mapred-site.xml2.8修改yarn-site.xml2.9修改workers2.10修改:yarn-env.sh2.11拷贝到其他节点三、验.原创 2022-04-22 14:23:54 · 2609 阅读 · 0 评论 -
canal HA安装配置(Linux)
介绍:Canal 是用 java 开发的基于数据库增量日志解析,提供增量数据订阅&消费的中间件。 目前,Canal 主要支持了 MySQL 的 Binlog 解析,解析完成后才利用 Canal Client 来处理 获得的相关数据。(数据库同步需要阿里的 Otter 中间件,基于 Canal)。 常见场景:常见场景1:更新缓存常见场景2:抓取业务数据新增变化表,用于制作拉链表。 常见场景3:抓取业务表的新增变化数据,用于制作实时统计一、安装准备...原创 2022-04-19 20:34:19 · 2615 阅读 · 1 评论 -
canal单机环境搭建(Linux)
一、安装准备1.1下载安装包官网地址如下:Releases · alibaba/canal · GitHub选择想要安装的版本二、安装配置2.1上传安装包2.2解压#canal解压后是散的,解压的时候需要将canal指定mkdir canal进入安装包的目录执行:#解压到/training/canaltar -zvxf canal.deployer-1.1.4.tar.gz -C /training/canal2.3修改canal.proper..原创 2022-04-19 13:46:28 · 933 阅读 · 0 评论 -
安装配置Nginx全分布
目录一安装准备1.1安装c++环境1.2下载安装包二安装配置2.1上传安装包到相应位置2.2解压2.3进入解压的Nginx目录(nginx-1.12.2)2.4启动/关闭Nginx(要用执行root)2.5配置负载均衡三验证一安装准备1.1安装c++环境 sudo yum -y install openssl openssl-devel pcre pcre-devel zlib zlib-devel gcc gcc-c++完成1....原创 2022-04-13 17:03:46 · 4030 阅读 · 1 评论 -
hbase的安装配置过程(CentOS7)
一.安装准备1.下载hbase安装包点击下面的网址选择想要的安装包下载。Index of /dist/hbase我安装的是:hbase-2.0.32.上传安装包到CentOS用MobaXterm_Protable上传,MobaXterm_Protable是Windows和Linux之间的连接工具。MobaXterm_Portable的简单使用_一个人的牛牛的博客-CSDN博客_mobaxterm portable和installer区别二.安装配置1.解压安装包...原创 2022-03-15 09:47:27 · 7577 阅读 · 4 评论 -
CentOS7安装hive(apache-hive-3.1.2-bin)
目录一.安装准备二.安装配置三.验证安装一.安装准备1.安装好MySQLLinux安装MySQL5.7(CentOS7)_一个人的牛牛的博客-CSDN博客2.下载安装包点击连接下载Index of /hive3.版本选择我安装的是apache-hive-3.1.2-bin版本!二.安装配置1.上传安装包用MobaXterm_Protable上传,MobaXterm_Protable是Windows和Linux之间的连接工具。M.原创 2022-03-12 12:00:30 · 3881 阅读 · 0 评论 -
Linux安装MySQL5.7(CentOS7)
下载MySQL的Linux版本在CentOS7上本地安装MySQL5.7原创 2022-03-12 11:07:43 · 2495 阅读 · 0 评论 -
sqoop的安装(sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz)
一.下载sqoop官网如下:http://archive.apache.org/dist/sqoop/可以选择想要的版本!但后面一定要是.tar.gz原创 2022-03-11 17:25:51 · 4265 阅读 · 0 评论 -
zookeeper单机和集群(全分布)的安装过程
一:zookeeper的单机安装1.安装包获取1.1进入zookeeper的官网下载,官网地址:https://zookeeper.apache.org/releases.html1.2下载我使用的版本,百度网盘地址:链接:https://pan.baidu.com/s/1uQTVMzg8E5QULQTAoppdcQ 提取码:58c52.安装2.1上传安装包zookeeper-3.4.5.tar.gz到hadoop001,直接把zookeeper-3.4.5.ta...原创 2021-12-07 12:19:55 · 748 阅读 · 0 评论 -
kafka单机和集群(全分布)的安装部署过程
一:安装准备1.必须安装了zookeeperzookeeper安装操作:zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客2.下载kafka可以通过这两个网站下载想要的版本http://kafka.apache.org/downloadshttps://mirrors.tuna.tsinghua.edu.cn/apache/kafka/或者下载和我一样的版本(我用的是kafka_2.11-2.3.1.tgz)百度网盘地址:链接...原创 2021-12-07 18:36:28 · 2417 阅读 · 0 评论 -
Flume的安装与Flume监控端口数据官方案例
Flume的安装与Flume监控端口数据官方案例原创 2021-12-01 17:21:24 · 2132 阅读 · 0 评论 -
Hadoop全分布式的安装--hadoop-2.7.3
Hadoop全分布式的安装--hadoop-2.7.3原创 2021-12-01 15:35:54 · 3348 阅读 · 3 评论 -
Linux系统CentOS7安装jdk
Linux系统CentOS7安装jdk原创 2021-11-29 16:57:12 · 1602 阅读 · 0 评论 -
MobaXterm_Portable的简单使用
MobaXterm_Portable的简单使用原创 2021-11-29 13:31:48 · 7060 阅读 · 1 评论 -
Linux安装Scala(CentOS7)
目录一、安装准备1.1下载安装包1.2环境准备二、安装2.1解压2.2配置环境变量2.3环境变量生效三、验证一、安装准备1.1下载安装包官网:All Available Versions | The Scala Programming Language选择想要的版本下载,我的是2.11.81.2环境准备安装了java1.8以上没有的参考:Linux系统CentOS7安装jdk_一个人的牛牛的博客-CSDN博客一台Linux虚拟机原创 2022-04-17 12:53:15 · 936 阅读 · 0 评论 -
Hadoop2X HA环境部署
一、前期准备1.1安装了jdk1.2安装了zookeeper分布式zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客1.3配置免密码登录Linux配置免密登录单机和全分布_一个人的牛牛的博客-CSDN博客1.4机器准备主节点 从节点 hadoop01 hadoop02 hadoop02 hadoop03 笔记本性能不够,没有安装多的虚拟机,hadoop02重复使用。二、安装部署2.1上传...原创 2022-04-16 15:07:08 · 1211 阅读 · 0 评论 -
Flink HA的环境搭建
一、前期准备1.1下载点击下面的网址进行下载:Apache Flink: Downloads注:新版本需要自己下载相应的jar包。如:flink-shaded-hadoop2-uber-1.3.3.jar测试用,我使用的是1.3.3,大家可以使用高一点的版本。1.2环境准备1.2.1安装部署了Hadoop HA和zookeeper;zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客1.2.2jdk1.8以上;Linux系统Cen..原创 2022-04-16 15:19:36 · 715 阅读 · 0 评论