QYmufeng的博客

hudi1.0.1源码编译2.2. 设置环境变量2.3. 添加Maven镜像vim /usr/local/soft/apache-maven-3.9.9/conf/settings.xml3. 编译hudi3.1. 下载hudi源码官网：Download | Apache Hudi修改 hudi-1.0.1

版本：0.13.1版本：flink-1.15.2spark版本：3.3.2Hive版本：3.1.3Hadoop版本：3.3.4。

环境： centos 7 Oracle12c 配置环境安装依赖yum -y install binutils.x86_64 compat-libcap1.x86_64 gcc.x86_64 gcc-c++.x86_64 glibc.i686 glibc.x86_64 glibc-devel.i686 glibc-devel.x86_64 ksh compat-libstdc++-33 libaio.i686 libaio.x86_64 libaio-devel.i686 lib

centos8离线安装Ambari-2.7.6.3+HDP-3.3.1详细教程（附安装包）

seatunnel

sqoop-1.4.7安装部署

centos7虚拟机基础环境部署

Hive-3.1.3、hiveserver2安装部署

Hadoop伪分布式安装部署并运行自带例子

clickhouse 单节点多实例部署

Linux centos7安装部署KETTLE-9.3.0，整合hive整合mysql+job测试

zookeeper-3.4.10 伪分布式安装部署

一.准备工作系统：centos7.6（推荐使用：redhat7、redhat-ppc7、ubuntu14、ubuntu16、ubuntu18）Ambari版本： 2.7.5HDP版本：3.1.5主机：系统 ip 主机名称 主机名 内存 Ambari server mysql httpd服务 centos7.6 192.168.112.143 cluster01.toroidal.comcluster01 8G √ √.

一.准备工作系统：centos7.6cdh版本：6.2.1主机：系统 ip 主机名称 主机名 内存 cm server mysql httpd服务 centos7.6 192.168.112.138 cluster01.toroidal.comcluster01 8G √ √ centos7.6 192.168.112.133 cluster02.toroidal.comcluster02 4G ...

# 切换到zookeeper目录下cd /opt/software/zookeeper-3.5.9-bin# 修改配置文件#拷贝一份配置文件cp conf/zoo_sample.cfg conf/zoo01.cfg# 编辑 zoo01.cfgvim conf/zoo01.cfg# 修改dataDir=${ZOOKEEPER_HOME}/data/2181/dataDirclientPort=2181# 添加dataLogDir=${ZOOKEEPER_HOME}/log/2.

环境：centos7canal-1.1.5mysql-8.0.2kafka-2.1.0+cdh6.2.11. 简介：canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于.

目录一：环境准备二：下载安装包1. Flink-shaded包2. flink1.10.2 源码包3. maven配置文件三：编译flink-shaded版本1. 解压tar包2. 解压文件后目录结构3. 修改pom文件4. 开始编译四：编译Flink1.10.2源码1. 解压tar包2. 执行编译3. 等待编译成功4. 打包编译好的文件五：制作parcel包1. 下载git开源制作parcel包的项目2. 修改配置文件 flink-parcel.properties3

环境：centos

2. Flink集群安装Flink支持多种安装模式local（本地）——单机模式，一般不使用standalone——独立模式，Flink自带集群，开发测试环境使用yarn——计算资源统一由Hadoop YARN管理，生产测试环境使用2.1. 伪分布环境部署Flink程序需要提交给Job ClientJob Client将作业提交给Job ManagerJob Manager负责协调资源分配和作业执行。 资源分配完成后，任务将提交给相应的Task ManagerTask Manage

# 1、yum 包更新到最新 yum update# 2、安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的 yum install -y yum-utils device-mapper-persistent-data lvm2# 3、 设置yum源yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo#

https://blog.csdn.net/wangkai_123456/article/details/87603464

Python下载 官网：https://www.python.org/downloads/ 下载依赖包 通过修改联网机yum配置，在使用yum install xxx 的时候直接将这些依赖保存在指定目录中，而不是直接删除，便于后面将这些依赖包拷贝到离线服务器中。具体操作如下：vim /etc/yum.confcachedir=/var/cache/yum # yum in...

普通用户sudo免密码 vim /etc/sudoers//首行加入 dcadmin为用户名dcadmin ALL=(root)NOPASSWD:ALL 查看Linux版本信息 lsb_release -a 查看有无yum安装包 ，有的话卸载： 查看：sudo rpm -qa |grep yum卸载：sudo rpm -aq|grep yum|xarg...

Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。hue下载地址：http://gethue.c...

（一）Hive 概述：参考： hive下载hive-0.13.1hadoop下载及版本选择1.解压tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz -C /opt/modules/cd /opt/modules/mv hive-0.13.1-cdh5.3.6/ hive-0.13.12.配置cd /opt/...

一.在线安装mysql1.修改yum源 为阿里源1.更改yum源为阿里。首先备份 /etc/yum.repos.d/CentOS-Base.repomv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2.、下载新的CentOS-Base.repo 到/etc/yum.r...

环境：1..版本选择参考： hadoop集群版本兼容问题hadoop-2.5.0hive-0.13.1spark-1.2.0hbase-0.98.6flume-ng-1.7.0jdk-8u161-linux-x64.tar.gz下载地址：ht...

环境：1..版本选择参考： hadoop集群版本兼容问题hadoop-2.5.0hive-0.13.1spark-1.2.0hbase-0.98.6flume-ng-1.5.0jdk-8u161-linux-x64.tar.gz ...

环境：1..版本选择参考： hadoop集群版本兼容问题hadoop-2.5.0hive-0.13.1spark-1.2.0hbase-0.98.6flume-ng-1.5.0jdk-8u161-linux-x64.tar.gz组件分布：...

环境：CentOS 6.4 （查看系统版本命令： lsb_release -a）1.下载qperf官方下载地址：https://pkgs.org/download/qperf不建议下载通用版本，安装起来问题和依赖超级多比较麻烦，直接下载自己系统版本对应的，我下载的是centos6的二进制文件2.下载依赖：下载qperf软件包的时候可以...

1.下载zookeeper-3.4.5-cdh5.10.0.tar.gz 下载地址：http://zookeeper.apache.org/2.上传文件解压3.切换目录到：opt/modules/zookeeper-3.4.5/conf1.复制配置文件cp conf/zoo_sample.cfg zoo.cfg开始配置zoo.cfgtickTime=2...

环境： 1.主机配置 主机1 主机2 主机3 系统 Centos7 Centos7 Centos7 内存 4G 2G 2G ...

选择自己要下载的hadoop版本，以及对应的cdh5的办版本，然后其它组件全部选择cdh5对应的版本即可集群组件cdh5下载地址：https://archive.cloudera.com/cdh5/官方下载地址：http://archive.apache.org/dist/比如我选择的是hadoo版本是hadoop-2.5.0并且cdh5的版本选择的是cdh5.3.6，那么其...

具体报错：Metastore connection URL:     jdbc:mysql://hm02:3306/hive?createDatabaseIfNotExist=trueMetastore Connection Driver :     com.mysql.cj.jdbc.DriverMetastore connection User:     hiveorg.apach...

配置双namenode的目的就是为了防错，防止一个namenode挂掉数据丢失，具体原理本文不详细讲解，这里只说明具体的安装过程。Hadoop HA的搭建是基于Zookeeper的，关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ，本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。配置Hadoop文件需要修改的...

1.问题：sqoop上传数据到hdfs报错：Exception: Job Failed with status:32015-05-08 14:29:12 CST: RUNNING  - 84.47 %2015-05-08 14:29:22 CST: RUNNING  - 84.47 %2015-05-08 14:29:32 CST: RUNNING  - 84.47 %2015-05-08 14:...

我的环境：系统平台：Ubuntu14.04TLS（64位）Hadoop环境：Hadoop2.8.3Eclipse：Neon.2 Release(4.6.2)Eclipse插件：hadoop-eclipse-plugin-2.8.3.jar1.先确保已安装了jdk和hadoop，没有的可参考以下两篇文章，已经安装的跳过此步骤ubuntu jdk安装教程ubuntu搭建hadoop-2.8.3（伪分布...

1.先从官网下载jdk jdk官网下载地址2.将下载的jdk拷贝至linux系统，先放在linux桌面即可3.在/usr/lib下新建目录jvm命令：sudo mkdir -p /usr/lib/jvm注：在普通用户下即可，不用提升至root用户4.将下载的jdk解压到/usr/lib/jvm下命令：sudo tar -zxvf /home/qy/桌面/jdk-8u161-linux-x64...