- 博客(121)
- 资源 (3)
- 收藏
- 关注
RSS订阅
转载 Hadoop-2.7.6双namenode配置搭建（Hadoop）高可用集群部署教程
配置双namenode的目的就是为了防错，防止一个namenode挂掉数据丢失，具体原理本文不详细讲解，这里只说明具体的安装过程。Hadoop HA的搭建是基于Zookeeper的，关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ，本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。配置Hadoop文件需要修改的...
2018-06-28 17:13:02
1597
原创 ubuntu安装配置eclipse+hadoop开发环境（十分详细）+WordCount实例
我的环境：系统平台：Ubuntu14.04TLS（64位）Hadoop环境：Hadoop2.8.3Eclipse：Neon.2 Release(4.6.2)Eclipse插件：hadoop-eclipse-plugin-2.8.3.jar1.先确保已安装了jdk和hadoop，没有的可参考以下两篇文章，已经安装的跳过此步骤ubuntu jdk安装教程ubuntu搭建hadoop-2.8.3（伪分布...
2018-03-17 19:30:01
4557
2
原创 ubuntu搭建hadoop-2.8.3（伪分布式）
最好不要以root用户进行配置，选择一个普通用户进行配置！！！1.先安装jdk，已安装的可以跳过此步骤，未安装的可参考以下教程 linux安装jdk教程2.下载hadoop-2.8.3下载地址：hadoop下载3.将下载的hadoop-2.8.3拷贝至linux系统桌面解压至根目录命令：sudo tar -zxvf /home/qy/桌面/hadoop-2.8.3.tar.gz -C /home/...
2018-03-14 20:35:58
2048
原创 linux ubuntu jdk安装教程
1.先从官网下载jdk jdk官网下载地址2.将下载的jdk拷贝至linux系统，先放在linux桌面即可3.在/usr/lib下新建目录jvm命令：sudo mkdir -p /usr/lib/jvm注：在普通用户下即可，不用提升至root用户4.将下载的jdk解压到/usr/lib/jvm下命令：sudo tar -zxvf /home/qy/桌面/jdk-8u161-linux-x64...
2018-03-14 12:25:45
835
原创 03 hudi spark sql 客户端命令大全
可以使用分区谓词（partition predicates）在指定的分区上执行 Clustering，并且可以指定排序列对数据进行排序。显示 Hudi 表上的所有 Compaction，包括进行中的和已完成的 Compaction，并按触发时间逆序排列。当按名称传递参数时，参数可以按任意顺序排列，并且任何可选参数都可以省略。在使用 Hudi SparkSQL 扩展的所有 Spark 版本中，存储过程是可用的。支持通过名称（推荐）或位置传递参数。当按位置传递参数时，如果参数是可选的，也可以省略这些参数。
2025-03-18 11:53:28
133
原创 01 hudi 1.0.1源码编译（常见问题处理）
maven：3.9.9hudi：1.0.1Spark：3.3.2Flink：1.15.2Hadoop：3.3.4Hive：3.1.3官网：Download Apache Maven – Maven2.2. 设置环境变量2.3. 添加Maven镜像vim /usr/local/soft/apache-maven-3.9.9/conf/settings.xml3. 编译hudi3.1. 下载hudi源码官网：Download | Apache Hudi修改 hudi-1.0.1
2025-03-11 15:29:49
112
原创 02 hudi 命令大全
hudi1.0.1源码编译2.2. 设置环境变量2.3. 添加Maven镜像vim /usr/local/soft/apache-maven-3.9.9/conf/settings.xml3. 编译hudi3.1. 下载hudi源码官网：Download | Apache Hudi修改 hudi-1.0.1
2025-02-17 16:34:00
322
原创 10 windows安装部署mysql
（4）Mysql8.0 安装错误：只有在任务处于完成状态(RanToCompletion、Faulted 或 Canceled)时才能释放它。解决方案： 右击，打开属性，进入【登录】选项卡，选择本地系统账户。回到mysql安装界面，继续安装即可成功。安装后可以在任务管理器的服务里面找到他。（1）查看binlog状态。
2024-12-16 00:23:24
1003
原创 flink-connector-mysql-cdc：02 mysql-cdc高级扩展
flink版本：flink-1.18.0。flink-cdc版本：3.2.0。mysql版本：8.0.26。maven版本：3.8.4。java版本：1.8。
2024-12-04 23:33:05
640
1
原创 flink-connector-mysql-cdc：03 mysql-cdc常见问题汇总
flink-cdc版本：3.2.0flink版本：flink-1.15.2mysql版本：8.0.26java版本：1.8maven版本：3.8.4。
2024-12-04 22:37:09
964
原创 flink-connector-mysql-cdc：01 mysql-cdc础配置代码演示
flink-connector-mysql-cdc 代码测试以及常见问题处理，扩展应用，生产及代码分析
2024-12-04 20:51:13
773
原创 clickhouse：01 clickhouse union all之后数据量不一致
问题：clickhouse使用union all查询结果与每一段sql查询结果只和不一致。原因：因为clickhouse版本问题，官方给出不同的解释。解决方案：将union all的每一段sql用括号括起来。clickhouse版本：22.8.16.32。
2023-09-15 16:36:17
1119
原创 hudi：03 Spark集成hudi创建表报错
org.apache.hudi.exception.HoodieException: 'path' or 'Key: 'hoodie.datasource.read.paths' , default: null description: Comma separated list of file paths to read within a Hudi table. since version: version is not defined deprecated after: version is not de
2023-09-14 11:33:50
883
1
原创 Flink、Spark、Hive集成Hudi 1.0.1详细教程
版本：0.13.1版本：flink-1.15.2spark版本：3.3.2Hive版本：3.1.3Hadoop版本：3.3.4。
2023-09-14 09:46:19
943
1
原创 Flink-cdc报错整理oracle、mysql、OceanBase、kingbase（附详细代码）
解决方案：移除flink lib下jar包：flink-table-planner-loader-1.15.2.jar。解决方案：flink lib下添加jar包：flink-table-planner_2.12-1.15.2.jar。
2023-06-27 22:06:28
1597
原创 Ambari 2.7.5+HDP3.1.5离线扩容不同配置组
确保ambari server节点启动，Httpd 服务安装并启动，可参考：Ambari 2.7.5+HDP3.1.5离线安装详细教程（附安装包）
2023-05-05 17:00:53
1149
原创 oracle centos7安装Oracle12（附oracle所有版本安装包）
环境： centos 7 Oracle12c 配置环境安装依赖yum -y install binutils.x86_64 compat-libcap1.x86_64 gcc.x86_64 gcc-c++.x86_64 glibc.i686 glibc.x86_64 glibc-devel.i686 glibc-devel.x86_64 ksh compat-libstdc++-33 libaio.i686 libaio.x86_64 libaio-devel.i686 lib
2023-04-12 17:37:47
936
原创 centos8 Ambari-2.7.6.3+HDP-3.3.1离线安装详细教程（附安装包）
centos8离线安装Ambari-2.7.6.3+HDP-3.3.1详细教程（附安装包）
2023-01-16 09:49:46
5030
25
原创 7. KETTLE-9.3.0 centos安装部署
Linux centos7安装部署KETTLE-9.3.0，整合hive整合mysql+job测试
2022-07-19 16:13:56
5196
3
原创 Ambari 2.7.5+HDP3.1.5离线安装详细教程（附安装包）
一.准备工作系统：centos7.6（推荐使用：redhat7、redhat-ppc7、ubuntu14、ubuntu16、ubuntu18）Ambari版本： 2.7.5HDP版本：3.1.5主机：系统 ip 主机名称 主机名 内存 Ambari server mysql httpd服务 centos7.6 192.168.112.143 cluster01.toroidal.comcluster01 8G √ √.
2022-02-22 11:23:26
3656
原创 Spark 递归解析Json
package com.aisainfoimport org.apache.spark.sql.{Column, DataFrame, SparkSession}import org.apache.spark.sql.types._import org.apache.spark.sql.functions._/** * @Author Toroidal * @Date 2021/12/31 11:32 * @Version 1.0 */object Test { def main.
2021-12-31 17:00:05
1268
原创 cdh6.2.1完全离线安装教程
一.准备工作系统：centos7.6cdh版本：6.2.1主机：系统 ip 主机名称 主机名 内存 cm server mysql httpd服务 centos7.6 192.168.112.138 cluster01.toroidal.comcluster01 8G √ √ centos7.6 192.168.112.133 cluster02.toroidal.comcluster02 4G ...
2021-09-16 15:14:38
1129
原创 搭建伪分布式zookeeper-3.5.9
# 切换到zookeeper目录下cd /opt/software/zookeeper-3.5.9-bin# 修改配置文件#拷贝一份配置文件cp conf/zoo_sample.cfg conf/zoo01.cfg# 编辑 zoo01.cfgvim conf/zoo01.cfg# 修改dataDir=${ZOOKEEPER_HOME}/data/2181/dataDirclientPort=2181# 添加dataLogDir=${ZOOKEEPER_HOME}/log/2.
2021-09-15 11:18:30
216
原创 IDEA必备插件大全
1. Background Image Plus +该插件支持用户自定义设置Idea的背景图，并且能修改背景图的透明度，效果如下：一边看美女一边写代码是不是腰也不疼了，头也不昏了。设置方法：打开settings,找到Background Image Plus。设置图片文件夹路径即可，可以设置循环切换背景图。查找图片路径后不显示文件夹中的图片没关系，只要文件路径对，里有图片就可以，正常可用。也可在此处设置，第一次先清除背景图片再设置2. Translation...
2021-08-03 18:01:33
24319
2
原创 canal-1.1.5+mysql8+kafka安装部署
环境：centos7canal-1.1.5mysql-8.0.2kafka-2.1.0+cdh6.2.11. 简介：canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于.
2021-06-22 08:48:57
761
原创 CDH6.2.1集成flink（flink on yarn或Flink-Standalone服务）
目录一：环境准备二：下载安装包1. Flink-shaded包2. flink1.10.2 源码包3. maven配置文件三：编译flink-shaded版本1. 解压tar包2. 解压文件后目录结构3. 修改pom文件4. 开始编译四：编译Flink1.10.2源码1. 解压tar包2. 执行编译3. 等待编译成功4. 打包编译好的文件五：制作parcel包1. 下载git开源制作parcel包的项目2. 修改配置文件 flink-parcel.properties3
2021-06-16 19:39:30
1943
10
原创 centos7 新增磁盘扩容逻辑卷
需求：新增加一块4T磁盘到/data/data00下面1. Linux 行执行命令： lsblk ，查看是否是lvm类型
2021-05-31 16:22:37
1142
原创 IDEA报错找不到或者无法加载主类以及控制台乱码Maven项目运行极慢等问题终极解决方案
问题1：错误：找不到或无法加载主类 com.xxx解决方案有两个：第一个方案（推荐）：勾选 Store generated project files externally第二个方案（不推荐）：勾选 Delegate IDE build/run actions to Maven为什么不推荐了呢，原因有两个点：第一个原因，勾选 Delegate IDE build/run actions to Maven 会导致项目测试运行极慢，因为每次都会走maven去clean-packa
2021-01-28 15:49:46
667
1
原创 分布式搭建-10 Flink三种模式安装教程
2. Flink集群安装Flink支持多种安装模式local（本地）——单机模式，一般不使用standalone——独立模式，Flink自带集群，开发测试环境使用yarn——计算资源统一由Hadoop YARN管理，生产测试环境使用2.1. 伪分布环境部署Flink程序需要提交给Job ClientJob Client将作业提交给Job ManagerJob Manager负责协调资源分配和作业执行。 资源分配完成后，任务将提交给相应的Task ManagerTask Manage
2021-01-26 16:15:21
423
原创 scala-7 Akka并发编程框架
Akka并发编程框架简介Akka介绍Akka是一个用于构建高并发、分布式和可扩展的基于事件驱动的应用的工具包。Akka是使用scala开发的库，同时可以使用scala和Java语言来开发基于Akka的应用程序。Akka特性提供基于异步非阻塞、高性能的事件驱动编程模型内置容错机制，允许Actor在出错时进行恢复或者重置操作超级轻量级的事件处理（每GB堆内存几百万Actor）使用Akka可以在单机上构建高并发程序，也可以在网络中构建分布式程序。Akka通信过程以下图片说明了Ak
2021-01-22 16:41:42
483
Java进阶Spring和springMVC详细示例精通教程资料.7z
2020-03-24
spark 数据算法 Hadoop/Spark大数据处理技巧（Data Algorithms）
2018-12-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人