自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(31)
  • 资源 (1)
  • 收藏
  • 关注

原创 【Yarn 工作机制 & job的提交流程 & 调度器】

【Yarn 工作机制 & job的提交流程 & 调度器】

2023-12-21 16:45:40 991

原创 【MapReduce 编程步骤及工作原理】

【MapReduce编程步骤及工作原理】

2023-12-21 16:28:35 554

原创 【HDFS的读写流程 & secondary namenode的数据写入流程】

【HDFS的读写流程 & secondary namenode的数据写入流程】

2023-12-21 15:56:31 1073

原创 【Java-数据脱敏】使用Java对姓名、手机号码、证件号码进行数据脱敏

数据脱敏

2023-10-23 17:37:19 1387

转载 深入了解海豚调度DolphinScheduler

深入了解海豚调度DolphinScheduler

2023-02-15 17:39:27 466

原创 flink 实时任务开发 错误问题/错误日志/问题解决 集锦

flink 实时任务开发 错误问题/错误日志/问题解决 集锦

2023-02-15 10:43:53 480

原创 设计模式--单例模式(8种)

推荐使用双重检查,静态内部类,枚举,饿汉式实现单例模式。

2023-01-29 17:46:39 122

原创 设计模式七大原则 (简介,所有编程语言都通用,这里以 java 举例)

设计模式七大原则

2023-01-29 15:36:39 120

原创 mysql 版本 , mysql 驱动版本 与 jdk 版本 的使用关系

MYSQL驱动 8.0 需要 jdk1.8+ 才行,驱动 5.1.46 既可以满足jdk 1.7版本又能满足mysql库是8和5.7

2023-01-29 14:47:49 3290

原创 Hadoop 命令之 distcp 、hdfs 协议 、hftp 协议、 webhdfs 协议 ,数据迁移 备份

Hadoop 命令之 distcp 、hdfs 协议 、hftp 协议、 webhdfs 协议 ,数据迁移 备份

2023-01-17 14:24:54 948

原创 clickhouse 常用函数 算数函数 时间函数 日期函数 字符串函数 比较函数 数据类型函数 逻辑函数 类型转换函数 替换函数 数组函数 随机函数 编码函数 UUID URL IP 函数

clickhouse 常用函数 算数函数 时间函数 日期函数 字符串函数 比较函数 数据类型函数 逻辑函数 类型转换函数 替换函数 数组函数 随机函数 编码函数 UUID URL IP 函数

2023-01-16 16:25:51 1408

原创 SQL(MYSQL)常用函数(时间、日期 获取函数,计算函数,日期加减函数,日期格式化函数)

SQL(MYSQL)常用函数(时间、日期 获取函数,计算函数,日期加减函数,日期格式化函数)

2023-01-16 14:50:39 215

原创 flink kafka connect mysql 广播流 BroadcastStream 错误解决记录 Not all required tasks are currently running.

2、将mysql维度表数据写入kafka,把这个kafka流弄成广播流。这里要让mysql广播流永远running,可以有以下方案。1、自定义source,在run方法里面永远循环。

2023-01-13 18:04:56 771

原创 七、构建docker私有仓库,镜像 push pull delete

七、构建docker私有仓库,镜像 push pull delete

2022-07-04 11:46:31 315

原创 六、docker 镜像和容器的备份与迁移操作步骤

docker 镜像和容器的备份与迁移操作步骤

2022-07-04 11:45:19 590

原创 五、Dockerfile构建镜像

Docker file 构建自定义镜像

2022-07-04 11:44:25 241

原创 三、四、java 控制docker镜像的创建,删除,修改,查询,启动,停止

java 控制docker镜像的创建,删除,修改,查询,启动,停止

2022-07-04 11:33:57 593

原创 二、docker基本命令

docker基本命令

2022-07-04 11:28:39 168

原创 一、docker的安装

docker的安装

2022-07-04 11:27:22 114

原创 实时数仓 大数据 Hadoop flink kafka

⼀、实时数仓建设背景实时需求⽇趋迫切⽬前各⼤公司的产品需求和内部决策对于数据实时性的要求越来越迫切,需要实时数仓的能⼒来赋能。传统离线数仓的数据时效性是 T+1,调度频率以天为单位,⽆法⽀撑实时场景的数据需求。即使能将调度频率设置成⼩时,也只能解决部分时效性要求不⾼的场景,对于实效性要求很⾼的场景还是⽆法优雅的⽀撑。因此实时使⽤数据的问题必须得到有效解决。实时技术⽇趋成熟实时计算框架已经经历了三代发展,分别是:Storm、SparkStreaming、Flink,计算框架越来越成熟。⼀⽅⾯

2022-03-14 17:08:03 1358

原创 2、Docker的安装、设置国内镜像源

1、Docker的安装环境Linux环境中的Centos7.x以上版本步骤:(1)yum 包更新到最新> yum update(2)安装需要的软件包, yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖的> yum install -y yum-utils device-mapper-persistent-data lvm2(3)设置yum源为阿里云> yum-config-manager --add-rep

2022-03-14 17:01:45 1718

原创 1、docker 简介

1、docker 简介Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何的接口。Docker是一个开源的,使用go语言开发,Docker公司主营项目2、容器技术与虚拟化技术对比[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O1cwCDBd-1647248420882)(D:/docker%E8%B5%84%E6%96%

2022-03-14 17:01:01 1850

原创 实时数仓建设案例

⼀、实时数仓建设背景实时需求⽇趋迫切⽬前各⼤公司的产品需求和内部决策对于数据实时性的要求越来越迫切,需要实时数仓的能⼒来赋能。传统离线数仓的数据时效性是 T+1,调度频率以天为单位,⽆法⽀撑实时场景的数据需求。即使能将调度频率设置成⼩时,也只能解决部分时效性要求不⾼的场景,对于实效性要求很⾼的场景还是⽆法优雅的⽀撑。因此实时使⽤数据的问题必须得到有效解决。实时技术⽇趋成熟实时计算框架已经经历了三代发展,分别是:Storm、SparkStreaming、Flink,计算框架越来越成熟。⼀⽅⾯

2022-03-14 16:55:30 4812

原创 使用navicat premium 客户端 连接 mysql 5.7 数据库

使用navicat premium 客户端 连接 mysql 5.7 数据库1、2、3、4、5、完成

2021-07-27 09:59:39 450

转载 安装虚拟机 vmware

https://blog.csdn.net/qq_35206244/article/details/79339453版权声明:本文为上面连接博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。环境:本机环境:windows 7 64 bit内存:8GB 1600MHZCPU:Core i5 4210M 双核双线程VMware镜像:VMware-workstation-full-12.5.8-7098237.exe VMware镜像下载链接1.打开安装包1

2021-07-27 09:55:35 225

原创 安装数据库操作客户端

安装数据库操作客户端 navicat premium 12链接:https://pan.baidu.com/s/1zKkK1RFCwMeKofgwLSaZEg提取码:q6sw1、2、3、4、5、6、7、8、9、10、end

2021-07-27 09:51:28 160

原创 windows 10 7 8 安装 mysql 5.7.32 数据库(通用mysq 5.7.28 等) mysql 5.7.32 数据库 忘记密码 重置密码 修改密码

windows 10 7 8 安装 mysql 5.7.32 数据库(通用mysq 5.7.28 等)mysql 5.7.32 数据库 忘记密码 重置密码 修改密码下载链接:https://pan.baidu.com/s/1OfSBC5oW9lfxgWLrnhNwfw提取码:k8bi下载完解压到你想要的安装目录下1、安装目录根目录新建my.ini 配置文件my.ini 代码如下[mysqld]#端口号port = 3306#根路径basedir=D:\devsoft\mysql-

2021-07-22 15:51:29 244

原创 windows 服务的 启动 与 停止 以及 设置 服务 的 启动类型

windows 服务的 启动 与 停止 以及 设置 服务 的 启动类型服务的启动net start xxx服务的停止net stop xxx设置服务的启动类型(等号后面需要空格)sc config xxx start= delayed-auto 自动(延迟启动)sc config xxx start= auto 自动sc config xxx start= disabled 禁用其他类型自行测试...

2021-07-22 15:22:28 1187

原创 在 VMware 14 中 安装 linux centos7虚拟机(有界面)

在 VMware 14 中 安装 linux centos7虚拟机(有界面)虚拟机与镜像 centos7下载地址链接:https://pan.baidu.com/s/1ymebNGbVA-BmvA_b2pSgnA提取码:ms5u1、 文件==》 新建虚拟机2、选择典型就好,自动配置3、选择镜像文件路径4、自己设置账号名称和密码5、选择虚拟镜像安装的位置6、随意选择7、完成8、静待安装9、静待安装10、安装过程中科院使用红框处添加其他用户11、其他用户的账号密

2021-07-22 15:03:08 136

原创 win 10 虚拟机设置固定 ip

win 10 虚拟机设置固定 ip1、设置网络适配器为NAT模式,点击确定2、更改虚拟网络3、更改NAT ip 地址,并记住,后面有用4、启动win10 虚拟机,输入cmd,点击提示符,然后输入ipconfig查看ip5、修改ip,使地址固定6、右键-》属性-》选择红色框点击打开7、与前面配置对应,点击确定8、关闭虚拟机防火墙或者设置家庭组9、在本机ping虚拟机的ip地址...

2021-07-20 22:59:38 2705 2

原创 在 VMware 14 中安装 win10 虚拟机

安装win10cn_windows_10_enterprise_x64_dvd_6846957.iso镜像地址(网盘链接: 密码: )1、鼠标点击文件–新建虚拟机2、选择典型即可,下一步3、点击浏览,选择你下载的win10镜像,下一步4、下一步,然后选是5、自行选择名称以及存储位置6、自行设置即可,然后下一步7、点击完成8、等待安装(期间可以要鼠标点击然后按enter键继续安装)9、...

2021-07-20 21:44:14 1570 1

实时数仓建设案例.pdf

实时数仓建设案例

2022-03-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除