送你秋天的第一杯奶茶-CSDN博客

⼀、实时数仓建设背景实时需求⽇趋迫切⽬前各⼤公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能⼒来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，⽆法⽀撑实时场景的数据需求。即使能将调度频率设置成⼩时，也只能解决部分时效性要求不⾼的场景，对于实效性要求很⾼的场景还是⽆法优雅的⽀撑。因此实时使⽤数据的问题必须得到有效解决。实时技术⽇趋成熟实时计算框架已经经历了三代发展，分别是：Storm、SparkStreaming、Flink，计算框架越来越成熟。⼀⽅⾯

2022-03-14 17:08:03 1277

原创 2、Docker的安装、设置国内镜像源

1、Docker的安装环境Linux环境中的Centos7.x以上版本步骤：（1）yum 包更新到最新> yum update（2）安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的> yum install -y yum-utils device-mapper-persistent-data lvm2（3）设置yum源为阿里云> yum-config-manager --add-rep

2022-03-14 17:01:45 1680

原创 1、docker 简介

1、docker 简介Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何的接口。Docker是一个开源的,使用go语言开发，Docker公司主营项目2、容器技术与虚拟化技术对比[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O1cwCDBd-1647248420882)(D:/docker%E8%B5%84%E6%96%

2022-03-14 17:01:01 1830

原创实时数仓建设案例

⼀、实时数仓建设背景实时需求⽇趋迫切⽬前各⼤公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能⼒来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，⽆法⽀撑实时场景的数据需求。即使能将调度频率设置成⼩时，也只能解决部分时效性要求不⾼的场景，对于实效性要求很⾼的场景还是⽆法优雅的⽀撑。因此实时使⽤数据的问题必须得到有效解决。实时技术⽇趋成熟实时计算框架已经经历了三代发展，分别是：Storm、SparkStreaming、Flink，计算框架越来越成熟。⼀⽅⾯

2022-03-14 16:55:30 4750

原创使用navicat premium 客户端连接 mysql 5.7 数据库

使用navicat premium 客户端连接 mysql 5.7 数据库1、2、3、4、5、完成

2021-07-27 09:59:39 403

转载安装虚拟机 vmware

https://blog.csdn.net/qq_35206244/article/details/79339453版权声明：本文为上面连接博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。环境：本机环境：windows 7 64 bit内存：8GB 1600MHZCPU：Core i5 4210M 双核双线程VMware镜像：VMware-workstation-full-12.5.8-7098237.exe VMware镜像下载链接1.打开安装包1

2021-07-27 09:55:35 204

原创安装数据库操作客户端

安装数据库操作客户端 navicat premium 12链接：https://pan.baidu.com/s/1zKkK1RFCwMeKofgwLSaZEg提取码：q6sw1、2、3、4、5、6、7、8、9、10、end

2021-07-27 09:51:28 144

原创 windows 10 7 8 安装 mysql 5.7.32 数据库(通用mysq 5.7.28 等) mysql 5.7.32 数据库忘记密码重置密码修改密码

windows 10 7 8 安装 mysql 5.7.32 数据库(通用mysq 5.7.28 等)mysql 5.7.32 数据库忘记密码重置密码修改密码下载链接：https://pan.baidu.com/s/1OfSBC5oW9lfxgWLrnhNwfw提取码：k8bi下载完解压到你想要的安装目录下1、安装目录根目录新建my.ini 配置文件my.ini 代码如下[mysqld]#端口号port = 3306#根路径basedir=D:\devsoft\mysql-

2021-07-22 15:51:29 226

原创 windows 服务的启动与停止以及设置服务的启动类型

windows 服务的启动与停止以及设置服务的启动类型服务的启动net start xxx服务的停止net stop xxx设置服务的启动类型（等号后面需要空格）sc config xxx start= delayed-auto 自动（延迟启动）sc config xxx start= auto 自动sc config xxx start= disabled 禁用其他类型自行测试...

2021-07-22 15:22:28 1122

原创在 VMware 14 中安装 linux centos7虚拟机（有界面）

在 VMware 14 中安装 linux centos7虚拟机（有界面）虚拟机与镜像 centos7下载地址链接：https://pan.baidu.com/s/1ymebNGbVA-BmvA_b2pSgnA提取码：ms5u1、文件==》新建虚拟机2、选择典型就好，自动配置3、选择镜像文件路径4、自己设置账号名称和密码5、选择虚拟镜像安装的位置6、随意选择7、完成8、静待安装9、静待安装10、安装过程中科院使用红框处添加其他用户11、其他用户的账号密

2021-07-22 15:03:08 126

原创 win 10 虚拟机设置固定 ip

win 10 虚拟机设置固定 ip1、设置网络适配器为NAT模式，点击确定2、更改虚拟网络3、更改NAT ip 地址，并记住，后面有用4、启动win10 虚拟机，输入cmd，点击提示符，然后输入ipconfig查看ip5、修改ip，使地址固定6、右键-》属性-》选择红色框点击打开7、与前面配置对应，点击确定8、关闭虚拟机防火墙或者设置家庭组9、在本机ping虚拟机的ip地址...

2021-07-20 22:59:38 2582 2

原创在 VMware 14 中安装 win10 虚拟机

安装win10cn_windows_10_enterprise_x64_dvd_6846957.iso镜像地址（网盘链接：密码：）1、鼠标点击文件–新建虚拟机2、选择典型即可，下一步3、点击浏览，选择你下载的win10镜像，下一步4、下一步，然后选是5、自行选择名称以及存储位置6、自行设置即可，然后下一步7、点击完成8、等待安装（期间可以要鼠标点击然后按enter键继续安装）9、...

2021-07-20 21:44:14 1519 1

CSDNHXW的博客

原创【Yarn 工作机制 & job的提交流程 & 调度器】

原创【MapReduce 编程步骤及工作原理】

原创【HDFS的读写流程 & secondary namenode的数据写入流程】

原创【Java-数据脱敏】使用Java对姓名、手机号码、证件号码进行数据脱敏

转载深入了解海豚调度DolphinScheduler

原创 flink 实时任务开发错误问题/错误日志/问题解决集锦

原创设计模式--单例模式（8种）

原创设计模式七大原则（简介，所有编程语言都通用，这里以 java 举例）

原创 mysql 版本， mysql 驱动版本与 jdk 版本的使用关系

原创 Hadoop 命令之 distcp 、hdfs 协议、hftp 协议、 webhdfs 协议，数据迁移备份

原创 clickhouse 常用函数算数函数时间函数日期函数字符串函数比较函数数据类型函数逻辑函数类型转换函数替换函数数组函数随机函数编码函数 UUID URL IP 函数

原创 SQL（MYSQL）常用函数（时间、日期获取函数，计算函数，日期加减函数，日期格式化函数）

原创 flink kafka connect mysql 广播流 BroadcastStream 错误解决记录 Not all required tasks are currently running.

原创七、构建docker私有仓库，镜像 push pull delete

原创六、docker 镜像和容器的备份与迁移操作步骤

原创五、Dockerfile构建镜像

原创三、四、java 控制docker镜像的创建，删除，修改，查询，启动，停止

原创二、docker基本命令

原创一、docker的安装

原创实时数仓大数据 Hadoop flink kafka