- 博客(101)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 大数据管理平台DataSophon-1.1.1安装部署详细流程
DataSophon致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。
2023-06-01 09:03:54
5069
11
原创 大数据数据湖技术Hudi0.12.0版本源码编译
Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。Apache Hudi可以轻松地在任何云存储平台上使用。
2023-05-24 09:37:38
1160
原创 Doris-1.2.0升级到Doris-1.2.4
在使用doris-1.2.0版本时发现BE节点无故宕机，自己尝试解决无果后再官网寻找解决方案，发现在doris-1.2.0版本中存在这样的隐患bug导致BE节点宕机。而在咨询社区之后建议对doris进行升级，升级版本doris-1.2.4。该版本是解决1.2.x问题的修复版本。
2023-04-21 09:03:10
947
原创 大数据技术Canal总结和详细案例
MySQL 的二进制日志，它记录了所有的 DDL 和 DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。二进制有两个最重要的使用场景:① MySQL Replication 在 Master 端开启 Binlog，Master 把它的二进制日志传递给 Slaves来达到 Master-Slave 数据一致的目的。② 数据恢复，通过使用 MySQL Binlog 工具来使恢复数据。
2023-03-24 23:48:40
866
原创 [BUG]The server selected protocol version TLS10 is not accepted by client preferences [TLS13, TLS12]
在当前部署好最新版本dolphinscheduler-3.1.3版本基础上，连接sqlserver发生报错。
2023-03-22 09:17:35
819
原创 最新版海豚调度dolphinscheduler-3.1.3配置windows本地开发环境
本文基于最新版海豚调度dolphinscheduler-3.1.3配置windows本地开发环境，并在windows本地进行调试和开发。
2023-02-16 13:47:59
6407
13
原创 CDH数仓项目(三) —— Kerberos安全认证和Sentry权限管理
CDH数仓项目基于Kerberos安全认证和Sentry权限管理详细说明
2023-02-02 21:35:42
2572
4
原创 Doris-1.2.0安装部署详细流程
Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。MPP (Massively Parallel Processing)，即大规模并行处理。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到终的结果(与Hadoop相似)。
2023-01-31 16:13:16
4116
原创 最新版海豚调度dolphinscheduler-3.1.3安装部署详细教程
最新版dolphinscheduler-3.1.3版本安装部署
2023-01-20 15:45:39
15637
32
原创 [BUG] spotless-maven-plugin:2.23.0:check failed: Unable to resolve dependencies
bug解决maven不能正常打包问题
2023-01-13 20:40:26
1841
原创 [BUG]Could not find artifact jdk.tools:jdk.tools:jar:1.6 at specified path D:\soft\jdk8/../lib/tools
解决Bug
2022-12-16 21:26:14
2199
原创 [BUG] runtime network not ready: NetworkReady=false reason:NetworkPluginNotRead
runtime network not ready: NetworkReady=false reason:NetworkPluginNotRead
2022-11-27 23:49:21
7113
原创 轻量级分布式协调工具Etcd介绍和使用
Etcd是CoreOS基于Raft协议开发的分布式key-value存储，可用于服务发现、共享配置以及一致性保障（如数据库选主、分布式锁等）。
2022-09-04 19:26:24
2396
原创 Centos7编译openldap-2.4.44
1 准备条件1.1 系统环境当前系统版本：centos7.7 x86_64 GNU/Linux1.2 软件openldap-2.4.44.tgzdb-5.1.29.tar.gzldapadmin-4.13 windows链接，可视化工具1.3 准备工作1.3.1 关闭selinux①临时关闭 （不需要重启服务器）setenforce 0然后再输入命令：getenforce 0进行查看，此时变成了Permissive，则说明SElinux关闭成功②永久关闭 （需要重启服务器）vi
2022-04-09 16:06:49
3639
2
原创 Centos7.7编译openshell
1 准备条件1.1 系统环境当前系统版本：centos7.7 x86_64 GNU/Linux1.2 软件openssl-1.1.1.tar.gz下载地址：https://www.openssl.org/source/选择下载1.1.1版本即可1.3 环境准备1）确保已经安装gcc如果正常安装gcc命令，执行如下命令有正常的输出结果gcc -v2) 检查是否安装zlib whereis zlib rpm -aq | grep zlib2 编译openssl2.1 解压
2022-04-09 15:25:51
3340
原创 Centos 7 制作离线yum源
1 确定需要安装的服务安装sssd相关服务需要安装的服务具体有：sssd nss-pam-ldapd openldap-clients nss pamhue组件离线yum源需安装的服务有：asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openlda
2022-04-07 12:57:00
5518
原创 Kubernetes实战之--Deployment升级和回滚
1 Deployment升级1.1 现在环境中准备两个版本的nginx,并配置好yml文件nginx-deployment.yml文件内容如下：---apiVersion: apps/v1kind: Deploymentmetadata: name: nginx-deployment namespace: defaultspec: replicas: 3 selector: matchLabels: app: nginx template: m
2022-03-31 20:23:18
1218
原创 [Bug]Error from server (BadRequest): container “xx“ in pod “xx“ is waiting to start:trying and faili
0 背景执行如下yaml文件创建Pod时发生报错---apiVersion: v1kind: Podmetadata: name: volume-podspec: containers: - name: tomcat image: tomcat:latest ports: - containerPort: 8080 volumeMounts: - name: app-logs mountPat
2022-03-31 20:13:45
14983
原创 【bug】missing required field “selector“ in io.k8s.api.apps.v1.DeploymentSpec；
创建Pod时报错如下：执行创建nginx的pod命令报错如下：kubectl apply -f nginx2.ymlerror: error validating "nginx2.yml": error validating data: ValidationError(Deployment.spec): missing required field "selector" in io.k8s.api.apps.v1.DeploymentSpec; if you choose to ignore th
2022-01-30 15:05:34
5084
2
原创 Kubernetes集群搭建----超详细总结说明(Centos7版本)
0 必要条件服务器需要满足以下几个条件：① 由于网络问题，需要配置国内yum源进行相关的下载，以保证能够正常部署k8s。如果没有配置，详情看这篇文章② 要求64位Linux操作系统，且内核版本要求3.10及以上，能满足安装Docker项目所需的要求；③ 机器之间要保持网络互通，这是未来容器之间网络互通的前提条件；④ 要有外网访问权限，因为部署的过程中需要拉取相应的镜像，要求能够访问到gcr.io、quay.io这两个docker registry,因为有小部分镜像需要从这里拉取；⑤ 单机可用资
2021-12-19 20:00:23
1485
原创 kubernetes集群节点Not Ready问题排查
0 现象搭建的kubernetes集群，其中Master节点为Ready状态，另外一个节点为Not Ready状态1 解决思路systemctl status kubelet.service查看当前节点hik-2的状态，发现是loaded状态错误原因：Process: 11571 ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS$KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_E
2021-12-16 19:17:13
3617
原创 配置centos的yum源时报错Could not resolve host: mirrors.aliyun.com； Unknown error
0 背景在配置阿里作为centos的Yum源时发生报错，报错内容如下：1 原因当前无法解析域名，需要配置域名解析服务器2 解决办法1）打开/etc/resolv.conf文件2) 写入如下内容nameserver 8.8.8.8nameserver 114.114.114.114重启网络生效即可service network restart4）再次执行cutl命令，此时发现可以正常执行在这里插入图片描述...
2021-12-13 12:38:33
18985
3
原创 键值型非关系型数据库Redis使用说明大全
0 介绍Redis是一个开源的key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，Redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是Redis会周期性的把更新
2021-10-19 20:22:27
178
原创 Flink流式计算之ProcessionFunction说明与案例
0 ProcessFunction API我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换
2021-07-13 19:59:32
422
6
原创 Flink流式计算之时间语义与watermark
1 说明在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。Ingestion Time：是数据进入Flink的时间。Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是Processing Time。例如，一条日志进入Flink的时间为2017-11-12 10:0
2021-07-05 21:22:38
356
4
转载 Flink流式计算之windows介绍与说明
1 介绍streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段。Window可以分成两类： CountWindow：按照指定的数据条数生成一个Window，与时间无关。 TimeWindow：按照时间生成Window。对于TimeWindow，可以根据窗口实现原理的不同分成三类：滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）和会话窗口（
2021-07-05 21:11:40
221
原创 Fllink流式计算Sink介绍
0 说明Flink没有类似于spark中foreach方法，让用户进行迭代的操作。虽有对外的输出操作都要利用Sink完成。最后通过类似如下方式完成整个任务最终输出操作。 stream.addSink(new MySink(xxxx)) 官方提供了一部分的框架的sink。除此以外，需要用户自定义实现sink1 kafka1.1 添加依赖 <dependency> <groupId>org.apache.flink</groupId>
2021-07-05 21:03:33
401
4
原创 Flink流式计算介绍之Transformer
0 准备准备测试数据：sensor_1,1624006065247,43.92789292115926sensor_2,1624006065247,97.45845640790921sensor_3,1624006065247,41.35949935067326sensor_4,1624006065247,86.68115422056633sensor_5,1624006065247,52.53673229860578sensor_6,1624006065247,56.660350814701
2021-07-05 20:53:49
367
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人