自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(10)
  • 资源 (1)
  • 收藏
  • 关注

原创 【CDC实时数据集成】之流消息存储工具

本篇文章主要调研将binlog写入到流消息平台的方案

2024-02-23 14:59:19 394

原创 hudi 数据湖动态列测试

使用spark写入hudi、parquet文件格式动态列测试

2022-06-15 17:06:35 792

原创 flink 分区提交机制和场景

flink分区提交参数,文件滚动参数,并发文件合并策略

2022-06-15 16:58:26 1332

原创 CDH5.15部署flink1.13

CDH5.15部署flink1.13

2022-06-15 11:53:03 770

原创 CDH kerberos部署

Kerberos协议通过强大密钥系统为Server(服务端)和Client(客户端)应用程序之间提供强大的通信加密和认证服务。在自建CDH添加kerberos服务

2022-06-15 11:47:18 771

原创 Alluxio HA模式部署

Alluxio高可用模式

2022-06-15 11:30:04 591

原创 python从0编写spark程序

从0开始搭建spark环境,了解spark里的RDD和DataFrame,并用python编写spark程序,实现分布式数据读取,ML训练。

2020-12-08 23:47:04 710

原创 Docker部署go项目

最近用go写了一个web应用,但用docker部署时候,对于如何加入依赖的第三方包,产生了困惑,这边感谢大D的解惑,下面开始 docker部署go开发的web应用

2020-12-08 23:44:24 2542

原创 《TensorFlow2.0》前馈神经网络和 BP 算法

什么是人工神经网络?人工神经网络有哪些分支?什么是前馈神经网络?神经网络如何使用反向传播?如何用keras搭建一个前馈神经网络架构?通过本篇文章,我们来解决以上问题。在阅读本篇文章之前,希望你已经了解感知器,SVM,成本函数,梯度优化。

2020-12-08 23:40:43 1993

原创 基于K8S的hadoop集群初探

基于k8s的hadoop集群部署,难点在于各个组件的master和node通过hosts进行通信,阅读其他技术文章,有如下两种思路:1、固定每个pod的ip和hosts,然后通过公司的dns做一个解析,这样只要在配置文件里配置好各组件的地址、hosts的文件,启动方式和宿主机一样;2、通过zookeeper或etcd的一些服务发现组件,在各服务节点启动时进行注册、并更新本地hosts文件。

2020-12-08 23:23:54 3650 1

airflow分布式调度

分布式任务调度部署,基于4台机器,采用docker部署,docker做的集群

2018-08-31

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除