DataFlow范式
码龄12年
  • 1,369,942
    被访问
  • 286
    原创
  • 689,113
    排名
  • 729
    粉丝
  • 8
    铁粉
关注
提问 私信

个人简介:透过技术圈百态,体会世间冷暖,树立正确的技术观、人生观、价值观和世界观

  • 加入CSDN时间: 2010-04-24
博客简介:

DataFlow范式

博客描述:
透过技术圈百态,体会世间冷暖,树立正确的技术观、人生观、价值观和世界观
查看详细资料
个人成就
  • 博客专家认证
  • 获得207次点赞
  • 内容获得175次评论
  • 获得649次收藏
创作历程
  • 20篇
    2020年
  • 20篇
    2019年
  • 6篇
    2018年
  • 15篇
    2017年
  • 123篇
    2016年
  • 109篇
    2015年
  • 13篇
    2014年
  • 29篇
    2013年
  • 5篇
    2012年
成就勋章
TA的专栏
  • Apache Kylin实战
    13篇
  • ClickHouse从0到1
    1篇
  • Python梦工厂
    8篇
  • HBase实战
    9篇
  • Hive实战
    19篇
  • Greenplum/DeepGreen实战
    16篇
  • Python
    11篇
  • Shell
    15篇
  • MySQL
    38篇
  • Oracle
    17篇
  • Perl
    9篇
  • Vertica
    6篇
  • SybaseIQ
    4篇
  • Greenplum
    26篇
  • Hadoop
    16篇
  • Linux
    22篇
  • PostgreSQL
    1篇
  • DataMiner
    10篇
  • Others
    1篇
  • Java
    5篇
  • Flume
  • Kafka
    1篇
  • Hive
    28篇
  • Hbase
    11篇
  • Data Warehouse
    3篇
  • Oozie
    1篇
  • Impala
    2篇
  • Storm
    1篇
  • Spark
    14篇
  • Scala
    7篇
  • Tachyon
    3篇
  • Redis
    4篇
  • Kylin
    20篇
  • Sqoop
    2篇
  • ElasticSearch
    7篇
  • Phoenix
    7篇
  • Presto
    1篇
  • Docker
    8篇
  • Flink
    3篇
  • Neo4j
    1篇
  • CDH
    1篇
  • Embulk
    1篇
  • ClickHouse
    2篇
兴趣领域 设置
  • 人工智能
    机器学习深度学习神经网络tensorflowpytorch图像处理数据分析
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

非你想的那个 CDC,实为我这个 CDC 也

背景CDC,Change Data Capture,直译为变更数据捕获,反正能理解就对了。答案在哪里你是否在调研数据库数据实时复制方面,遇到以下问题:基于 binlog(transact...
原创
发布博客 2020.06.06 ·
826 阅读 ·
0 点赞 ·
0 评论

来,换个轻松话题,深度学习

今天,笔者将和读者一起聊聊一个令人轻松愉快的话题,关于深度学习。题外话最近,笔者取关了不少微信公众号,套路太深且广告太多,难道不明白大部分人的时间都不够用吗!说什么文正香,意更深,甚荒唐...
原创
发布博客 2020.05.23 ·
378 阅读 ·
0 点赞 ·
0 评论

Hadoop 3.x 时代,EC 露个脸呗!

在本文中,笔者将详细研究 HDFS EC(Erasure Coding,纠删码),讲解什么是 HDFS EC,引入 EC 的原因,用于 EC 的算法,以及在 Hadoop 社区中为 EC...
原创
发布博客 2020.05.15 ·
1480 阅读 ·
3 点赞 ·
1 评论

推荐升级四部曲之 CDH 手动升级,奔涌吧!

插曲在上篇文章《推荐升级四部曲之 CDH 升级重头戏,收藏了!》中,一些人因为善良而容易相信初次看到的事情,觉得升级过程那么那么那么地顺风顺水,正准备养精蓄锐,大干一场,升级换代,大数据...
原创
发布博客 2020.05.07 ·
354 阅读 ·
0 点赞 ·
0 评论

推荐升级四部曲之 CDH 升级重头戏,收藏了!

特别提醒为了保证文章整体的阅读性,笔者并没有将升级过程中遇到的所有问题都记录在本篇文章中,比如 Phoenix 版本不兼容和数据迁移,Hive 集成 Atlas 等。特别需要注意,HBa...
原创
发布博客 2020.04.29 ·
1023 阅读 ·
0 点赞 ·
0 评论

推荐升级四部曲之 CM 升级,收藏了!

概要笔者最近在研究 CDH 大版本升级(CDH 5.16.2 -> CDH 6.3.3)的细节内容,涉及到每个组件的方方面面,确保升级过程中出现各种意外情况能够自主可控,降低未来生...
原创
发布博客 2020.04.28 ·
562 阅读 ·
0 点赞 ·
0 评论

Apache NiFi 如何从入门到不放弃?

既然来了,就留下呗。笔者在之前的文章《物联网遇到流计算》中介绍过 Apache NiFi,虽比不上 StreamSets 华丽的外表,但是功能却很强大,在开源方面,NiFi 的企业级功能...
原创
发布博客 2020.04.18 ·
2018 阅读 ·
4 点赞 ·
1 评论

物联网遇到流计算

今天,笔者和大家聊一聊物联网(IoT),不少人都说物联网开启了万物互联时代,尤其是 5G 的逐渐普及和应用,将会构建万物互联的智能世界,实现物理世界的数...
原创
发布博客 2020.03.26 ·
633 阅读 ·
2 点赞 ·
0 评论

ClickHouse 新特性 Live View 体验

今天笔者来聊一聊 ClickHouse 中的一个新特性,即 Live View 表。MA(Moving Average)提到 MA,估计大家最先想到的应...
原创
发布博客 2020.03.19 ·
1370 阅读 ·
0 点赞 ·
0 评论

快来,视频会议要开始了

温习下面的几张图片,感受一下今天将带来的主题氛围。笔者早在好几年前,做过一段时间的音视频流媒体技术的开发,当然大部分都是自娱自乐,没有实际的生产项目。那么多年过去了,音视频技术成熟度...
原创
发布博客 2020.03.07 ·
171 阅读 ·
2 点赞 ·
0 评论

2020 MIT 6.824 分布式系统课程

MIT 6.824,笔者在几年前刷完了一遍,过程还是相当折磨人的,但受益颇多。如今已是 2020 年了,这个特殊的一年,笔者想和大家一起拿起小板凳,准备好笔记本,再来完整地学习 MIT ...
原创
发布博客 2020.02.26 ·
12799 阅读 ·
28 点赞 ·
6 评论

Spark SQL 自适应执行优化引擎

在本篇文章中,笔者将给大家带来 Spark SQL 中关于自适应执行引擎(Spark Adaptive Execution)的内容。在之前的文章中,笔者介绍过 Flink SQL,目前 ...
原创
发布博客 2020.02.22 ·
1717 阅读 ·
4 点赞 ·
0 评论

涅槃重生:KRPC 实现 Impala 的飞跃

据不完全统计,在生产环境中部署 Impala 集群时,大部分大数据工程师也会赠送一套 Kudu 环境,当然用不用另说。如果只部署了 Impala 而没有 Kudu,那应该是一个意外。如果...
原创
发布博客 2020.02.16 ·
1356 阅读 ·
1 点赞 ·
0 评论

Flink 与 Hive 的磨合期

风雨送春归,飞雪迎春到。已是悬崖百丈冰,犹有花枝俏。俏也不争春,只把春来报。待到山花烂漫时,她在丛中笑。选自《卜算子·咏梅》图片来自网络,如侵权,请联系删除有不少读者反馈,参考上篇文章《...
原创
发布博客 2020.02.07 ·
553 阅读 ·
0 点赞 ·
0 评论

Hive 终于等来了 Flink

等疫情过去了,我们一起看春暖花开。Apache Spark 什么时候开始支持集成 Hive 功能?笔者相信只要使用过 Spark 的读者,应该都会说这是很久以前的事情了。那Apache...
原创
发布博客 2020.02.04 ·
1261 阅读 ·
1 点赞 ·
0 评论

只争朝夕,不负韶华

图片来自网络,如侵权,请联系删除人生天地之间,若白驹过隙,忽然而已。对于每个人来说,每一年总会有那么一两件让自己铭记不忘的事情,或大或小,或轻或重。对笔者来说,其中一件就是开始坚持不定期...
原创
发布博客 2020.01.25 ·
541 阅读 ·
0 点赞 ·
0 评论

PostgreSQL 复制方案(管够)

流感无情,人间有情,总会有雨过天晴的时候。希望大家都能够平平安安,一切顺利。一些读者在公众号后台留言,希望笔者能对 PostgreSQL 的主备进行比较全面的介绍。正好春节前,笔者计划再...
原创
发布博客 2020.01.22 ·
917 阅读 ·
0 点赞 ·
0 评论

PostgreSQL Replication 101 - 故障转移

众所周知,PostgreSQL 在国内的整体份额比不上 MySQL/MariaDB,但是号称世界上功能最为强大(没有更强,只有更强)的开源数据库之一,它在国内近几年发展势头明显。在大数据...
原创
发布博客 2020.01.15 ·
759 阅读 ·
2 点赞 ·
0 评论

所见即所得式数据探索,让数据价值更美丽

在大数据生态系统里面,分析型数据库产品众多,那么如何展示和洞察其中的数据价值呢?最直观的当然是可视化方式,如果没有可视化,再好的数据分析看起来也是苍白无力的,不完美的。数据可视化也是 B...
原创
发布博客 2020.01.09 ·
2035 阅读 ·
0 点赞 ·
1 评论

打开窗,让 Flink 驻进

最近天气时好时坏,忽冷忽热,感冒的人有点多,注意防寒保暖。笔者讲解 Apache Flink 培训系列课程已经有一段时间了,一些读者反馈完成了所有实验并应用到生产实际案例,这真的非常棒,...
原创
发布博客 2020.01.04 ·
40 阅读 ·
0 点赞 ·
0 评论
加载更多