- 博客(6)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 kafka 消息格式设计实现
目前kafka消息格式有三个版本（假定v0,v1,v2），0.10.0之前使用的是v0版本，之后慢慢演变出v1,v2，后两个版本在设计方式上没有什么特别大的区别，只是做了些空间上的优化，同样的消息，新版本的使用存储空间会更小，优化主要在于消息头部的压缩，当然还有些功能上的优化，例如添加了时间戳，相对偏移量等；这些不是今天讨论的重点，今天主要来介绍下v0版本的消息格式设计，首先来看下kafka消息的...
2018-09-30 10:12:02
2967
原创 数据仓库分层设计
最近在做数据仓库相关的工作，项目快要收尾了，总结下数据仓库数据分层设计的一些心得；虽然以前做过很多olap相关的工作，就像流量统计分析这种，这种类型分析，我们往往就弄一张大宽表和几张维度表；所有的统计分析都基于这张大宽表与维度表，在这种简单的应用场景，这种设计倒没有什么问题，简单明了；但是如果业务场景复杂，数据种类多，维度多，那数据仓库的设计就尤为重要，特别是在数据出了问题情况下，要进行排查，结构...
2018-09-28 16:34:32
3859
7
原创 hive用户权限以及表权限实现思路
hive权限系统hive本身提供的权限的系统是基于linux用户构建的，带来的问题就是，用户可以伪造账号访问数据，这样的话权限系统形同虚设；所以通常情况下，公司一般都会使用kerberos+sentry这种架构构建数据仓库；这就需要数据团队有比较强的技术实力[kerberos这玩意玩起来挺费劲的]，但是大多数公司可能用上了大数据，但技术储备不够完善；所以我在想如何在不适用这些插件，也能实现这些功...
2018-09-26 16:09:06
10220
1
原创 记录线上presto集群崩溃
公司线上presto集群在周末有大量的任务失败，查看了下机群的负载，除了coordinator，所有worker的cpu和内存基本上都耗尽了，查看日志，出现了很多worker节点被下线的情况，查看jvn进程，出现了很多次FUll GC，而且时间非常长首先我们判断是不是网络问题，因为我们这边的数据主要是hdfs和mysql，在和网络同时沟通测试后，确定presto集群访问hdfs和mysql这两条...
2018-09-19 10:58:26
1146
原创 解析mysql binlog
目前有个功能需要将mysql中的数据同步到数仓（hdfs，kudu或者其他存储）中去，如果离线的方式可以考虑sqoop，spark，缺点就是延时比较高，可能一个小时，或者一天；数据一致性很难得到保证，mysql中的数据经常会变（当然你可以设置一个周期，例如按天同步的话，每次同步都同步过去一个月或者更长周期的数据）现在的需求是需要数仓中的和mysql中的数据保持在秒级别的一致；目前的思路就是实时...
2018-09-12 10:24:01
6221
1
转载 Hive on Spark: Getting Started
Hive on Spark provides Hive with the ability to utilize Apache Spark as its execution engine.set hive.execution.engine=spark;Hive on Spark was added in HIVE-7292.Version CompatibilityHive on ...
2018-09-03 13:25:13
855
FastDFS安装文档以及测试类，redis单点故障解决方案之keepalived
2013-05-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人