大数据
茅坤宝骏氹
语言:Java、C/C++、C#、Python、Linux Shell。
框架:Spring、Spring MVC、Spring Boot、Spring Cloud、Hibernate、Mybatis、Freemarker、Velocity。
前端:HTML5、CSS3、JavaScript、Bootstrap、JQuery、Vue、React。
数据库:oracle、mysql、MongoDB、HBase。
缓存:Memcache、Redis。
消息队列:kafka。
大数据:Hadoop、Hive、Sqoop、Flume、Spark、Strom、OpenTSDB、Druid。
展开
-
Hadoop生态Flume(四)拦截器(Interceptor)介绍与使用(2)
转载自Flume中的拦截器(Interceptor)介绍与使用(二)lume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常有用,Flume-ng 1.6中目前提供了以下拦截器:Timestamp Interceptor...转载 2020-01-18 12:09:32 · 228 阅读 · 0 评论 -
Hadoop生态Flume(三)拦截器(Interceptor)介绍与使用(1)
转载自Flume中的拦截器(Interceptor)介绍与使用(一)Flume中的拦截器(interceptor)用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常有用.Flume-ng 1.6中目前提供了以下拦截器:Timestamp Interc...转载 2020-01-18 12:02:04 · 293 阅读 · 0 评论 -
Flume均匀发送数据到kafka的partition配置UUID Interceptor生成key的坑
一、需求Flume向kafka发送数据时,同一个flume发送到kafka的数据总是固定在某一个partition中。而业务需求是发送的数据在所有的partition平均分布二、实现Flume的官方文档:KafkaSinkusesthetopicandkeypropertiesfromtheFlumeEventheaderstosendevents...原创 2020-01-18 11:44:10 · 1270 阅读 · 1 评论 -
Druid SQL查询数据timeStamp时区问题
一、Druid默认时区默认使用UTC+0000,数据存储的时间timeStamp为UTC+0000二、北京时间在中国,使用UTC+0800,查询时间需要设置时区或者将时区转换为UTC+0000时间以下查询是UTC+0000时间,查询结果的dateTime也是UTC+0000时间需要进行时区转换select "__time", "value"from access_lo...原创 2019-12-15 12:02:40 · 4655 阅读 · 0 评论 -
Zookeeper一致性协议原理Zab
转载自Zookeeper一致性协议原理ZabZooKeeper为高可用的一致性协调框架,自然的ZooKeeper也有着一致性算法的实现,ZooKeeper使用的是ZAB协议作为数据一致性的算法, ZAB(ZooKeeper Atomic Broadcast ) 全称为:原子消息广播协议;ZAB可以说是在Paxos算法基础上进行了扩展改造而来的,ZAB协议设计了支持崩溃恢复,ZooKee...转载 2019-10-01 10:24:50 · 146 阅读 · 0 评论 -
分布式系统的Raft算法
转载自分布式系统的Raft算法过去, Paxos一直是分布式协议的标准,但是Paxos难于理解,更难以实现,Google的分布式锁系统Chubby作为Paxos实现曾经遭遇到很多坑。 来自Stanford的新的分布式协议研究称为Raft,它是一个为真实世界应用建立的协议,主要注重协议的落地性和可理解性。 在了解Raft之前,我们先了解Consensus一致性这个概念,它是指多个...转载 2018-09-29 19:53:17 · 202 阅读 · 0 评论 -
分布式系统Paxos算法
转载自分布式系统Paxos算法 这是一个有关Paxos算法非常形象的讲解与示范。Paxos是能够基于一大堆完全不可靠的网络条件下却能可靠确定地实现共识一致性的算法。也就是说:它允许一组不一定可靠的处理器(服务器)在某些条件得到满足情况下就能达成确定的安全的共识,如果条件不能满足也确保这组处理器(服务器)保持一致。什么是共识? 具体来说是这样:分布式系统中由于网络之间通讯可能会中断...转载 2018-09-29 19:35:28 · 212 阅读 · 0 评论 -
Zookeeper总结
一、简介ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。二、提供的常见服务数据发布/订阅 负载均衡 命名服务 分布式协调/通知 集群管理 Master选举 分布式锁...原创 2019-10-01 09:56:20 · 295 阅读 · 0 评论 -
Zookeeper面试题
转载自Zookeeper面试题目录1. ZooKeeper是什么? 2. ZooKeeper提供了什么? 3. Zookeeper文件系统 4. ZAB协议? 5. 四种类型的数据节点 Znode 6. Zookeeper Watcher 机制 -- 数据变更通知 7. 客户端注册Watcher实现 8. 服务端处理Watcher实现 9. 客户端回调Watcher ...转载 2019-09-21 13:11:57 · 159 阅读 · 0 评论 -
Zookeeper选举原理——FastLeaderElection
转载自Zookeeper选举原理作为一个分布式应用程序协调服务,在大型网站中,其本身也是集群部署的,安装zookeeper的时候最好是单数节点,因为要选举。Zookeeper的leader节点是集群工作的核心,用来更新并保证leader和server具有相同的系统状态,Follower服务器是Leader的跟随者,用于接收客户端的请求并向客户端返回结果,在选举过程中参与投票。对于客户端来说...转载 2019-09-14 23:34:53 · 206 阅读 · 0 评论 -
zookeeper面试题
转载自zookeeper面试题1.ZooKeeper是什么?ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。客户端的读请求可以被集群中的任意一台机器处理,如果读请求在节点上注册了监...转载 2019-09-14 23:31:15 · 168 阅读 · 0 评论 -
五分钟轻松了解Hbase面向列的存储
转载自五分钟轻松了解Hbase面向列的存储说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。行式存储传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你...转载 2019-05-02 18:40:31 · 194 阅读 · 0 评论 -
大数据Big Data
转载自 大数据Big Data 2012年本站曾对大数据预测:如果说2012年是大数据概念为人所知、引人瞩目、小试牛刀的一年,那么2013年大数据将会实现产品部署,早期投资获得回报,一小部分的产业被颠覆。到了2014年,各种大数据项目和系统很可能成为标准配置,到处可见。2017年:云和大数据、数据仓库合并起来,成为了一项服务,"分析即服务"和"数据即服务"成为主流 "大数据"[1]作...转载 2018-10-20 11:12:25 · 323 阅读 · 0 评论