![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 85
吴春成-ZJU
新美大-上海(大众点评)
展开
-
Hadoop源码分析- RPC client端篇
首先摘录别人的Rpc 的一些的总结 1. Client 与 server 端通信采用Writable 序列化形式.因此hadoop中信息的传递 必须继承自writable 接口,writable 接口有两个方法 write 和read 2. Client 端通过调用Call 方法,将消息序列化为writable 形式与server端通信 3. Client 调用sendPin原创 2016-06-17 22:14:49 · 650 阅读 · 1 评论 -
HiveServer2表结构变更太耗时分析
转至元数据结尾 创建: 李星,最新修改于: 十二月 23, 2016 转至元数据起始 转载自数据交换专家同事 HiveServer2启动端口为10002,可以看到大量galaxy过来的请求以及少量主数据过来的请求。 jstack查看HiveServer2的进程,发现有大量线程被block了。转载 2016-12-28 17:19:49 · 1692 阅读 · 1 评论 -
基于Flume的美团日志收集系统(二)改进和优化
基于Flume的美团日志收集系统(二)改进和优化 dju alex ·2013-12-09 22:35 在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。 1 Flume的问题总结 在Flu转载 2016-07-08 19:37:54 · 494 阅读 · 0 评论 -
基于Flume的美团日志收集系统(一)架构和设计
基于Flume的美团日志收集系统(一)架构和设计 dju alex ·2013-12-09 22:30 美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。 第一部转载 2016-07-08 19:36:34 · 905 阅读 · 0 评论 -
Kafka文件存储机制那些事
Kafka文件存储机制那些事 “悠悠香草” ·2015-01-14 00:00 Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级转载 2016-07-08 19:29:21 · 483 阅读 · 0 评论 -
数据仓库数据分层
李秋 联系 管理 数据仓库数据分层 为什么要对数据仓库分层? 用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;如果不分层的话,如果源业务系统的业务规则发生变化将会影响整个数据清洗过程,工作量巨大通过数据分层管理可以简化数据清洗的过程,因为把转载 2016-07-28 17:21:19 · 6499 阅读 · 0 评论 -
Hadoop源码--精彩代码的收集
Configuration getClassByNameOrNull class的缓存机制 (YarnRpc其实还有对class的constructor的缓存)原创 2016-06-26 19:37:41 · 424 阅读 · 0 评论 -
并发框架Disruptor译文
并发框架Disruptor译文 2013年2月28日方 腾飞发表评论阅读评论30,254 人阅读 (感谢同事方腾飞投递本文) Martin Fowler在自己网站上写了一篇LMAX架构的文章,在文章中他介绍了LMAX是一种新型零售金融交易平台,它能够以很低的延迟产生大量交易。这个系统是建立在JVM平台上,其核心是一个业务逻辑处理器,它能够在一个线程里每转载 2016-07-12 15:25:28 · 469 阅读 · 0 评论 -
Hadoop源码 YarnRPC通信框架
这篇文章,我们研究YarnRpc,这是在在hadoop Rpc机制上的封装。 首先,我们看类图和注释。 YarnRPC是抽象工厂,HadoopYarnProtoRPC是具体工厂,它使用RpcFactoryProvider来创建Server和Client 的工厂,这两个工厂分别创建服务器和客户端对象。 YarnRpc是个抽象类,三个接口方法,唯一实原创 2016-06-26 16:24:08 · 954 阅读 · 0 评论 -
Hadoop源码分析 RPC Server端
Server端的入口方法是Rpc.builder.build()方法。 1.Roc.Builder类调用build方法必须满足原创 2016-06-21 12:11:53 · 932 阅读 · 0 评论 -
词法,语法,语义
词法分析(Lexical analysis或Scanning)和词法分析程序(Lexical analyzer或Scanner) 词法分析阶段是编译过程的第一个阶段。这个阶段的任务是从左到右一个字符一个字符地读入源程序,即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号)。词法分析程序实现这个任务。词法分析程序可以使用lex等工具自动生成。 语法分析(Syntax转载 2016-12-28 21:32:51 · 895 阅读 · 0 评论