java程序设计
文章平均质量分 69
年轻的海员
专注大数据分布式计算,存储,消息系统等
展开
-
hadoop提供的一种程序驱动管理程序
hadoop开发包里一般都携带一些基准测试程序,这是一批程序,如何管理好大型项目的测试程序,做一个方便好用的工具呢?我们都知道,java程序的基本单位是类,程序的入口是指定类的main方法,有时候可能会通过抽象工厂方法实现程序的适配,这种方式当然也是行之有效的,但是有时候更简单的方式是控制程序启动的入口。hadoop的基准测试程序就是这样做的。首先给每一个测试程序起一个原创 2013-12-04 12:32:07 · 2049 阅读 · 0 评论 -
批量数据的聚合以及groupby实现
大家一定对sql非常熟悉,关系型数据库自不必说,现在越来越多的大数据系统也都支持sql,比如hive,odps ,presto,phoenix(hbase),galaxy 以及cep(esper)等都支持sql,或者类sql语言。sql语言更接近自然语言,让人非常容易理解,上手也比较方便,可以有效降低系统的入门门槛。很多大数据系统都用antlr来实现sql,antlr帮助我们实现sql语法解析和编原创 2016-02-19 16:30:15 · 4339 阅读 · 0 评论 -
metrics小常识
Metrics,我们听到的太多了,熟悉大数据系统的不可能没听说过metrics,当我们需要为某个系统某个服务做监控、做统计,就需要用到Metrics。举个例子,一个图片压缩服务:每秒钟的请求数是多少(TPS)?平均每个请求处理的时间?请求处理的最长耗时?等待处理的请求队列长度?又或者一个缓存服务:缓存的命中率?平均查询缓存的时间?基本上每一个服务、应用都需要转载 2016-07-13 17:27:09 · 18272 阅读 · 0 评论 -
spring boot 笔记
spring boot对于简化java web开发非常有帮助,基本上不需要什么配置,就可以直接运行起来一个web服务 org.springframework.boot spring-boot-starter-parent 1.3.8.RELEASE org.springframewo原创 2016-10-26 20:17:16 · 393 阅读 · 0 评论 -
actor 模型原理 (一)
actor模型很牛逼,很流行,但是我不会,妈的,国内搜出来的讲解actor的都看不太懂,讲不太清,下面哥们就翻译一下老外的文章,以粗浅的方式体会一下到底什么是actor模型?多线程开发要处理并发,锁,线程同步等一系列问题,一不小心,弄个大的bug,所以一般都不愿意自己动手写,能不能换一种思路,可以不可以介绍一种更高级的抽象模型,让我想实现多线程应用的时候,不用再考虑这些底层问题呢?原创 2016-12-22 15:31:08 · 11993 阅读 · 6 评论 -
actor 模型原理 (三)
上面这个图呢,展示了老师这个actor收到消息之后,给学生回复的过程DriverApp 发送一个初始化 InitSignal 消息给 StudentActor StudentActor 收到这个消息之后给老师发了一个 QuoteRequest老师 回复了一个 QuoteResponse.学生收到之后再把这个回复打印出来对于驱动程序,那么上面它做的事情用代码就原创 2016-12-22 17:30:38 · 1465 阅读 · 0 评论 -
actor模型(四)
浪起来,开始学习下akka到底怎么用,下面以实现一个wordcount为例,写一个Java版本的小程序原创 2017-01-06 10:21:47 · 1072 阅读 · 0 评论