大数据
文章平均质量分 71
DoNOtTOBeAL0Ser
这个作者很懒,什么都没留下…
展开
-
Zebra项目总结
四个工程的作用Zebra项目是一个比较底层的分布式项目。在这个项目中让我们初步了解了分布式编程的一些特点。 在Zebra项目中,任务是把一个电信日志文件中的数据提取出来,然后对里面的数据进行提取。分为四个projects。分别为:contract engine1-01 engine1-02 engine2 jobtracker 整个任务是用maven来管理,con原创 2016-10-28 21:34:14 · 3498 阅读 · 1 评论 -
Hadoop在linux下的安装。以及HDFS相关的概念
Zebra项目中存在的问题(引出hadoop)没有考虑到海量数据的存储和管理问题没有考虑到节点的故障问题,比如通过心跳机制确保集群的高可用只有一个合并节点(engine2),如果合并的任务量非常大,则会造成单点工作负荷大。在zebra项目中,有很多业务的处理思想可以提炼出来,提炼出计算框架。(如逻辑切块,位置追溯,key值的合并)。即没有用计算框架来处理业务,导致以后有新任务还原创 2016-10-28 22:10:44 · 482 阅读 · 0 评论 -
Hadoop在linux下的单机安装步骤
原创 2016-10-31 22:33:00 · 500 阅读 · 0 评论 -
每天少不了的几道题,代码不能停(1)
1.用代码实现单利模式public class single { //恶汉式 private single(){} private static single d1=new single(); public static single getsingle(){ return d1; } }class single2{ //懒汉式 private single2()原创 2016-12-03 20:58:14 · 658 阅读 · 0 评论