2016年01月_fz1989

10月 09月 08月 07月 05月 03月 02月 01月

转载 Hadoop平台架构--硬件篇

还记得刚接触Hadoop的时候,还是1.x版本,硬是在自己的4GB内存上面弄了3个虚拟机学习,条件有些艰苦,Hadoop测试集群搭建不需要太多考虑,随着毕业开始进入企业,在企业中实践Hadoop,特别是一定规模的集群,逐渐涉及到硬件资源,网络规划,操作系统,软件栈等一系列问题！对于一个没有经验的小白来说,还是比较复杂的,还好公司有linux大牛配合上我从各种技术网站博客吸收的微薄知识，从0开始

2016-01-30 18:55:48 617

转载 Hadoop平台架构--存储篇

刚刚开始使用Hadoop集群的时候,目录没有有个规范,大家都根据自己的喜好创建各种不同的目录,权限控制也没有开启,随着应用越来越多，使用的人员也多了起来，导致目录混乱,终于在新规划集群的时候,对目录做了规范和权限控制.下面简单介绍一下我们HDFS目录规范和HDFS存储规划,希望对初建Hadoop集群的同学能有一些帮助。简介Hadoop的目的是基于一种新的方法来存储和处理复杂

2016-01-30 18:54:50 532

原创 Eclipse导入Gobblin源码

Gobblin是LinkedIn一个开源的多源数据摄取框架，用Gradle打包。项目地址为：https://github.com/linkedin/gobblin在Eclipse中没有Gradle的插件，因此需要在Eclipse Market palce里下载Gradle插件。地址为：https://marketplace.eclipse.org/content/gradle-inte

2016-01-13 13:32:35 1260