hadoop
shujuboke
90后Java程序员,十年编程经验!目前专注于大学生项目实战开发,讲解,毕业答疑辅导以及产品测评、宣传、工具推广等合作。
展开
-
Windows下Eclispe远程开发Mapreduce程序
Windows下Eclispe远程开发Mapreduce程序1.将hadoop-eclipse-plugin-2.6.0.jar拷贝到MyEclispe安装目录下的/plugins文件夹下2.Windows安装hadoop 1)解压hadoop-2.5.0.tar.gz到D:/根目录 右键winrar--》属性--》兼容性-》勾选 以管理员运行此程序原创 2017-06-30 00:10:03 · 698 阅读 · 0 评论 -
Hadoop的block块深入分析
当写入一个文件到 HDFS 时,它被切分成数据块,块大小是由配置文件 hdfs-default.xml 中的参数 dfs.blocksize (自 hadoop-2.2 版本后,默认值为 134217728字节即 128M,可以在 hdfs-site.xml 文件中改变覆盖其值,单位可以为k、m、g、t、p、e等)控制的。每个块存储在一个或者多个节点,这是由同一文件中的配置 dfs.replica转载 2017-07-10 09:04:31 · 641 阅读 · 0 评论 -
Flume-NG源码阅读之Interceptor
有的时候希望通过Flume将读取的文件再细分存储,比如讲source的数据按照业务类型分开存储,具体一点比如类似:将source中web、wap、media等的内容分开存储;比如丢弃或修改一些数据。这时可以考虑使用拦截器Interceptor。 flume通过拦截器实现修改和丢弃事件的功能。拦截器通过定义类继承org.apache.flume.interceptor.Intercepto转载 2017-08-21 11:38:58 · 212 阅读 · 0 评论