大数据离线计算Hadoop2.x 学习笔记
大数据离线计算Hadoop2.x
一角残叶
人生如逆旅,我亦是行人
展开
-
大数据离线计算Hadoop2.x 学习笔记(1)- Hadoop 配置
1 Hadoop 配置1.1 standlone模式不需要启动单独的 hadoop 进程Standalone mode is suitable for running MapReduce programs during development, since it iseasy to test and debug them.1.2 伪分布式模式进入${HADOOP_HOME}/etc...原创 2019-01-01 11:12:26 · 379 阅读 · 0 评论 -
大数据离线计算Hadoop2.x 学习笔记(2)-IDEA Maven 开发HDFS
1 新建 Maven 工程添加 POM 依赖 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/arti原创 2019-01-01 16:41:22 · 495 阅读 · 0 评论 -
大数据离线计算Hadoop2.x 学习笔记(3)- HDFS 最小块设置
1 HDFS 最小块的设置1.1 测试读 @Test public void testRead() throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path path = new P...原创 2019-01-02 10:12:00 · 581 阅读 · 1 评论 -
大数据离线计算Hadoop2.x 学习笔记(3)- HDFS写入分析 和 MR
1 HDFS 写入分析public class TestHDFS { public void testWrite() throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path path =...原创 2019-01-14 09:28:35 · 364 阅读 · 0 评论