Hadoop
江小黑G
这个作者很懒,什么都没留下…
展开
-
浅谈自己对HDFS的理解
设计思想分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析;在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务重点概念:文件切块,副本存放,元数据 首先,它是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件 其次,它是分布式的,...原创 2019-04-11 20:29:35 · 1917 阅读 · 0 评论 -
用java api(用流的方式)对HDFS进行增删改查
import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java.util.Iterator;import java.util.Map.Entry;import org.apache.hadoop.conf.Configuration;import or...原创 2019-04-11 21:48:34 · 213 阅读 · 0 评论 -
解决Azkaban启动时出现 The datetime zone id 'Asia/Shanghai ' is not recognised
排查发现是Azkaban的配置文件azkaban-web-2.5.0/conf/azkaban.properties中的时区配置后面多了一个空格导致注意:Azkaban的配置文件中不能有空格启动成功的标志:...原创 2019-04-27 23:01:06 · 1598 阅读 · 0 评论