Bigdatda-HDFS
礼彬fly
这个作者很懒,什么都没留下…
展开
-
HDFS体系结构简介
HDFS体系结构简介 1、HDFS设计基础与目标: 1.1、硬件错误是常态。因此需要冗余1.2、流式数据访问。即数据批量读取而非随机读写,Hadoop擅长做的是数据分析而不是事务处理 1.3、大规模数据集 1.4、简单一致性模型。为了降低系统复杂度,对文件采用一次性写多次读的逻辑设计,即是文件一经写入,关闭,就再也不能修改 1.5)、程序采用“数据就近原创 2015-02-16 20:19:43 · 1510 阅读 · 0 评论 -
(4-3)查看fsimage和edits
查看fsimage文件内容启动:bin/hdfs oiv -i /usr/local/mydata/dfs/name/current/fsimage_0000000000000000254查看:bin/hdfs dfs -ls -R webhdfs://127.0.0.1:5978/bin/hdfs -ls -R /不启动的话:[root@i-love-yo原创 2015-04-11 15:05:25 · 1158 阅读 · 0 评论 -
(4-2)block数据块
Block是最基本的存储单元HDFS Client上传数据到HDFS时,会先在本地缓存数据,当数据达到一个Block大小时,请求NameNode分配一个Block。NameNode会把Block所在的DataNode的地址告诉HDFS Client。HDFS Client会直接和DataNode通信,把数据写到DataNode节点一个Block文件中。设置数据块大小:h原创 2015-04-11 15:02:16 · 983 阅读 · 0 评论 -
(4-1)HDFS笔记--命令
bin/hdfs dfs//显示HDFS根目录:bin/hdfs dfs -ls hdfs://192.168.10:9000///递归显示HDFS的根目录bin/hdfs dfs -ls -R hdfs://192.168.10:9000/bin/hdfs dfs -ls -R ///查看ls帮助文档bin/hdfs dfs -help ls//递归创建目录原创 2015-04-11 14:58:49 · 1400 阅读 · 0 评论 -
(4-4)HDFS的namenodeID
NameNode的namemodeID 在core-site.xml中设定了HDFS的存储路径 hadoop.tmp.dir /usr/local/mydata [root@i-love-you mydata]# pwd/usr/local/mydata[root@i-love-原创 2015-04-11 15:44:33 · 1492 阅读 · 0 评论 -
FileUtil
FileUtilhadoop-1.2.1\src\core\org\apache\hadoop\fs/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * dis原创 2015-02-17 21:24:01 · 1921 阅读 · 2 评论 -
HDFS的Java API操作本地环境搭建
HDFS的Java API操作本地环境搭建 1、创建一个Java project 项目: 2、导入jar包:把Hadoop根目录下的 JAR包和lib下的JAR包导进去: 3、修改本地 hosts 文件: 在里面加入 虚拟机的IP地址和主机名: 不用FileSystem连接,用URL连接一下看看是否可以连通:原创 2015-02-17 21:46:50 · 2517 阅读 · 0 评论 -
HDFS基本操作
HDFS基本操作 1、查看HDFS 目录: 执行命令:hadoop fs -ls hdfs://192.168.1.100:9000/ [hadoop@baolibin ~]$ hadoop fs -lshdfs://192.168.1.100:9000/Warning: $HADOOP_HOME is deprecated. Found 1 itemsdrwxr原创 2015-02-16 19:47:52 · 1295 阅读 · 0 评论 -
HDFS的基本概念
一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。1.2、元数据节点(Namenode)和数据节转载 2015-02-18 23:45:34 · 1155 阅读 · 0 评论 -
通过一个小例子了解RPC
通过一个小例子了解RPC1、eclipse目录:MyServer.java 类:MyClient.java类:MyBizable.java类:MyBizjava类:2、启动MyServer类:3、启动MyClient类:4、cmd 里jps查看: 1.RPC 1.1RPC (remote proce原创 2015-02-17 21:33:40 · 1063 阅读 · 0 评论 -
HDFS的Java API操作代码
HDFS的Java API操作代码 代码部分: package FileSystem; import java.io.FileInputStream;import java.io.IOException;import java.net.URI; importorg.apache.hadoop.conf.Configuration;importorg.apa原创 2015-02-17 21:50:38 · 1154 阅读 · 0 评论