HDFS
小A__
人生不就是写,写,写吗!!!
展开
-
通过 FileSystem API访问BlockLocations 和DataNode信息
1.通过FileSystem API访问BlockLocations块位置信息 指定一个文件名,查看存储文件信息的block位置信息@Test public void BlockByFs() throws IOException{ Configuration conf=new Configuration(); FileSystem fs=FileSyste...原创 2018-06-23 14:34:26 · 1124 阅读 · 0 评论 -
Hadoop搭建HBase的方法和步骤--完全分布式
HBase数据库----------------------------- 1.Hbase是在HDFS上面向列的分布式的数据库; HBase首先是数据库,分布式的,面向列的,<首选在HDFS基础上>; Google发布三篇论文:GFS、Ma...原创 2018-07-30 18:57:55 · 496 阅读 · 0 评论 -
Hadoop搭建HBase的步骤--伪分布
HBase数据库----------------------------- 1.Hbase是在HDFS上面向列的分布式的数据库; HBase首先是数据库,分布式的,面向列的,<首选在HDFS基础上>; Google发布三篇论文:GFS、Ma...原创 2018-07-30 18:26:58 · 588 阅读 · 0 评论 -
本地执行MapReduce程序之后,报的一些错误
【client eclipse集群提交运行】:客户端 eclipse集群提交 mapreduce代码 1. 需求:在master:8088上,有客户端提交的job,则需要local-->yarn 需要改: 【mapred-site.xml】 <property> <name>mapreduce....原创 2018-06-28 14:25:16 · 1883 阅读 · 0 评论 -
本地执行MapReduce程序,报错org.apache.hadoop.io.nativeio.NativeIO
在进行MapReduce进行本地文娟Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z原创 2018-06-27 19:19:02 · 680 阅读 · 0 评论 -
MyEclipse连接HDFS API后,run执行之后出现的报错,,, Errors!!!
在MyEclipse连接Hadoop集群时,编写语句后,run执行之后出现的Errors!!!其中,出现以下几点:执行语句后出现的问题: 1)java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/test.txt, expected: file:/// at org.apache.hadoop.fs.FileSyste...原创 2018-06-19 19:05:41 · 1002 阅读 · 0 评论 -
java.lang.Exception: java.lang.OutOfMemoryError: Java heap space MyEclipse运行报错,内存溢出(解决)
MyEclipse运行之后报错:java.lang.Exception: java.lang.OutOfMemoryError: Java heap spaceCaused by: java.lang.OutOfMemoryError: Java heap space at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask....原创 2018-06-30 22:54:45 · 949 阅读 · 0 评论 -
NameNode与block的一点联系
1.namenode与secondarynamenode是否放到同一个节点 不能,原因:单节点内存大小有物理限制;2.namenode内存大小由谁决定? 由集群中的块的数量决定; 换算规则:默认情况下。每个block大小对应元数据为150字节。 那么,如集群中存在1亿个块文件,元数据大小为1亿*150/(1024*1024*1024)=14G3.如何减少block的数量? 设置dfs.bloc...原创 2018-06-23 22:32:35 · 813 阅读 · 0 评论 -
HDFS API 读操作 -seek指针操作 ,append追加文件
1.通过java.net.URL类访问写入HDFS数据 /* * 通过java.net.URL类访问写入HDFS数据 * 结论:通过URL的方式不能实现对HDFS的写操作,抛java.net.UnknownServiceException: protocol (协议)doesn't support output */ @Test p...原创 2018-06-23 15:27:49 · 2266 阅读 · 1 评论 -
通过FileSystem API 访问获取HDFS数据,创建文件,获取文件相关属性的方法
1.从hadoop URL读取数据 static { URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } @Test public void readByURL() throws Exception { URL _url = new URL("hdfs://master:9000/test.tx...原创 2018-06-23 14:59:00 · 2401 阅读 · 0 评论 -
HBase在MyEclipse常用的创建,删除,插入数据的Java代码--API
HBase在MyEclispe上执行各种API的操作 如:命名空间的创建,删除,和查询表空间 表的创建,插入数据(分为单行和多行),删除,查询(分为单行和多行,和区间查询), 切分:分为regionname 和table 过滤:过滤满足条件的数据项目环境: ...原创 2018-08-06 19:08:28 · 613 阅读 · 0 评论