- 博客(10)
- 资源 (1)
- 收藏
- 关注
原创 hbase功能实现API
hbase功能实现APIpackage com.ucky.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.a
2015-11-27 16:34:56 864
原创 Mapreduce模板
Mapreduce模板简洁开发模板,主要是把里面的设置进行了简单的整理,并无难点。package com.ucky.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configu
2015-11-23 10:32:35 569
原创 hadoop_MapReduce处理topKey程序
hadoop_MapReduce中topKey程序 实例1输入文本:需求分析:得出此文本中单词数的最大值,仅输出一行,如:name 61代码分析:本实例中,只用到了一个map并没有用到reduce,因为输入文件只有一个,所以没有必要再写一个reduce(稍后会列出,多个输入文件,reduce处理)代码如下:package com.ucky.topkMapre
2015-11-21 18:27:45 975
原创 map端执行流程分析
Map端执行流程分析1、每个输入分片会让一个map任务来执行处理,默认情况下,以HDFS的一个块的大小(默认64M)为一个分片,当然我们也可以设置块的大小。Map输出的结果会暂且放在一个环形内存缓冲区中(该缓冲区的大小默认为100M,由io.sort.mb属性控制),当该缓冲区快要溢出来时(默认的缓冲区大小的80%,由io.sort.spill.percent属
2015-11-12 18:46:55 1316
原创 MapReduce作业运行流程整体分析
MapReduce作业运行流程整体分析1、在客户端启动一个作业;2、向JobTracker请求一个JobID;3、将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都存放在JobTrac
2015-11-12 11:07:34 942
原创 Hadoop之WordCount计数器程序编写并打包
Hadoop之WordCount计数器程序编写并运行导入包:package com.ucky.mapReduce;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;impor
2015-11-11 20:18:03 818
翻译 java.lang.ClassNotFoundException: How to resolve
This article is intended for Java beginners facing java.lang.ClassNotFoundException challenges. It will provide you with an overview of this common Java exception, a sample Java program to support you
2015-11-11 18:08:32 1123
原创 Hadoop之HDFS的API实现
Hadoop之HDFS的API实现在本地Eclipse上开发;导入开发所需的关键包:将HDFS配置文件信息写入,记住是new Source folder文件夹名称名称必须是conf下面是API,都有详细备注package com.hadoop.hdfs;import org.apache.hadoop.con
2015-11-04 22:47:58 976
原创 Hadoop之HDFS文件读取流程
Hadoop之HDFS文件读取流程 一、HDFS文件读取流程 1、Client调用FileSystem.open()方法:a) FileSystem通过RPC(协议)与NameNode通信,NameNode返回该文件的部分或者全部block(块)列表(含有block拷贝的DataNode地址)b)
2015-11-03 09:29:04 1479
原创 Hadoop之HDFS架构(NameNode和DataNode)
HDFS架构--NameNodeNameNode是一个中心服务器,单一节点(简化系统的设计和实现),负责管理文件系统的命名空间以及客户端对文件的访问。文件操作,NameNode负责文件元数据的操作,DataNode负责处理文件内容的读写请求,跟文件内容相关的数据流不经过NameNode,只会询问它跟那个DataNode联系,否则NameNode将会成
2015-11-01 19:11:22 1834
利用JAVA注解与反射 - 实现SQL语句自动生成
2017-08-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人