2015年11月_UckyK

11月 10月 09月 08月 06月 05月 04月 03月 02月 01月

原创 hbase功能实现API

hbase功能实现APIpackage com.ucky.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.a

2015-11-27 16:34:56 847

原创 Mapreduce模板

Mapreduce模板简洁开发模板，主要是把里面的设置进行了简单的整理，并无难点。package com.ucky.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configu

2015-11-23 10:32:35 557

原创 hadoop_MapReduce处理topKey程序

hadoop_MapReduce中topKey程序实例1输入文本：需求分析：得出此文本中单词数的最大值，仅输出一行，如：name 61代码分析：本实例中，只用到了一个map并没有用到reduce，因为输入文件只有一个，所以没有必要再写一个reduce（稍后会列出，多个输入文件，reduce处理）代码如下：package com.ucky.topkMapre

2015-11-21 18:27:45 959

原创 map端执行流程分析

Map端执行流程分析1、每个输入分片会让一个map任务来执行处理，默认情况下，以HDFS的一个块的大小（默认64M）为一个分片，当然我们也可以设置块的大小。Map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M，由io.sort.mb属性控制），当该缓冲区快要溢出来时（默认的缓冲区大小的80%，由io.sort.spill.percent属

2015-11-12 18:46:55 1297

原创 MapReduce作业运行流程整体分析

MapReduce作业运行流程整体分析1、在客户端启动一个作业；2、向JobTracker请求一个JobID；3、将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都存放在JobTrac

2015-11-12 11:07:34 906

原创 Hadoop之WordCount计数器程序编写并打包

Hadoop之WordCount计数器程序编写并运行导入包：package com.ucky.mapReduce;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;impor

2015-11-11 20:18:03 803

翻译 java.lang.ClassNotFoundException: How to resolve

This article is intended for Java beginners facing java.lang.ClassNotFoundException challenges. It will provide you with an overview of this common Java exception, a sample Java program to support you

2015-11-11 18:08:32 1088

原创 Hadoop之HDFS的API实现

Hadoop之HDFS的API实现在本地Eclipse上开发；导入开发所需的关键包：将HDFS配置文件信息写入，记住是new Source folder文件夹名称名称必须是conf下面是API，都有详细备注package com.hadoop.hdfs;import org.apache.hadoop.con

2015-11-04 22:47:58 959

原创 Hadoop之HDFS文件读取流程

Hadoop之HDFS文件读取流程一、HDFS文件读取流程 1、Client调用FileSystem.open（）方法：a) FileSystem通过RPC（协议）与NameNode通信，NameNode返回该文件的部分或者全部block（块）列表（含有block拷贝的DataNode地址）b)

2015-11-03 09:29:04 1455

原创 Hadoop之HDFS架构（NameNode和DataNode）

HDFS架构--NameNodeNameNode是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的命名空间以及客户端对文件的访问。文件操作，NameNode负责文件元数据的操作，DataNode负责处理文件内容的读写请求，跟文件内容相关的数据流不经过NameNode，只会询问它跟那个DataNode联系，否则NameNode将会成

2015-11-01 19:11:22 1796

利用JAVA注解与反射 - 实现SQL语句自动生成

利用JAVA注解实现SQL语句自动生成编写对应Entity添加相关注解，并通过SqlUtil工具，传入相关参数生成SQL语句例如：要生成对应数据库Person的SQL增删改查 SqlUtil.create(Person.class) SqlUtil.insert(Person.class) SqlUtil.insert(Person.class,person) SqlUtil.updateById(Person.class,person) SqlUtil.deleteById(Person.class,person) 开发工具IDEA，MAVEN项目

2017-08-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人