- 博客(45)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Mapreduce的输入格式
map（k1，v1）——>list(k2,v2)reduce(k2,list(v2))->list(k3,v3)reduce的输入类型必须与map函数的输出类型相同combine的输入输出键值类型必须相同，也就是k2,v2static class Mapper extends Mapper{public void map(Object key, Text value
2012-07-26 20:28:32
4359
原创 Hadoop 文件系统笔记
import java.io.IOException;import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.P
2012-06-27 11:33:23
1797
转载 并行计算与分布式计算的关系与区别1
1、概念理解物理处理器： 一个单核CPU，多核CPU的某个内核，都是一个物理处理器； 逻辑处理器： 通过超线程技术可以将一个物理处理器模拟成多个逻辑处理器， 超线程技术的目的是提高物理处理器的利用效率，开销是模拟的多个逻辑处理器在工作切换时，有不少的数据保存和恢复工作，因此实际处理性能的提升要弱于多核CPU的多个物理处理器；双核CPU的两个物理处理器，通
2012-03-26 09:50:08
2391
原创 hadoop 源码笔记
aprotected List listStatus(JobContext job ) throws IOException { List result = new ArrayList(); Path[] dirs = getInputPaths(job); if (dirs.lengt
2012-02-29 10:48:22
901
原创 关于hadoop循环获取路径以及获得分片的源代码
protected List listStatus(JobContext job ) throws IOException { List result = new ArrayList(); Path[] dirs = getInputPaths(job);//指向输入路径 if (dir
2011-11-03 10:28:47
1677
原创 一个多核并行编程的形象比喻
把编程比作写书，理论上，10个作者同时写一本书应该会比只有一个人的写快十倍。但他们首先要把写作任务均匀的分成十份，否则任务最多的那个作者就会拖后腿，最终的写作速度肯定就快不了十倍。而光任务平均分还不够，如果这个故事中的某一部分要在其他部分写完之后才能写，这种顺序上的依赖关系也会拖
2011-10-17 14:55:50
661
转载 Java反射机制
一、预先需要掌握的知识(java虚拟机) java虚拟机的方法区: java虚拟机有一个运行时数据区，这个数据区又被分为方法区，堆区和栈区，我们这里需要了解的主要是方法区。方法区的主要作用是存储被装载的类 的类型信息，当java虚拟机装载某个类型的时候，需要类装载
2011-10-14 10:55:28
822
转载 eax ...edi esp ebp寄存器简介（转）
首先介绍我们会经常看到的一些寄存器:4个数据寄存器(EAX、EBX、ECX和EDX)2个变址和指针寄存器(ESI和EDI)2个指针寄存器(ESP和EBP)4个数据寄存器(EAX、EBX、ECX和EDX)：32位CPU有4个32位的通用寄存器EAX、EB
2011-10-14 10:49:52
12136
原创 Map/Reduce,a new start
Map/reduce 是一种处理海量数据的分布式模型，是在一种运行在专门为大规模数据处理组建的集群上程序框架，它的技术基础是大家所熟知的并行和分布式处理，现在在工业界和学术可以说有很大的影响，不容小视。什么是海量数据，为什么要用map/reduce这是最基本的问题。对于海量数
2011-09-28 23:07:18
1268
原创 c++几个常用容器的方法总结
双向链表实现list lst;lst.begin(); lst.end();lst.push_back();lst.push_front();lst.pop_back();lst.pop_front();lst.remove();lst.erase
2011-09-22 08:58:42
2006
原创 java 文件系统 及HDFS系统读取目录下文件对比
首先 java实现import java.io.File;public class A { public static void recursion(String root){ File file = new File(root); File[] subFile
2011-09-21 21:18:45
2577
原创 Dr. Codd's 对关系型数据库系统的十二条规则 (其实是13条）
什么是关系型数据库？什么叫关系型数据库？ 关系型数据库是最为流行的数据存储模式它产生于一个名称为A Relational Model of Data for Large Shared Data Banks 的论文中SQL 进而发展为关系型的数据库对于关
2011-09-14 10:25:59
1631
原创 CUDA
#include_global_ void kernel(void) //用编译设备代码的编译器来编译{ kernel>>();//如何启动设备代码printf("hello"\n);return 0;}
2011-09-06 10:36:47
538
原创 java 概念
在java中 接口是一个引用类型接口中只能有包含常量，方法签名和嵌套类型 没有构造器 在接口中声明的方法没有方法体 接口的主要作用是声明共同的常量或者方法，用来为不同的类提供不同的实现，但这些类仍然可以保持同样的对外接口 接口可以被类实现也可以被其他的接口继承 在类中实现
2011-09-06 10:35:37
556
原创 hadoop学习随记 二
JobConf conf= JobBuilder.ParseInputAndOutput(this,getConf(),args);conf.SetInputFormat();conf.SetMapperClass(...class);.......for (In
2011-09-06 10:34:22
932
原创 hadoop 学习过程的随记
Configuration 是一个类 Hadoop中的组建的配置是通过Hadoop提供的API来进行的 一个Configuration代表配置属性及其取值的一个集合Configuration conf = new Configuration();conf.addResou
2011-09-06 10:33:40
1139
原创 hadoop hdfs搭建 mapreduce环境搭建 wordcount程序简单注释
一 实验室环境下 hadoop集群配置一、环境说明实验室中多台机器都属于同一局域网，主机的操作系统多为windows系统，而hadoop要在linux环境下配置，因此我们选用了host（windows7）+Vmware（ubuntu）的方式进行了实验性的配置。机器三台
2011-08-22 18:15:32
10016
2
原创 hadoop configuration print
import java.util.Map.Entry;import org.apache.hadoop.conf.*;import org.apache.hadoop.util.*;//包含run ToolRunner等等// vv ConfigurationPrin
2011-08-19 16:54:57
1683
1
原创 hadoop SequenceFile 读取例程注释
import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;impor
2011-08-18 22:12:41
3794
原创 hadoop SequenceFile 写入例程注释
import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;im
2011-08-18 21:24:21
3444
2
原创 hadoop API 写入HDFS简单注释
import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.InputStream;import java.io.OutputStream;import java
2011-08-18 11:14:42
1478
原创 Hadoop FileSystem API读取数据实例简单注释
import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;impo
2011-08-18 10:30:12
1413
原创 Mapreduce作业的工作原理
JobClient的runJob()方法是用于新建JobClient实例和调用其submitJob()方法。提交作业后，runJob（）将每秒轮询作业的进度，如果发现与上一个记录不同，便把报告显示到控制台。作业完成后，如果成功，就显示作业计数器。否则，导致作业失败的错误会被记录到
2011-08-16 10:26:55
1484
原创 hadoop 常用命令
Configuration 是一个类 Hadoop中的组建的配置是通过Hadoop提供的API来进行的 一个Configuration代表配置属性及其取值的一个集合hadoop fs -copyFromLocal 本地 HDFS目的地hadoop fs -mkdir
2011-08-16 09:14:09
997
原创 hadoop wordcount源代码分析
package org.apache.hadoop.examples; import java.io.IOException;import java.util.StringTokenizer; importorg.apache.hadoop.conf.Conf
2011-08-15 17:10:08
6363
6
原创 《公路收费站系统》 VC基础知识总结
getchar();system("pause");可以使consle pause一会//.......程序打开是数据库......//CDaoDatabase m_db; //数ºy据Y库aCDaoRecordset m_recSet; //记?录
2011-08-12 22:25:16
1567
原创 《智能电话本》中用到的常用vc编程技术汇总笔记
class CPhonebookDlg : public CDialog 这就产生了一个窗口类{CPhonebookDlg(CWnd* pParent = NULL); // standard constructor}CPhonebookDlg dlg;dlg
2011-08-12 12:14:56
521
原创 《hadoop 权威指南》 读书笔记
HDFS 对写入的数据计算校验和datanode 管线的最后一个datanode 负责验证校验和客户端在读取datanode的时候也会验证校验和Hadoop的LocalFilesystem执行客户端校验和验证LocalFileSystem通过ChecksumFil
2011-08-10 15:55:50
548
原创 《hadoop 权威指南》 读书笔记
HDFS 对写入的数据计算校验和datanode 管线的最后一个datanode 负责验证校验和客户端在读取datanode的时候也会验证校验和Hadoop的LocalFilesystem执行客户端校验和验证LocalFileSystem通过ChecksumFil
2011-08-02 14:17:37
790
原创 《hadoop权威指南》读书笔记 2011.7.28 morning 供自己参考记忆
map是怎样读取数据的许多方法是把each line as a recordreduce 多的时候要分区combiner 指定一个合并函数就可以了conf.setcombinerClass()HDFS以流式数据访问模式来存储超大文件namenode将文件系统的元数据（文件，目录
2011-07-28 11:30:50
868
原创 SIFT特征中关键点检测技术研究
算法 为了获得关键点必须首先获得极值点，极值点经过两个阈值的过滤就可以得到关键点。为了获得极值点我们需要有个个空间，而这个空间必须能够体现极值点的多尺度特征，这样才能表现出关键点的对各种变化的稳定性，所以需要在一个能够体现像素点多尺度特征的空间。为此我们寻找了到了高斯卷积核，它是实现尺度变换唯一线性核。而为了在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间的概念。 算法步骤：1）
2011-07-28 11:26:40
3836
1
原创 map/reduce 框架
public void map(WritableComparable key, Writable values, OutputCollector output, Reporter reporter) throws IOException { }WritableComp
2011-07-24 18:36:59
759
1
原创 Java 常用方法
字符串1、获取字符串的长度 length() 2 、判断字符串的前缀或后缀与已知字符串是否相同 前缀 startsWith(String s) 后缀 endsWith(String s) 3、比较两个字符串 equals(String s) 4、把字符串转化为相应的数值 int型
2011-07-24 17:29:51
650
原创 VM虚拟机下配Eclipse+JDK+Tomcat+Hadoop环境搭建
一、安装虚拟机VM一直next 注：卸载VM的时候最好用强力点的软件卸载，因为如果卸载（尤其是注册表）的不彻底的话很可能会导致下次没法安装。遇到这种情况手动删除注册表中关于VMware的信息。参考：http://zhidao.baidu.com/question/156744859.html?fr=qrl&cid=89&index=1 二、安装好VM后打开一个Cent
2011-06-18 11:00:00
5468
1
原创 Inside the C++ Object Model 学习笔记 第三章 Data语义学
这一章，正如书中所说，研究的是class 的data member 以及 class hierarchy。 class 的 data member ，nostatic member 是“个别class object”感兴趣的数据， static member是放置的“整个class”感兴趣的数据。先看一个例子：书上的#includeusing namespace std;cla
2011-06-12 15:15:00
614
原创 Inside the C++ Object Model 学习笔记 第四章 函数语意学
这章主要讲了以下几个问题1.成员函数的各种调用方式2.虚成员函数3.指向成员函数的指针第一个问题，成员函数的各种调用方法。成员函数 又分为三种，nostatic member， static member，以及virtual member function。个人觉得比较简单，简要介绍nostatic member：分下面几步。第一步：加个this指针。有了它
2011-06-10 19:35:00
616
原创 Inside the C++ Object Model 学习笔记 第四章 函数语意学 测试代码 乱写的
#includeusing namespace std;class A{public: virtual void fun1() { cout<<"A::fun1"<<endl; } virtual void fun2() { cout<<"A::fun2"<<endl; } virtual void fun3() { c
2011-06-10 18:52:00
579
原创 Inside the C++ Object Model 学习笔记 第五章构造 解构 拷贝语意学
本章主要内容如题目1，对象的构造2，对象的解构3.，拷贝 少量 首先书中给出了一个例子class Abstract_base{public: virtual ~Abstract_base()=0;//纯虚析构函数virtual void interface() const=0; //纯虚函数virtual const char* mumble() const{ret
2011-06-10 10:32:00
859
2
原创 Inside the C++ Object Model 学习笔记 第六章 执行期语义学
最近比较郁闷 不想学习 所以写点读书笔记 先写我觉得比较通俗易懂的第六章 执行期语义学 现在开始这一章，我觉得主要讲了三个问题。1，执行期 全局变量 局部静态对象 以及对象数组在编译器中都是怎样“活来死去”的。2，new and delete是怎样让对象“生死”的。3，临时对象的“生死”这本书之所以叫Inside the C++ object Model , 我觉得
2011-06-09 20:52:00
824
2
原创 c++ 数值传递方式
值传递、指针传递、引用传递的区别C++中值传递、指针传递、引用传递1. 值传递：形参是实参的拷贝，改变形参的值并不会影响外部实参的值。从被调用函数的角度来说，值传递是单向的（实参->形参），参数的值只能传入，不能传出。当函数内部需要修改参数，并且不希望这个改变影响调用者时，采用值传递。void swap(int a,int b){int temp;temp=a;a=b;
2011-06-09 19:11:00
1501
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人