- 博客(13)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 hadoop hdfs搭建 mapreduce环境搭建 wordcount程序简单注释
一 实验室环境下 hadoop集群配置一、环境说明实验室中多台机器都属于同一局域网，主机的操作系统多为windows系统，而hadoop要在linux环境下配置，因此我们选用了host（windows7）+Vmware（ubuntu）的方式进行了实验性的配置。机器三台
2011-08-22 18:15:32
10120
2
原创 hadoop configuration print
import java.util.Map.Entry;import org.apache.hadoop.conf.*;import org.apache.hadoop.util.*;//包含run ToolRunner等等// vv ConfigurationPrin
2011-08-19 16:54:57
1709
1
原创 hadoop SequenceFile 读取例程注释
import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;impor
2011-08-18 22:12:41
3825
原创 hadoop SequenceFile 写入例程注释
import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;im
2011-08-18 21:24:21
3473
2
原创 hadoop API 写入HDFS简单注释
import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.InputStream;import java.io.OutputStream;import java
2011-08-18 11:14:42
1505
原创 Hadoop FileSystem API读取数据实例简单注释
import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;impo
2011-08-18 10:30:12
1424
原创 Mapreduce作业的工作原理
JobClient的runJob()方法是用于新建JobClient实例和调用其submitJob()方法。提交作业后，runJob（）将每秒轮询作业的进度，如果发现与上一个记录不同，便把报告显示到控制台。作业完成后，如果成功，就显示作业计数器。否则，导致作业失败的错误会被记录到
2011-08-16 10:26:55
1494
原创 hadoop 常用命令
Configuration 是一个类 Hadoop中的组建的配置是通过Hadoop提供的API来进行的 一个Configuration代表配置属性及其取值的一个集合hadoop fs -copyFromLocal 本地 HDFS目的地hadoop fs -mkdir
2011-08-16 09:14:09
1005
原创 hadoop wordcount源代码分析
package org.apache.hadoop.examples; import java.io.IOException;import java.util.StringTokenizer; importorg.apache.hadoop.conf.Conf
2011-08-15 17:10:08
6471
6
原创 《公路收费站系统》 VC基础知识总结
getchar();system("pause");可以使consle pause一会//.......程序打开是数据库......//CDaoDatabase m_db; //数ºy据Y库aCDaoRecordset m_recSet; //记?录
2011-08-12 22:25:16
1582
原创 《智能电话本》中用到的常用vc编程技术汇总笔记
class CPhonebookDlg : public CDialog 这就产生了一个窗口类{CPhonebookDlg(CWnd* pParent = NULL); // standard constructor}CPhonebookDlg dlg;dlg
2011-08-12 12:14:56
527
原创 《hadoop 权威指南》 读书笔记
HDFS 对写入的数据计算校验和datanode 管线的最后一个datanode 负责验证校验和客户端在读取datanode的时候也会验证校验和Hadoop的LocalFilesystem执行客户端校验和验证LocalFileSystem通过ChecksumFil
2011-08-10 15:55:50
556
原创 《hadoop 权威指南》 读书笔记
HDFS 对写入的数据计算校验和datanode 管线的最后一个datanode 负责验证校验和客户端在读取datanode的时候也会验证校验和Hadoop的LocalFilesystem执行客户端校验和验证LocalFileSystem通过ChecksumFil
2011-08-02 14:17:37
809
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人