- 博客(13)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 Hadoop初级入门 MapReduce程序执行集群执行(续)
<br />发现CSDN编辑器在编辑之前的文章时，总是出现版本不对的情况;<br />因此丢失了之前编辑的内容，很是郁闷！<br /> 做最简单连接操作时的命令：<br />hadoop jar /home/zhu/join.jar join.Join /user/root/zhu/input1 /user/root/zhu/input2 /user/root/zhu/output 1 1 100 1查看相关结点信息：<br />http://mcxl3:50070/dfshealth.js
2010-06-26 15:47:00
847
原创 Hadoop初级入门 MapReduce程序执行集群执行
一个Hadoop程序执行过程把Map/Reduce程序打成Jar包，放在映射目录/test/zhu中登录mcxl3，用zhu登录;cd /root/hadoop-0.19.1/建立新的文件夹 bin/hadoop dfs -mkdir /user/root/zhu/input或者hadoop fs -mkdir /user/root/zhu/imput（bin/hadoop dfs与hadoop fs一致）put过程---把要处理的文件New1.txt 放到刚刚建立的dfs文件夹里had
2010-06-20 22:20:00
1789
原创 Linux系统 添加用户和组 查看用户信息
在本地机器添加Hadoop用户和hadoop组sudo addgroup hadoopsudo adduser --ingroup hadoop hadoop 设置password：hadoopsudo chown -R 用户名：用户组 /本地目录将本地目录及目录下的所有文件改变权限
2010-06-30 14:41:00
643
转载 Hash join算法原理
自从oracke 7.3以来，oracle提供了一种新的join技术，就是hash join。Hash Join只能用于相等连接，且只能在CBO优化器模式下。相对于nested loop join，hash join更适合处理大型结果集。Hash join不需要在驱动表上存在索引。一． Hash Join概述Hash join算法的一个基本思想就是根据小的row sources(称作build input，我们记较小的表为S，较大的表为B) 建立一个可以存在于hash area内存中的has
2010-06-27 10:32:00
538
转载 Hadoop分布式文件系统使用指南
Hadoop分布式文件系统使用指南 目的 概述 先决条件 Web接口 Shell命令 DFSAdmin命令 Secondary NameNode Rebalancer 机架感知（Rack awareness） 安全模式 fsck 升级和回滚 文件权限和安全性 可扩展性 相关文档 目的 本文档的目标是为Hadoop分布式文件系统（HDFS）的用户提供一个学习的起点，这里的HDFS既可以作为Hadoop
2010-06-26 16:18:00
1039
转载 Hadoop分布式文件系统使用指南
Hadoop分布式文件系统使用指南 目的 概述 先决条件 Web接口 Shell命令 DFSAdmin命令 Secondary NameNode Rebalancer 机架感知（Rack awareness） 安全模式 fsck 升级和回滚 文件权限和安全性 可扩展性 相关文档 <br />目的<br /> 本文档的目标是为Hadoop分布式文件系统（HDFS）的用户提供一个学习的起点，这里的HD
2010-06-26 16:18:00
714
转载 Hadoop分布式文件系统（HDFS）：架构和设计
引言<br />Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为ApacheNutch搜索引擎项目的基础架构而开
2010-06-26 16:15:00
1827
转载 Hadoop Shell命令 ｜HDFS Shell命令｜ HDFS 命令
Hadoop Shell命令 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text touchz FS Shell
2010-06-26 15:49:00
9510
原创 Java输入输出流-----字符流
<br /> <br /><br />Java的字节流 可以看出，InputStream是所有字节输入流的祖先，而OutputStream是所有字节输出流的祖先。 <br />InputStream<br />该类是一个抽象类，其方法包括： <br />int read()<br />int read(byte[])<br />int read(byte[],int,int)这三个方法可从输入流读入字节或字节数组。要注意的是无
2010-06-26 13:32:00
838
原创 Integer与int的区别 Integer.Valueof(String s)与Integer.parseInt(String s)的区别
<br />Integer.Valueof(String s)与Integer.parseInt(String s)的区别<br />他们有本质区别，Integer.valueof(String s)是将一个包装类是将一个实际值为数字的变量先转成string型再将它转成Integer型的包装类对象(相当于转成了int的对象)这样转完的对象就具有方法和属性了。<br />而Integer.parseInt(String s)只是将是数字的字符串转成数字，注意他返回的是int型变量不具备方法和属性。 <
2010-06-23 21:31:00
1131
转载 dfs文件系统在哪里
hadoop使用笔记下面提到的操作都是基于我的这个hadoop安装方法的：http://blog.chinaunix.net/u3/99156/showart.php?id=2156593按照Hadoop官网中的Quick start操作(这里http://hadoop.apache.org/common/docs/current/quickstart.html)启动hadoop。1.Hadoop默认创建的dfs文件系统在哪里？/tmp/hadoop-xxxxx/,每次重启系统之后，
2010-06-22 20:31:00
3567
原创 Mac 快捷键
一直以来觉得Mac快捷键比较多，但是自己平时还是有好多不爽。我的Mac没有Home/End键，所有行首/行末每次就一顿猛击。今天在网上搜，发现了可以用Ctr＋a和Ctr＋e来代替，不错！行首/行末 Ctr＋a和Ctr＋e
2010-06-20 22:30:00
529
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人