hadoop
simonqianvip
不管什么事,坚持到最后就会胜利
展开
-
hadoop常用命令
-help //显示命令的帮助信息 -ls(r) //显示当前目录下所有文件 -du(s) //显示目录中所有文件大小 -count[-q] //显示目录中文件数量 -mv //移动多个文件到目标目录 -cp //复制多个文件到目标目录 -rm(r) //删除文件(夹)-put //本地文件复制到hdfs-copyFromLocal //同put-moveFro原创 2014-02-27 00:06:00 · 814 阅读 · 0 评论 -
MapReduce程序打jar要注意的事项
package cmd;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;import or原创 2014-04-13 23:11:49 · 999 阅读 · 0 评论 -
Zookeeper简介
Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理,后面将会详细介绍 Zookeeper 能够解决的一些典型问题,这里先介绍一下,Zookee原创 2014-03-17 15:24:46 · 758 阅读 · 0 评论 -
Zookeeper,Hbase,hadoop之间的联系
这里有几个主要关系:1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了,但是其实HBase中HLog和StoreFile中的文件在进行flushto disk操作时,这两个文件存储到了HDFS的DataNode中,HDFS才是永久存储。2.ZooKeeper跟HadoopCore、HBase有什么关系呢?ZooKeeper都提供了哪些服务呢?主要有:管理Had转载 2014-03-17 14:59:30 · 1438 阅读 · 0 评论 -
Hbase的简介
一、简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become Apache转载 2014-03-17 14:49:07 · 681 阅读 · 0 评论 -
Hadoop如何搭建集群
1.hadoop集群搭建方式1.1 确定部署三个节点,分别是hadoop0、hadoop1、hadoop2。 其中hadoop0是主节点(NameNode、JobTracker、SecondaryNameNode),hadoop1、hadoop2是从节点(DataNode、TaskTracker)。1.2 解压的linux镜像文件,自己配置linux的初始化环境,原创 2014-03-09 22:21:09 · 1016 阅读 · 0 评论 -
java程序在eclipse中打jar包
选中你要打jar包的项目,然后右键选择Export.如图选择java中的jar选项.如图选中你要打jar包的项目,并填写你要输出的jar包名称,如图4,选择你打jar包项目的main函数所在的类,并确定.如图至此,一个项目打jar包完成,希望对你有帮助!原创 2014-03-04 10:43:58 · 980 阅读 · 0 评论 -
hadoop程序在MyEclipse中打jar时要注意的事项
首先你的类得extends Configured implements Tool,并且实现tool的run方法。下面我把代码贴出来,如图package cmd;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoo原创 2014-03-04 23:42:00 · 1364 阅读 · 0 评论 -
Hadoop 1与Hadoop 2的区别
对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 MapReduce 框架图:图 1.Hadoop 原 MapReduce 架构从上图中可以清楚的看出原转载 2014-03-03 09:44:29 · 4629 阅读 · 0 评论 -
hadoop 2.6 HA搭建
准备条件zookeeper集群已配置好(172.16.12.85,172.16.12.88,172.16.12.91),并且zookeeper集群已启动,zookeeper版本为zookeeper-3.4.5-cdh5.4.2ssh都已配置好hadoop版本为2.6.0-cdh5.5.1集群规划第一步,配置core-site.xml文件。原创 2015-12-23 16:42:58 · 716 阅读 · 0 评论