Hadoop
文章平均质量分 65
De_Moivre
这个作者很懒,什么都没留下…
展开
-
安装hadoop 时遇到的问题,格式化文件系统时,不能成功
安装hadoop 时遇到的问题,格式化文件系统时,不能成功执行命令: hadoop namenode –format出现下面错误:/usr/bin/hadoop: line 321: /usr/java/default/bin/java: No such file or directory/usr/bin/hadoop: line 387: /usr/java/default...原创 2014-05-10 09:28:26 · 1002 阅读 · 0 评论 -
Hbase Java 实例
HBase提供了java api来对HBase进行一系列的管理涉及到对表的管理、数据的操作等。常用的API操作有:1. 对表的创建、删除、显示以及修改等,可以用HBaseAdmin,一旦创建了表,那么可以通过HTable的实例来访问表,每次可以往表里增加数据。2. 插入数据创建一个Put对象,在这个Put对象里可以指定要给哪个列增加数据,以及当前的时间戳等值,然后通过调用HTabl...原创 2014-07-30 22:21:42 · 116 阅读 · 0 评论 -
hadoop命令详解
一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文件名和位置...原创 2014-07-20 14:13:53 · 159 阅读 · 0 评论 -
hadoop常用命令
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件...原创 2014-07-20 14:02:15 · 295 阅读 · 0 评论 -
hadoop上对文件进行压缩
hadoop计算需要在hdfs文件系统上进行,因此每次计算之前必须把需要用到的文件(我们称为原始文件)都上传到hdfs上。文件上传到hdfs上通常有两种方法: a hadoop自带的dfs服务,put; b hadoop的API,Writer对象可以实现这一功能; 将a、b方案进行对比,如下: 1 空间: 方案a在hdfs上占用空间同本地,因...原创 2014-06-13 16:46:00 · 449 阅读 · 0 评论 -
hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解
hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解一,环境:1,主机规划:集群中包括3个节点:hadoop01为Master,其余为Salve,节点之间局域网连接,可以相互ping通。机器名称IP地址hadoop01192.168.1.31hadoop02192.168....原创 2014-06-13 16:28:39 · 192 阅读 · 0 评论 -
hadoop 课程表
课程表来处: http://java.itcast.cn/java/course/hadoop.shtml 学习hadoop只要照着这张课程表学习就行了(具说是7天的课程)一、Hadoop入门,了解什么是hadoop1、 Hadoop产生背景2、 Hadoop在大数据、云计算中的位置和关系3、 国内外Hadoop应用案例介绍4、 国内Hadoop的就业情况分析及课程大纲介...原创 2014-06-11 09:58:47 · 160 阅读 · 0 评论 -
渐进学习hadoop
渐进式的学习Hadoop:(1)先搭建一个单节点的 Hadoop平台,先将那些疑问放一边,先去学习如何搭建这个平台;(2)尝试用Hadoop管理各类文件,尝试将数据存放于其非关系型数据库中,尝试编写一个MapReduce程序,通过些步骤,能够大概的认识到Hadoop是一个海量的数据、文件的存放平台,上面提供了各种通用的工具以帮助用户更好的去分析、应用与处理这些数据与文件;(3)考虑一...原创 2014-06-10 21:29:02 · 117 阅读 · 0 评论 -
Hadoop机器运行一段时间后hadoop不能stop-all.sh的问题
显示报错no tasktracker to stop ,no datanode to stop问题的原因是hadoop在stop的时候依据的是datanode上的mapred和dfs进程号。而默认的进程号保存在/tmp下,linux 默认会每隔一段时间(一般是一个月或者7天左右)去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop-hadoop...原创 2014-06-10 11:21:29 · 350 阅读 · 0 评论 -
[转载]CDH4简介
原文地址:CDH4简介作者:HadoopChinaWe believe that during 2012, enterprise distributions of Hadoop will mature enough that enterprises will accelerate production deployments and begin to yield tangible ...原创 2014-06-05 20:31:01 · 154 阅读 · 0 评论 -
hadoop集群默认配置和常用配置
原文From: http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html获取默认配置配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个...原创 2014-05-23 11:08:24 · 97 阅读 · 0 评论 -
关于HADOOP伪分布模式下启动出错的问题
用start-all.sh进行启动后-bash-3.2# bin/start-all.shWarning: $HADOOP_HOME is deprecated. starting namenode, logging to /var/log/hadoop/root/hadoop-root-namenode-MAPS-1.outlocalhost: starting data...原创 2014-05-23 10:33:17 · 260 阅读 · 0 评论 -
hadoop Shell命令详解
调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数。1、cat说明:将路径指定文件的内容输出到stdout。用法:hadoop fs -cat URI [URI …]范例:hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/f...原创 2014-08-06 09:19:24 · 224 阅读 · 1 评论