GP的空间

转http://lxm63972012.iteye.com/blog/1433307环境配置       1.  安装linux ubuntu系统       2. 安装开启openssh-server：$ sudo apt-get install openssh-server        3. 建立ssh 无密码登录           $ ssh-keygen -t ds

Hadoop启动的时候，进入了安全模式，导致无法对HDFS进行写入操作解决方案如下： http://blog.chinaunix.net/uid-233938-id-3124458.html google 解决方案有三种 1）执行命令：bin/hadoop dfsadmin -safemode leave dfsadmin -safemode value 参数value的说明如下：

很不错，清晰明了，适合初学者：http://www.blogjava.net/xzclog/archive/2014/09/27/418324.htmlHBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出

HBase搭建需要做几个前提准备条件 1、搭建起来hadoop，可以正常运行 hadoop搭建详见我之前的博文，http://blog.csdn.net/gaopeng0071/article/details/107582812、下载hbase，这里需要注意，hadoop和hbase版本必须对应上， 3、然后解压hbase压缩包，修改conf目录下hbase-env.sh文件，增加配置#配置j

HTable连接池HConnections用法 实例代码，代码转载：http://blog.csdn.net/u010967382/article/details/38046821package fulong.bigdata.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import

import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.HBaseConfiguration;import org.ap

今日在进行SSH免密码登陆的时候，使用SSH进行测试，抛出下面异常 ssh: connect to host localhost port 22: Connection refused 在网上收了下，答复很多，基本都是 1、没启动SSH 2、没安装SSH 3、没关防火墙 4、…. ，千篇一律。 上面的解决方案我都看了，但是还是不好使。调研了些关于SSH的资料，内容如下， SSH：是一

要求客户端有四个要求: 　　　　这需要作为参数: zookpeer的服务地址、znode的名字、将输出写入到一个文件的名称、一个可执行的参数。　　它与znode获取相关的数据并开始执行。　　如果znode发生变化,重启客户端重新提取内容和可执行文件。　　如果znode消失,客户端可进行线程销毁。程序设计一般来说,zookpeer应用被分解成两个部分,一个保持

zookpeer安装说明：http://www.cnblogs.com/gpcuster/archive/2010/01/15/1648547.html疑惑解答：http://www.cnblogs.com/gpcuster/archive/2010/12/29/1921213.html其中简述了zookpeer是如何管理服务的，并通知客户端的事件方法，进行服务器参数的重新分配。感觉不

最近做了一个程序，像hadoop的hdfs中存储数据，我写了个测试方法，但是执行时就抛出如下异常：java.io.IOException: Call to /192.168.200.27:50070 failed on local exception: java.io.EOFException at org.apache.hadoop.ipc.Client.wrapException(Cli

这里我们已经安装好Hadoop，并且已经配置好了环境变量。安装相关文章：http://blog.csdn.net/gaopeng0071/article/details/10216303 参考网站：http://blog.csdn.net/bychjzh/article/details/7830508http://blog.csdn.net/shirdrn/article/de

好的文章在这里汇总下，便于后续学习和查找：Hadoop运维记录系列（一）Hadoop运维记录系列(二) Hadoop运维记录系列(三) Hadoop运维记录系列(四) Hadoop运维记录系列(五) Hadoop运维记录系列(六)Hadoop运维记录系列(七) Hadoop运维记录系列(八) Hadoop运维记录系列(九)Hadoop运维记录系列

今天通过jconsole监控Hadoop写数据，发现一个问题，datanode数据存储不均衡。  环境部署情况：我们多台服务器，其中4台server用来作为DataNode，并且其中3台部署了web应用，我们目前设置的复制参数为1。  问题：没有部署web应用的Datanode节点处理的数据，与已经部署了web应用的Datanode节点数据写入量有很大差异？如图其中一个数据存储8G，另一个

启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件

序列化：对象的序列化用于将一个对象编码成字节流，以及从字节流中重新构建对象。将一个对象编码成一个字节流称为序列化该对象。 序列化三种主要的用途：1.作为一种持久化格式。2.作为一种通信的数据格式。3.作为一种拷贝、克隆机制。分布式处理中主要用了上面2种，持久化格式和通信数据格式。 Hadoop序列化机制：Hadoop序列化机制是调用的write方法将对象

概述Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序， 然后把结果输入给reduce任务。通常

Hadoop的机架感知     Hadoop有一个“机架感知”特性。管理员可以手工定义每个slave数据节点的机架号。为什么要做这么麻烦的事情?有两个原因：防止数据丢失和提高网络性能。    为了防止数据丢失，Hadoop会将每个数据块复制到多个机器上。想象一下，如果某个数据块的所有拷贝都在同一个机架的不同机器上，而这个机架刚好发生故障了(交换机坏了，或者电源掉了)，这得有多悲剧?为了

什么是Hadoop？搞什么东西之前，第一步是要知道What（是什么），然后是Why（为什么），最后才是How（怎么做）。但很多开发的朋友在做了多年项目以后，都习惯是先How，然后What，最后才是Why，这样只会让自己变得浮躁，同时往往会将技术误用于不适合的场景。Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广

最近遇到个问题，每次重启Hadoop发现HDFS控制台都无法访问，并且查看nameNode的JOBTracker日志，如下2015-02-05 09:36:18,935 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.net.Connec