2011年04月_bluekeyv

12月 11月 09月 08月 07月 06月 05月 04月 03月 01月

原创 Ganglia安装详解（CentOS_5.5_Final版）

1. 安装rrdtool1.1. 安装依赖包Ø 拷贝CentOS软件包将CentOS安装光盘中的rpm包拷贝到/root/下，以备使用。Ø 安装zlib开发包rpm -ivh /root/CentOS/zlib-devel-1.2.3-3.x86_64.rpm

2011-04-29 15:13:00 5426 4

原创 hadoop集群批量快速安装

今天是我生日，在博客里放送出２份非常实用的文档。ｈａｄｏｏｐ、ｈｂａｓｅ批量安装和ｇａｎｇｌｉａ安装配置详解。首先第一篇。ｈａｄｏｏｐ批量安装前先将ｎａｍｅｎｏｄｅ，Ｈｍａｓｔｅｒ机器安装完毕。然后准备以下文件１、hadoop-0.20.2-CDH3B4.tar.gz ２、hbase-0.90.1-CDH3B4.tar.gz ３、hosts ４、profile ５、hbaseconf（这个是ｈｂａｓｅ中的ｃｏｎｆ文件夹的拷贝）６、hadoopconf（这个是ｈａｄｏｏｐ中ｃｏｎｆ文件夹

2011-04-29 12:33:00 4068 1

原创 Hbase几种数据入库（load）方式比较

1. 预先生成HFile入库这个地址有详细的说明http://blog.csdn.net/dajuezhao/archive/2011/04/26/6365053.aspx 2. 通过MapReduce入库 /* MapReduce 读取hdfs上的文件，以HTable.

2011-04-29 12:00:00 23692 4

原创将本地文件目录移动（或cp）到hdfs下shell脚本

写了一下脚本，实现了以下功能： 1、保证同一时间只有一个该脚本的实例在运行，避免造成操作冲突 2、移动本地文件目录到hdfs下，目录路径相同 uploadtoHadoop.sh #!/bin/bash #pid=`ps -ef | grep -v grep | grep uploadtoHadoop | awk '{print $2}'` pid=`ps -ef | grep -v grep | grep uploa

2011-04-27 17:06:00 5479 1

转载脚本不输密码执行scp命令（需要expect和send命令）

脚本如下： #!/usr/bin/expect -f set password 密码 spawn scp 用户名@目标机器ip:拷贝文件的路径存放本地文件的路径 set timeout 300 expect "用户名@目标机器ip's password:" #注意：这里的“用户名@目标机器ip” 跟上面的一致 set timeout 300 send "$password/r"<br

2011-04-27 16:36:00 6220

原创 hbase与mapreduce同时运行的问题

在hbase数据写入和mapreduce同时运行时出现hbase regionserver挂掉的问题，同时hdfs上的文件块出现miss。 目前看来mapreduce和hbase同时运行时出现的一个问题就是内存竞争

2011-04-19 13:39:00 3575 3

转载 SQL到NOSQL的思维转变

介绍了传统关系数据库和现在的nosql的一些对比，解释了互联网业界为什么会有rmdb-》nosql的思路转变

2011-04-15 20:30:00 1425

原创 Hbase入库因素小结（停止更新）

一、硬件因素Ø 内存Hbase对内存有特别的嗜好，因为内存越大，regionserver接受客户端传递来的数据时可以在内存中做缓存（memstore）以及排序，分配给region等操作的限度更大，相当于利用内存作为缓冲池，组织好hbase需要的数据之后再统一写的顺序写硬盘。*推荐32GB内存Ø CPUCPU参与边界计算以及数据排序等操作，当内存非常大时，CPU对内存中数据的组织

2011-04-15 08:17:00 11468 10

原创 HBase0.89常用API接口使用

HTable：这个是table对象，通过他来完成对hbase表的各种操作，删除，更新，创建，查询 RowFilter：对rowkey过滤查询的类 QualifierFilter：对子列做过滤查询的类 FilterList：复合filter的实现类 Get：rowkey定位器 Scan：查询扫描器 ResultScanner：查询结果扫描器 Result：单个查询结果 KeyValue：查询结果中的keyvalue原子项 //场景一，通过rowkey，列族，子列直接定位value

2011-04-14 18:36:00 5423

原创 Hadoop0.21.0编译手册

目录 Hadoop0.21.0编译手册... 1 1. 安装环境及基本准备... 3 2. 安装Cygwin. 4 3. 编译common模块... 10 A. 导入工程... 10 B. 修改编译器设置... 10 C. 编译工程... 13 4. Hdfs和mapreduce模块编译... 15 5. 验证编译结果... 17 1. 安装环境及基本准备操作系统：windows xp IDE: eclipse JDK：1.6以上版本，需配置好JAVA_HOME以及Path

2011-04-14 13:56:00 2304

hbase培训ppt

本人总结的hbase入门+提高培训ppt，对于对初级人员进行hbase培训，讲解思路在我的一篇博文中：http://blog.csdn.net/kirayuan/article/details/6321966#reply

2013-05-22

控制原理课件和试卷完整版

考自控原理的非控制专业人员适用，考试必备。包含往届考试题目，来源华工计算机学院

2008-12-31

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人