2013年10月_stefshawn

转载 Win7下安装苹果MAC OS X Mountain Lion 双系统详细图文教程

最近看到新闻说苹果发了个Mountain Lion版，也就是ML版，发了疯了想装装看，到底苹果咋牛X，苹果俺没有，黑苹果太危险，用虚拟机试试火力吧，用的是VMware虚拟机。虚拟机安装Mac OS X Mountain Lion所需文件：1、Vmware 8.04版下载：下载地址已过期，2013.2.22更新9.01版：http://diybbs.zol.com.cn/15/225_1

2013-10-28 13:13:11 1342

转载 Vmware10下安装Mac OS X Mountain Lion(10.8.5)

本主题由青豆于 2013-09-26 15:10:08 设为精华1，原因：内容丰富最后由 qinger 于 2013-09-26 14:16:40 修改最近，不断有人问起，如何在vmware下安装MAC系统。起因是以前曾发过一篇贴，在vmware8下安装MAC的方法。于是，重新下载了最新版苹果系统10.8.5，终于成功安装。现将注意事项及过程与各位朋友共享。一、

2013-10-27 15:18:26 1263

转载 Hadoop Hive与Hbase整合

用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的 hql查询.hive也即做数据仓库 1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_shenbin/article/details/7105319 2. HBase 0.

2013-10-26 18:51:48 865

转载使用mysql数据库作为Hive的元数据库

在hive/conf文件夹下找到hive-default.xml.template，复制该文件并改名为hive-site.xml。修改一下内容： hive.metastore.local true javax.jdo.option.ConnectionURL jdbc:mysql://master:3306/metastore

2013-10-26 18:49:50 1587

转载 hadoop2.1.0在ubuntu下的安装配置

在Ubuntu下安装hadoop2.1.0之前，首先需要安装如下程序：|- JDK 1.6 or later|- SSH（安全协议外壳）。要装这两个程序的原因：1. Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的

2013-10-22 14:47:00 692

转载 Hadoop学习笔记【12】-Hadoop2.1全分布式集群安装

1. 环境5个节点，配置如下：dual core x86_64, 4GB RAM, 10GB DiskCentos 6.4_x64OpenJDK 1.7.0_9hadoop-2.1.0-beta互相之间千兆网连接。每台机器上用于安装和启动hadoop的用户名都是xc节点的hostname、安装的服务和ip如下：

2013-10-22 14:43:05 751

转载 Hadoop 2.0：分布式环境搭建安装配置

集群环境：1 NameNode(真实主机):Linux yan-Server 3.4.36-gentoo #3 SMP Mon Apr 1 14:09:12 CST 2013 x86_64 AMD Athlon(tm) X4 750K Quad Core Processor AuthenticAMD GNU/Linux2 DataNode1(虚拟机):Linux n

2013-10-22 14:41:14 811

转载 MapReduce执行流程

MapReduce的大体流程是这样的，如图所示：由图片可以看到mapreduce执行下来主要包含这样几个步骤1.首先对输入数据源进行切片2.master调度worker执行map任务3.worker读取输入源片段4.worker执行map任务，将任务输出保存在本地5.master调度worker执行reduce任务，reduce worker读取map任务的输出文件

2013-10-21 10:25:15 657

转载 Hadoop集群_Eclipse开发环境设置

1、Hadoop开发环境简介1.1 Hadoop集群简介　　Java版本：jdk-6u31-linux-i586.bin　　Linux系统：CentOS6.0　　Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介　　Java版本：jdk-6u31-windows-i586.exe　　Win系统：Window

2013-10-16 15:22:44 813

转载 windows下Eclipse安装hadoop1.1.2插件连接hadoop集群

1、下载Eclipse解压。2、把hadoop-eclipse-plugin-1.1.2.jar放到eclipse的plugs目录下。我的hadoop集群用的版本：hadoop1.1.2 hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件，需要自己用an

2013-10-16 15:21:35 898

ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在

2013-10-14 17:58:58 1026

转载 Hadoop的namenode和secondnamenode分开部署在不同服务器

一、系统环境： Hadoop 0.20.2、JDK 1.6、Linux操作系统二、使用背景网上关于hadoop的集群配置，很多情况下，都是把namenode和secondnamenode部署在同一服务器上。为了降低风险，一个大的集群环境，最好是把这两个配置到不同的服务器上。三、操作要达到这要求，需要对conf/master、conf/hdfs-site.xml和co

2013-10-14 16:41:47 1661

转载 ubuntu11.04上cloudera cdh3u0的hadoop和hbase分布式安装

概述：业务需要较实时的处理大数据量，并提供大吞吐量的读写，hbase作为一个可选的列数据库，记录一下安装过程，待查。 hbase的安装需要hadoop和zookeeper和hbase，生产环境下需要将zookeeper独立安装，并保证整个集群没有单点。 hbase软件选择cloudera的cdh3u0，apache的版本需要重新编译hadoop0.20.2-appender版以

2013-10-14 15:50:10 793

转载 hadoop分布式安装过程

一、安装准备及环境说明1、下载hadoop-1.2.1，地址：http://apache.spinellicreations.com/hadoop/common/stable/hadoop-1.2.1-bin.tar.gz2、JDK版本：jdk1.6.0_35 （64位，必须是1.6）3、操作系统：CentOS 6.4 64位4、三台机器，10.108.102.5（master，h

2013-10-14 11:04:55 1165 2

转载 HBase分布式安装

安装HBase之前需要先安装Hadoop，因为HBase是运行在Hadoop集群上的。安装Hadoop可以参照http://www.cnblogs.com/stGeekpower/p/3307289.html一、安装准备及环境说明运行在http://www.cnblogs.com/stGeekpower/p/3307289.html中的三台机器上hbase1作为master，hbase

2013-10-14 10:58:26 744

转载 hive的数据类型和数据模型

在上篇文章里，我列举了一个简单的hive操作实例，创建了一张表test，并且向这张表加载了数据，这些操作和关系数据库操作类似，我们常把hive和关系数据库进行比较，也正是因为hive很多知识点和关系数据库类似。　　关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大

2013-10-11 17:57:09 1073

转载 hive介绍

首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性：　　1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的

2013-10-11 17:55:25 728

转载 hadoop学习笔记：zookeeper学习（上）

在前面的文章里我多次提到zookeeper对于分布式系统开发的重要性，因此对zookeeper的学习是非常必要的。本篇博文主要是讲解zookeeper的安装和zookeeper的一些基本的应用，同时我还会教大家如何安装伪分布式，伪分布式不能在windows下实现，只能在linux下实现，我的伪分布式是通过电脑的虚拟机完成了，好了，不废话了，具体内容如下：　　首先我们要下载一个zookeep

2013-10-11 17:40:25 696

转载 hadoop研究：mapreduce研究前的准备工作

继续研究hadoop，有童鞋问我，为啥不接着写hive的文章了，原因主要是时间不够，我对hive的研究基本结束，现在主要是hdfs和mapreduce，能写文章的时间也不多，只有周末才有时间写文章，所以最近的文章都是写hdfs和mapreduce。不过hive是建立在hdfs和mapreduce之上，研究好hdfs和mapreduce也是真正用好hive的前提。　　今天的内容是mapred

2013-10-11 17:07:07 654

转载 hadoop 学习笔记：mapreduce框架详解

开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架

2013-10-11 14:57:33 660

转载 HBase完全分布式安装

假设Hadoop已经成功安装。实验环境如下：Ubuntu 12hadoop-0.20.203.0hbase-0.90.5三台主机：192.168.66.91 masternode192.168.66.92 slavenode1192.168.66.93 slavenode2Ubuntu用户名gridhadoop安装目录：/home/gri

2013-10-04 12:04:46 647

转载 ubuntu linux下安装 hbase

说明：在之前已经安装好的hadoop集群环境下，今天来安装hbase集群环境，主要步骤类似，hadoop与hbase间关系可以类比如下主要步骤：一、在主操作系统上Ubuntu Linux 12.04安装Hbase（主节点:hbase-master）二、在虚拟机操作系统Ubuntu Linux 12.04上按安装同样的Hbase（regionserver节点:hbase-reg

2013-10-04 12:03:50 998

转载 Hbase分布式的安装

HBase是Hadoop数据库，能够实现随机、实时读写你的Big Data，它是Google的Bigtable的开源实现，可以参考Bigtable的论文Bigtable: A Distributed Storage System for Structured。HBase的存储模型可以如下三个词来概括：distributed, versioned, column-oriented。HBase并非

2013-10-04 11:38:57 708

stefshawn的专栏