- 博客(250)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 Hadoop的namenode和secondnamenode分开部署在不同服务器
一、系统环境： Hadoop 0.20.2、JDK 1.6、Linux操作系统二、使用背景 网上关于hadoop的集群配置，很多情况下，都是把namenode和secondnamenode部署在同一服务器上。为了降低风险，一个大的集群环境，最好是把这两个配置到不同的服务器上。三、操作 要达到这要求，需要对conf/master、conf/hdfs-site.xml和co
2013-10-14 16:41:47
1776
转载 ubuntu11.04上cloudera cdh3u0的hadoop和hbase分布式安装
概述：业务需要较实时的处理大数据量，并提供大吞吐量的读写，hbase作为一个可选的列数据库，记录一下安装过程，待查。 hbase的安装需要hadoop和zookeeper和hbase，生产环境下需要将zookeeper独立安装，并保证整个集群没有单点。 hbase软件选择cloudera的cdh3u0，apache的版本需要重新编译hadoop0.20.2-appender版以
2013-10-14 15:50:10
854
转载 hadoop分布式安装过程
一、安装准备及环境说明1、下载hadoop-1.2.1，地址：http://apache.spinellicreations.com/hadoop/common/stable/hadoop-1.2.1-bin.tar.gz2、JDK版本：jdk1.6.0_35 （64位，必须是1.6）3、操作系统：CentOS 6.4 64位4、三台机器，10.108.102.5（master，h
2013-10-14 11:04:55
1214
转载 HBase分布式安装
安装HBase之前需要先安装Hadoop，因为HBase是运行在Hadoop集群上的。安装Hadoop可以参照http://www.cnblogs.com/stGeekpower/p/3307289.html一、安装准备及环境说明运行在http://www.cnblogs.com/stGeekpower/p/3307289.html中的三台机器上hbase1作为master，hbase
2013-10-14 10:58:26
786
转载 hive的数据类型和数据模型
在上篇文章里，我列举了一个简单的hive操作实例，创建了一张表test，并且向这张表加载了数据，这些操作和关系数据库操作类似，我们常把hive和关系数据库进行比较，也正是因为hive很多知识点和关系数据库类似。 关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大
2013-10-11 17:57:09
1150
转载 hive介绍
首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的
2013-10-11 17:55:25
781
转载 hadoop学习笔记：zookeeper学习（上）
在前面的文章里我多次提到zookeeper对于分布式系统开发的重要性，因此对zookeeper的学习是非常必要的。本篇博文主要是讲解zookeeper的安装和zookeeper的一些基本的应用，同时我还会教大家如何安装伪分布式，伪分布式不能在windows下实现，只能在linux下实现，我的伪分布式是通过电脑的虚拟机完成了，好了，不废话了，具体内容如下： 首先我们要下载一个zookeep
2013-10-11 17:40:25
735
转载 hadoop研究：mapreduce研究前的准备工作
继续研究hadoop，有童鞋问我，为啥不接着写hive的文章了，原因主要是时间不够，我对hive的研究基本结束，现在主要是hdfs和mapreduce，能写文章的时间也不多，只有周末才有时间写文章，所以最近的文章都是写hdfs和mapreduce。不过hive是建立在hdfs和mapreduce之上，研究好hdfs和mapreduce也是真正用好hive的前提。 今天的内容是mapred
2013-10-11 17:07:07
694
转载 hadoop 学习笔记：mapreduce框架详解
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架
2013-10-11 14:57:33
710
转载 HBase完全分布式安装
假设Hadoop已经成功安装。实验环境如下：Ubuntu 12hadoop-0.20.203.0hbase-0.90.5三台主机：192.168.66.91 masternode192.168.66.92 slavenode1192.168.66.93 slavenode2Ubuntu用户名gridhadoop安装目录：/home/gri
2013-10-04 12:04:46
690
转载 ubuntu linux下安装 hbase
说明：在之前已经安装好的hadoop集群环境下，今天来安装hbase集群环境，主要步骤类似，hadoop与hbase间关系可以类比如下 主要步骤：一、在主操作系统上Ubuntu Linux 12.04安装Hbase（主节点:hbase-master）二、在虚拟机操作系统Ubuntu Linux 12.04上按安装同样的Hbase（regionserver节点:hbase-reg
2013-10-04 12:03:50
1073
转载 Hbase分布式的安装
HBase是Hadoop数据库，能够实现随机、实时读写你的Big Data，它是Google的Bigtable的开源实现，可以参考Bigtable的论文Bigtable: A Distributed Storage System for Structured。HBase的存储模型可以如下三个词来概括：distributed, versioned, column-oriented。HBase并非
2013-10-04 11:38:57
761
转载 Hadoop基本流程与应用开发
── 分布式计算开源框架Hadoop入门实践（三）Hadoop基本流程在分布式环境中客户端创建任务并提交。一个图片太大了，只好分割成为两部分。根据流程图来说一下具体一个任务执行的情况。在分布式环境中客户端创建任务并提交。InputFormat做Map前的预处理，主要负责以下工作：验证输入的格式是否符合Job
2013-09-25 17:22:05
671
转载 Hadoop中的集群配置和使用技巧
── 分布式计算开源框架Hadoop入门实践（二）其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了，不过这里既然写了就再多写一点，同时有一些细节需要注意的也说明一下，其实也就是这些细节会让人摸索半天。Hadoop可以单机跑，也可以配置集群跑，单机跑就不需要多说了，只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群配置运行的过程。环境7台普
2013-09-25 17:19:08
595
转载 分布式计算开源框架Hadoop介绍
── 分布式计算开源框架Hadoop入门实践（一）在SIP项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计，在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单，所以就采用Memcache作为计数器，结合MySQL就完成了访问控制以及统计的工作。然而未来，对
2013-09-25 17:15:06
724
转载 Ubuntu 12.04搭建hadoop2.0.4单机版环境
一. 安装Ubuntu 12.04；二. 在Ubuntu下创建hadoop用户组和用户;1. 创建hadoop用户组： sudo addgroup hadoop如图：12.04搭建hadoop2.0.4单机版伪分布式模式环境" style="margin:0px; padding:0px; border:0px; list-style
2013-09-25 16:53:56
949
转载 Hadoop的安装（伪分布式模式和分布式模式）
一、Hadoop伪分布式模式安装过程：（windows）适用于WIndows2000 ，Windows XPhadoop4win（hadoop for windows）：主要提供Windows平台上简易安装hadoop的批次安装档。主要软件：1）Cygwin——类似于LInux环境的精简版；2）JDK 1.6.0 u18——Java环境3）Hadoop 0.20.2安装
2013-09-25 16:22:07
864
转载 hadoop学习之hadoop完全分布式集群安装
注：本文的主要目的是为了记录自己的学习过程，也方便与大家做交流。转载请注明来自：http://blog.csdn.net/ab198604/article/details/8250461 要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来
2013-09-25 00:28:40
681
转载 eclipse hadoop开发环境配置
win7下安装hadoop完成后，接下来就是eclipse hadoop开发环境配置了。具体的操作如下：一、在eclipse下安装开发hadoop程序的插件安装这个插件很简单，haoop-0.20.2自带一个eclipse的插件，在hadoop目录下的 contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar，把这个文件copy到e
2013-08-13 18:14:45
533
转载 Eclipse里编写第一个Hadoop程序
Hadoop分布式安装: http://www.cnblogs.com/BennyTian/archive/2013/03/05/2944868.htmlHadoop Eclipse插件: http://www.cnblogs.com/BennyTian/archive/2013/03/05/2944899.html Eclipse 新建一个 MapReduce项目 然后按
2013-08-13 18:13:33
756
转载 Flex
1. 下载 Blazeds文件： a. http://sourceforge.net/adobe/blazeds/wiki/Downloads/ 下拉网页找到 Release Builds 说明下的 Download the latest BlazeDS Release builds 点击此链接 b. 这个时间
2013-06-19 22:26:56
755
转载 Oracle内连接、外连接、右外连接、全外连接小总结
数据库版本：Oracle 9i表TESTA,TESTB,TESTC,各有A, B两列AB00110A00220AAB00110B00330BA
2013-06-16 22:42:30
613
转载 什么是云存储？
1 什么是云存储？云存储在云计算 (cloud computing)概念上延伸和发展出来的一个新的概念。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给
2013-05-13 10:59:55
1104
转载 安装Ubuntu 13.04后要做的六件事
Raring Ringtail Ubuntu 13.04正式发布了，作为幕后开发Ubuntu Linux的公司，Canonical在为全新安装的系统设置一系列默认值方面已经做得很到位，但你可能还是想在几个方面对这款刚安装的这款操作系统进行增添或更改。AD：2013大数据全球技术峰会低价抢票中【51CTO精选译文】最新版本的Ubuntu已经新鲜出炉：Ubunt
2013-05-13 10:07:10
694
转载 如何查看ubuntu版本
有时候，我们在升级内核版本或者是从一个版本升级到新的版本之后，想要查看一下自己的ubuntu是否升级成功。可是有没有一种比较快捷的方法比如说在终端里面查看呢？答案是肯定的。为了查看 Ubuntu 的版本号，可以采用以下两种方法之一。方法一在终端中执行下列指令：cat /etc/issue可以查看当前正在运行
2013-05-11 12:02:05
634
转载 ubuntu + windows 双系统设置开机默认启动的系统
我用的是ubuntu10.10和windows 7 ，最近经常用ubuntu系统，因此希望开机自动启动。研究成功之后，写出来，与大家分享，希望对大家有所帮助。操作过程如下：在终端中输入：sudo gedit /boot/grub/grub.cfg（此时可能需要输入密码，输入就可以了）打开之后，会看到如下文档（需要修改的位置，可以根据打开文档的滚动条的大体位
2013-05-11 11:40:38
919
转载 Extjs 拖拽实验例子
http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">http://www.w3.org/1999/xhtml">拖拽实验 body{ font-size:12px;margin: 10px; } .block { clear:left;
2013-05-03 14:26:15
895
转载 Extjs 拖拽 设计器 （二）
http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">http://www.w3.org/1999/xhtml">拖拽实验 body{ font-size:12px;margin: 10px; } .block { clear:left;
2013-05-03 14:25:38
1532
转载 Ext JS中的拖动技术
Ext JS中的拖动技术拖动技术一般在Web程序中并不常用，这种技术往往被认为是非常复杂的。然而使用Ext JS技术后，一切就变得简单起来。在Ext JS中提供了两个类：Ext.dd.DD和Ext.dd.DDProxy。这两个类都可以实现拖动的效果。只是使用DD类拖动组件时，组件也会随着鼠标的移动而移动。而使用DDProxy类拖动组件时，在拖动的过程中会有一个灰色框（与被拖动组件同样大小）
2013-04-17 13:26:43
1239
转载 Spring MVC 教程,快速入门,深入分析
资源下载：Spring_MVC_教程_快速入门_深入分析V1.1.pdfSpringMVC核心配置文件示例.rar作者：赵磊博客：http://elf8848.iteye.com目录 一、前言二、spring mvc 核心类与接口三、spring mvc 核心流程图四、spring mvc DispatcherServlet说明五、sprin
2013-04-10 17:39:03
875
转载 Hibernate和IBatis对比
项目也做过几个, 使用IBatis就做一个项目, 基本上都是使用Hibernate, 也只是知道几点关于这两个框架的区别, 今天闲着没事干, 从网上找了几篇文章, 做了一个简单的整理。网上关于这两个框架的比较也很多, 只是自己想把别人的东西拿过来整理一下, IBatis和Hibernate的比较。(非原创)Hibernate VS iBATIS简介Hibernate是当前最流行的O
2013-04-10 17:01:54
773
转载 Spring MVC和Struts2的比较
虽然说没有系统的学习过Spring MVC框架, 但是工作这么长时间, 基本上在WEB层使用的都是Spring MVC, 自己觉得Struts2也是一个不错的WEB层框架, 这两种框架至今自己还未有比较, 今天闲着没事干, 从网上找了一些资料, 再加上平时使用Spring MVC的感触来总结一下。Spring MVCPKStruts2我们用struts2时采用的传统的配置文件的
2013-04-10 16:56:42
691
转载 andorid里关于wifi的分析
大致可以分为四个主要的类ScanResultwifiConfiguration WifiInfo WifiManager (1)ScanResult，主要是通过wifi 硬件的扫描来获取一些周边的wifi 热点的信息。 在我们进行wifi搜索的时候，一般会搜到这些信息，首先是接入点名字、接入点信息的强弱、还有接入点使用的安全模式，是WPA、WPE。打开这个类，我们可以看到以下
2013-03-21 17:53:11
615
转载 android中使用TextView来显示某个网址的内容，使用<ScrollView>来生成下拉列表框
1：androidmanifest.xml的内容[html] view plaincopyxml version="1.0" encoding="utf-8"?> manifest xmlns:android="http://schemas.android.com/apk/res/android" package="com.i
2013-03-21 17:50:21
1017
转载 android中SharedPreferences的简单例子
1：界面布局[html] view plaincopyxml version="1.0" encoding="utf-8"?> LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" android:orientation="verti
2013-03-21 17:49:21
732
转载 ExpandableListView的简单例子
最近一段时间参考网上的例子，做了一下简单的 ExpandableListView，现在和大家共享一下：1：main.xml的内容[html] view plaincopyxml version="1.0" encoding="utf-8"?> LinearLayout xmlns:android="http://s
2013-03-21 17:47:44
739
转载 Android手机端调用webservice来获得手机归属地号码
1：原理解析 我们通过soap协议来调用http://www.webxml.com.cn/zh_cn/index.aspx android端需要发送的数据信息，也是协议信息[html] view plaincopyPOST /WebServices/MobileCodeWS.asmx HTTP/1.1 Host:
2013-03-21 16:15:37
749
转载 android从网络中获得一张图片，并显示在屏幕上
1：androidmanifest.xml的内容[html] view plaincopyxml version="1.0" encoding="utf-8"?> manifest xmlns:android="http://schemas.android.com/apk/res/android" package="c
2013-03-21 15:19:59
945
转载 Android 4.0 SDK 环境搭建体验（Windows 7 Ultimate）
Android 4.0 SDK 已经出来好一段时间了，早就想试试这个版本到底怎样，好久没做android开发了，之前还是用Android2.2开发的，看这图貌似长得跟冰淇淋一样，所以叫 Ice Cream Sandwich（冰淇淋三明治），蛮有趣的。。。。 搭建Android环境步骤（仅供参考）： 官方搭建步骤： http://developer.androi
2013-03-06 11:20:24
704
转载 如何用CruiseControl.Net来进行持续化集成
注：本文属jillzhang原创，转载请注明出处 ，欢迎访问http://jillzhang.cnblogs.com/来获取最新更新本文的目的：本文总结了过去一年中使用CruiseControl.Net来对工作流程进行持续化集成的经验教训，详细地讲述安装，配置，使用CruiseControl.Net的具体步骤，希望通过阅读本文，能理解和掌握使用CruiseControl
2012-12-28 10:50:16
513
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人