Cloud
钛合金编程
静以修身,俭以养德!The greatest thing is, at any moment, to be willing to give up who we are in order to become all that we can be.
展开
-
Hadoop 2.7集群安装指南
Hadoop 2.7集群安装安装环境是centOS环境。有三个下面的主机:balance01 hadoop_masterbalance02 node02 balance03 node03配置Linux安装账号三步创建一个用户,使他有与root一样的权限。1) 用root下,创建一个用户“app” 组 [root@da原创 2016-10-24 14:06:41 · 940 阅读 · 0 评论 -
解决Hadoop一些小问题(整理版)
1 dfsadmin -setQuota的问题dfsadmin -setQuota 限制文件数量dfsadmin -setSpaceQuota 限制磁盘空间2 解决Hadoop小文件问题? 数据块的默认大小是64M,如果一个文件的大小小于64M,那么它就属于Hadoop的小文件。这样会浪费空间,所以要使用archive的方式来实现归并小文件。数据块的大小可以使用原创 2014-09-24 16:42:21 · 1016 阅读 · 0 评论 -
Beego架构简介
Beego是什么? Beego是一个能够快速开发Go应用程序的Http框架。它可以用来迅速地开发API、网络App和后端服务。同时,它也可以作为RESTful 框架。其设计灵感主要来自Python和Rails流行的框架,借鉴了Python语言开发的框架Tornado和Flask以及Ruby开发的web框架Sinatra。 Beego的架构原创 2016-03-02 10:54:38 · 4874 阅读 · 1 评论 -
ZooKeeper架构及简介
ZooKeeper是一个分布式应用程序协调服务,是Google的Chubby一个开源的实现,是众多开源分布式应用的核心组件之一。架构图如下所示:它为分布式应用提供配置维护、域名服务、分布式同步、分布式锁、服务注册等服务。ZooKeeper具备以下几个特性。1.1.1 简单易用ZooKeeper以分布式方式协调各个应用程序,它提供一个共享的原创 2016-03-06 15:58:30 · 1612 阅读 · 0 评论 -
etcd系统简介
初识etcdetcd是一个分布式可靠的键值存储系统。它提供了与ZooKeeper相似的功能,但是使用Go语言编写而不是Java语言。Etcd使用Raft协调算法而不是ZooKeeper采用的Paxos算法。在云计算方面,Go是一个大有前景的语言,被誉为云时代的C语言。对比与ZooKeeper,etcd更轻量级,etc更加关注一下几点:l简单:curl命令可以调用的API接口原创 2016-03-17 15:05:06 · 5691 阅读 · 0 评论 -
Caravel一个数据可视化平台
Caravel 作为一个可视化,直观化和交互化的数据模块控制探究平台。【工程以前的名字为Panoramix】 Caravel 展示图效果图1Caravel简介Caravel的主要目标是使其能够很容易的切片、分片和数原创 2016-04-11 11:59:36 · 5356 阅读 · 3 评论 -
Go语言三大框架点评
了解了基本的Go语言web框架,下面将对这些框架做个点评。1 Beego Beego 作为一个功能强大的MVC框架,具备与Rails同级别的特性,并且吸收了Python框架Tornado和Flask 的高级特性。它是一个大的框架,拥有自己的日志库、ORM和web框架。 优势: 强大的MVC特性,活跃的开发社区。值得一提的是,中国好多公司都采用原创 2016-03-01 10:36:47 · 8861 阅读 · 0 评论 -
流行的Go语言web框架简介
Golang被称为云计算时代的C语言,它以其独特的优势逐渐被越来越多的公司所关注和使用。为了充分利用Golang的Web开发优势,有必要熟悉一下Golang的web框架。1 Beego (http://beego.me/) Beego是一个完全的MVC框架,你可以使用你的Go语言专业技术构建你的web应用程序。Beego框架下,你可原创 2016-02-29 10:40:48 · 45352 阅读 · 4 评论 -
Go计算运行的时间
函数time.Since()计算golang运行的时间是非常有用的性能衡量指标,特别是在并发基准测试中。下面将介绍如何简单地使用Go语言来计算程序运行的时间。简单地使用Golang的time.Since()函数即可。下面有一个完整例子展示这个用法。package mainimport ( "fmt" "time")func StartCac() { t1 := time.N原创 2016-03-18 14:42:57 · 25182 阅读 · 0 评论 -
安装Docker-Compose
安装 Docker-compose之前,你需要先安装好 Docker 。然后,你需要使用 curl 指令来安装 docker-compose.假设你已经成功安装了Docker,并且Docker的环境变量已经设置成功了。校验Docker是否安装成功,输入下面命令即可。[root@cloud_0001 docker-compose]# docker versionClient: V原创 2016-03-06 23:51:19 · 8410 阅读 · 1 评论 -
Docker 网络设计哲学
2016-03-06 John Lau译 高扩展架构及技术 从Docker 1.7至1.9初始版本的实验网络中,Docker社区的反响一直都非常好!首先,我们要感谢所有的讨论,评价,优点和归档的问题。随着网络功能在每一个发布版本上的不断演变,我们想花一些时间来解释在设计背后的指导原则。1.1 第一用户Docker的理念是构建具翻译 2016-03-06 14:37:04 · 1133 阅读 · 0 评论 -
Zookeeper 集群搭建
分布式Zookeeper安装步骤:1. 安装准备 1.1 下载Zookeeper。下载链接:http://mirrors.hust.edu.cn/apache/zookeeper/ 1.2 解压缩到指定的目录下,比如:/opt/zookeeper下。 1.3 修改系统的hosts文件,指定域名映射。例如:192.168.177.167 mac原创 2014-01-10 15:43:05 · 2502 阅读 · 0 评论 -
Hadoop 2.4.0新特性介绍
在2014年4月7日,Apache发布了Hadoop 2.4.0 。相比于hadoop 2.3.0,这个版本有了一定的改进,突出的变化可以总结为下列几点(官方文档说明):1 支持HDFS访问控制列表(ACL,Access Control Lists) 这个特性解决了在一定情况下,文件权限访问的权限问题。其机制是基于Linux文件访问权限的特征,如果你熟悉Linux的文件访问机原创 2014-05-12 16:57:24 · 1880 阅读 · 0 评论 -
学习Hadoop生态系统最值得一读的书籍
学习大数据的处理,有必要读一下有关大数据的书籍。这里,我列举了几本书,仅供参考。 1 ZooKeeper: Distributed Process Coordination 这本书针对的是初级或者高级的开发,面向Zookeeper编程的工程师们。如果你的工程中(如HBase)涉及到Zookeeper的应用,有必要了解一下Zookeeper的管理知识和一些基本解原创 2014-05-11 21:41:24 · 8664 阅读 · 1 评论 -
Eclipse 安装Hadoop-2.2.0插件
1. 安装准备1.1 Eclipse下载最新的Eclipse Linux版本,这里主要介绍Linux环境下的安装。64位Linux版本下载,点击eclipse-jee-kepler-R-linux-gtk-x86_64.tar.gz。解压缩,安装指令省略。1.2 hadoop2x-eclipse-plugin在github托管门户中下载hadoop2x-ecli原创 2014-01-25 15:14:18 · 4955 阅读 · 1 评论 -
ERROR security.UserGroupInformation: PriviledgedActionException 问题解决
运行Hadoop mapreduce 实例: bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /output 报出ERROR security.UserGroupInformation: Priviled原创 2013-12-30 17:01:57 · 6363 阅读 · 0 评论 -
ClientCnxn: Session 0x0 for server null, unexpected error 异常解决
ClientCnxn: Session 0x0 for server null, unexpected error 异常是由于zookeeper配置不成功引起的。 解决方法: 1. 确保zookeer集群安装成功。通过jps能够正确显示zookeeper管理进程QuorumPeerMain。 2. HBase 中的zookeeper配置正确,zookeeper实原创 2014-01-10 16:09:41 · 11090 阅读 · 0 评论 -
搭建Hadoop 2.2.0 和 HBase 0.94.14 集成
使用最新的Hadoop集群与HBase搭建一个分布式的运行环境,最新的Hadoop稳定版本是2.2.0,HBase 的稳定版本是0.94.14 ,搭建过程如下:1. 安装Hadoop 这个步骤,我的blog hadoop集群安装 2. 安装Hbase HBase 可以用3个模式之一来安装,分别是:独立模式( Standalo原创 2014-01-11 09:22:06 · 6525 阅读 · 2 评论 -
Hadoop REST API -- WebHDFS(上)
介绍 Hadoop提供了一个Java native API来支持对文件系统进行创建,重命名,删除文件或者目录,打开读取或者写文件,设置文件权限等操作。这对于运行在hadoop集群中的应用程序来说是挺棒的,但是,也有许多外部的应用程序需要操作HDFS的情况,怎么办?如果解决这种问题呢?Hortonworks 开发了一些额外的API来支持这些基于标准REST功能的需求。WebHDFS R原创 2014-02-25 00:11:09 · 7843 阅读 · 0 评论 -
Hadoop REST API -- WebHDFS(下)
下面主要介绍几种常用的WebHDFS操作。5.1 创建 创建一个目录/tmp/webhdfs。curl-i -X PUT"http://hadoop-master:14000/webhdfs/v1/tmp/webhdfs?user.name=app&op=MKDIRS"HTTP/1.1 200 OKServer: Apache-Coyote/1.1Set-Cookie:h原创 2014-02-26 22:54:39 · 6825 阅读 · 2 评论 -
企业级Hadoop能够解决的问题
Hadoop著名的提供商主要有 Amazon Web Services, Cloudera, Hortonworks, IBM, Intel, MapR Technologies, Microsoft, Pivotal Software, and Teradata,这些都是比较出名的行业大佬,中国也有一些公司可以提供这样的服务。三大巨头--腾讯、百度、阿里巴巴,在这方面做得比较领先。那么,企业级H原创 2014-03-06 22:48:26 · 1479 阅读 · 0 评论 -
hadoop2.2.0 hadoop-auth pom文件中的一个 bug
hadoop-common-project/hadoop-auth/pom.xml org.mortbay.jetty+ jetty-util+ test+ + + org.mortbay.jetty jetty test原创 2014-04-23 15:14:32 · 1559 阅读 · 0 评论 -
hadoop生态系统默认端口集合
1 HDFS服务中,默认端口集合: 1. HDFS 端口ServiceServersDefault Ports UsedProtocolDescriptionNeed End User Access?Configuration ParametersNameNode WebUIMaster Nodes (NameNo原创 2014-04-28 16:40:53 · 2773 阅读 · 0 评论 -
大数据Lambda架构
1 Lambda架构介绍Lambda架构划分为三层,分别是批处理层,服务层,和加速层。最终实现的效果,可以使用下面的表达式来说明。query = function(alldata)1.1 批处理层批处理层主用由Hadoop来实现,负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作,因此,当新数据到达时,使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算原创 2014-05-10 19:58:01 · 16913 阅读 · 1 评论 -
Hadoop集群硬件标准配置
在我们选择硬件的时候,往往需要考虑应用得到的性能和经费开支。为此,我们必须在满足实际需要和经济可行上找到一个完美的平衡。下面,以Hadoop集群应用为了例子,说明需要考虑的要素。 1. I/O绑定的工作负荷。 Hadoop涉及到的I/O操作,主要包括下列几项:索引(Indexing)群化(Grouping)数据导入和导出(Data importing原创 2014-05-11 21:09:57 · 6211 阅读 · 1 评论 -
CentOS上安装mesos和实例测试
1 安装Mesos在centOS上安装mesos,可以分为下面几个步骤。必要的系统工具和库,运行下面的命令即可。$sudo yum groupinstall "Developmenttools"$sudo yum installjava-1.6.0-openjdk.x86_64 java-1.6.0-openjdk-devel.x86_64 python python-devel l原创 2014-07-21 11:21:33 · 3722 阅读 · 0 评论 -
Spark中,分享Java和Scala APIs
分享Java和Scala APIs 一旦你有了一个SparkContext,它将服务作为你的主入口点。您能够使用SparkContext实例来发布更多的Spark工作,并且添加或者删除依赖。你能够使用非数据驱动的方法,这些方法如下所示:addJar(path) 为后来的job工作添加jar文件这将贯穿于SparkContext实例中。原创 2014-07-21 10:13:24 · 1006 阅读 · 0 评论 -
理解HBase zookeeper和-Root-/.MET表
1 探究Zookeeper 安装过HBase的开发者一定知道,HBase本身就嵌入了Zookeeper,你可以选择安装嵌入的Zookeeper,也可以安装一个分布式的Zookeeper集群。具体的安装步骤,可以到我的博客里查找。 我们可以手工与Zookeeper交互的方式就是使用HBaseshell命令。使用zk_dump来查看HBase的安装等信息。 hbase(main原创 2014-01-29 17:09:59 · 3686 阅读 · 0 评论 -
浅析HBase架构和系统结构介绍(五)
5 关键算法/流程5.1 region定位 HBase如何找到某个row key (或者某个row key的range)所在的region?使用三层类似B+树的结构来保存region位置:第一层:Zookeeper保存了-ROOT-表的位置。第二层:-ROOT- 表保存了.META.表所有region的位置,通过-ROOT-表,可以访问.META.表的数据。第三层:.ME原创 2014-02-02 12:32:19 · 2650 阅读 · 6 评论 -
浅析HBase架构和系统结构介绍(六)
6 HBase 上的MapReduce 在HBase系统上运行批处理运算,最方便和实用的模型依然是MapReduce,如下图:HBase table和region的关系,比较类似HDFSfile和block的关系,HBase提供了配套的TableInputFormat和TableOutputFormat API,可以方便的将HBase table作为Hadoop MapReduce原创 2014-02-02 12:34:53 · 1842 阅读 · 0 评论 -
Kettle(Pentaho DataIntegration) 安装Hadoop-2.2.0插件
1 安装前的准备工作 1.1 Pentaho Data Integration当前的CE 版本Pentaho Data Integration 是5.0.1,下载地址:http://www.pentaho.com/download/。你也可以尝试企业版EE,这里不做介绍了。下载完成后,压缩到指定的目录下。 1.2 Hadoop 2.2.0下载最新稳定版本的Hadoop原创 2014-01-22 22:18:55 · 7994 阅读 · 11 评论 -
Kettle(Pentaho DataIntegration)实现Hadoop-2.2.0 文件复制
这个实例很简单,难点在于你的Hadoop2.20插件的安装(我的上一篇博文)。实现的步骤如下: 1. 创建job 创建一个Kettle的job,实现如下效果。原创 2014-01-22 22:33:56 · 3449 阅读 · 0 评论 -
了解Apache Bigtop
Bigtop 是一个工程的系统开发包,对Apache Hadoop生态系统的测试。 Bigtop的主要目标就是构建一个Apache Hadoop生态系统的包和交互式测试的社区。这个包括对各类不同级别工程进行测试(包,平台,运行时间,升级等...),它由社区以关注系统作为一个整体开发而来。 构建Bigtop 包能够被构建在Ubuntu 10.10, Ce翻译 2014-02-06 11:38:28 · 4900 阅读 · 0 评论 -
java实现对HDFS增删改查(CRUD)等操作
实现对HDFS增删改查CRUD等操作1 查找列出某个目录下的文件名称,hdfs命令如下所示:hdfs dfs –ls/usr/appjava代码片段: public void list(String srcPath) { Configuration conf = new Configuration();原创 2014-03-12 21:16:58 · 3788 阅读 · 0 评论 -
浅析HBase架构和系统结构介绍(二)
2 HBase架构 HBase系统架构图(注意,每个HRegsionServer维护一个HLog文件) 2.1客户端(client)HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信原创 2014-02-02 12:11:49 · 4478 阅读 · 0 评论 -
浅析HBase架构和系统结构介绍(四)
4 HBase存储格式HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括上述提出的两种文件类型:1. HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装。2. HLogFile,HBase中WAL(Write Ahead Log) 的存储格式,物理上是Had原创 2014-02-02 12:28:53 · 2143 阅读 · 1 评论 -
Hadoop 2.2.0 分布式集群搭建
本人安装的Hadoop2.2的系统是 64 bit CentOS 6.5,安装步骤如下。1. 预备条件 * 安装了Java 6.0以上版本的JDK; * 必备开发库,运行脚本 yum -y install lzo-devel zlib-devel gcc autoconf automake libtool cmake opens原创 2013-12-30 21:12:43 · 3108 阅读 · 0 评论 -
HRegionServer: Master rejected startup异常解决
这个是由于集群中的系统时钟不一致而引起的异常。 解决方法: 安装ntpdate同步服务。sudo ntpdate pool.ntp.org 同步系统时钟就OK了原创 2014-01-10 15:49:19 · 1165 阅读 · 0 评论 -
类似于谷歌大表(Google' Gigtable)的开源数据库,你知多少
想到大数据,你第一个会想到Google's Bigtable,其次就是根据其思想设计的开源数据库HBase。除此之外,你还知道其它的类似的开源数据库呢?我简要描述了其它的开源数据库,仅供了解.HBase简述· 编程语言: Java· 主要关注点: 上亿级的行百万级的列数据 Billions of rows X millions of columns· 许可证(Licens原创 2014-01-28 17:09:01 · 2356 阅读 · 0 评论 -
高级column family 配置
1 配置块大小(Configurableblock size)HFile文件块大小能够通过column family级别进行配置,这个块与我们所熟知的HDFS块是不同的。HFile块的默认大小事64KB,并且快索引存储着每个HFile文件的开始关键字。配置块文件的大小将影响到块索引文件的大小。块越小,索引文件就越大,因此会产生更大的内存消耗。初始化HFile块大小命令:hbase(原创 2014-02-01 16:14:28 · 3051 阅读 · 3 评论