2014年02月_钛合金编程

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 HBase 0.98 发布简介

hbase-0.98.0 is now available for download [0] from the Apache mirrors andits artifacts are available in the Apache Maven repository.Apache HBase is a scalable, distributed data store that run

2014-02-26 23:23:30 2358

原创 Hadoop REST API -- WebHDFS(下）

下面主要介绍几种常用的WebHDFS操作。5.1 创建创建一个目录/tmp/webhdfs。curl-i -X PUT"http://hadoop-master:14000/webhdfs/v1/tmp/webhdfs?user.name=app&op=MKDIRS"HTTP/1.1 200 OKServer: Apache-Coyote/1.1Set-Cookie:h

2014-02-26 22:54:39 6823 2

原创列出Linux网络端口以及进程的所有信息

列出Linux网络端口以及进程的所有信息，我这里提供两种方式。一种是应用lsof（列出打开的文件），另一个是netstat（网络状态）。一下命令最好使用root账户。sudo lsof -isudo netstat -lptusudo netstat -tulpn

2014-02-26 21:56:31 1289

原创 lsof 命令详解

1 介绍lsof（list open files）代表列出一些列打开的文件。在Unix系统中，每一个东西都是一个文件（管道，套接字，目录，设备等）。这样的话，你可以通过lsof命名列出所有打开的文件。默认情况下，lsof仅仅列出一些列属于激活进程的大文件。[app@hadoop-master ~]$ lsofCOMMAND PID USER FD TYPE

2014-02-26 21:33:25 4674 1

原创 CentOS上，三步创建与root一样权限的用户

三步创建一个用户，使他有与root一样的权限。1. 上root下，创建一个用户“app”[root@daddylinux~]#useradd app[root@daddylinux~]#passwd app2. 限定app使用root特权，如下所示，编辑visudo文件。[root@daddylinux~]# visudo3. 在最后一行，添加下列信息。app

2014-02-26 10:09:42 5564

原创 Hadoop REST API -- WebHDFS(上)

介绍 Hadoop提供了一个Java native API来支持对文件系统进行创建，重命名，删除文件或者目录，打开读取或者写文件，设置文件权限等操作。这对于运行在hadoop集群中的应用程序来说是挺棒的，但是，也有许多外部的应用程序需要操作HDFS的情况，怎么办？如果解决这种问题呢？Hortonworks 开发了一些额外的API来支持这些基于标准REST功能的需求。WebHDFS R

2014-02-25 00:11:09 7841

原创中介者模式(Mediator Pattern)

在多个对象或者类之间，中介者模式用来减少交流的复杂性。这个模式提供了一个中介者类，这个类正常地处理不同类之间的交流。通过松耦合性，它使得代码维护性更容易。中介者模式归属于行为型模式的范畴。为了更好的阐述这个观念，我用一个实例来表达这个思想。我创建了一个聊天室类ChartRoom，一个用户类User。用户发信息到ChatRoom中，而ChatRoom负责发送信息给所有的对象。

2014-02-15 23:50:59 1118

原创访问者模式(Visitor Pattern)

在访问者模式中，我们使用一个能够改变一个元素类执行算法的类。通过这种方法，元素的执行算法随着访问者的不同而不同。这种模式归属于行为型模式范畴。每个这样的模式，元素对象不得不接受访问者对象，以便于访问者对象能够处理在这个元素上的操作。为了更好的阐述这个观念，我用一个实例来表达这个思想。我创建了一个接口ComputePart，这个接口能接受Keyboard，Mouse，Moni

2014-02-15 23:45:39 1277

原创状态模式(State Pattern)

在状态模式中，一个类的行为基于它的状态的改变而改变。状态模式归属于行为型模式。在下面的实例中，我们创建了一个接口State，定义了一个操作方法，两个实现类StartState和StopState。另外，创建了一个上下文类Context，这个类关联到State类。UML类图如下所示：状态类Statepublic interface State { pub

2014-02-15 23:35:08 1163

原创备忘录模式(Memento Pattern)

保存一个对象的某个状态，以便在适当的时候恢复对象的先前状态。编辑器中的redo和undo操作一样，所实现的就是备忘录模式。备忘录模式归属于行为型模式。在下面的实例中，类Memento定义了备忘录的基本信息，类Originator创建我存储备忘录类对象信息，类Caretaker对象负责存储来自备忘录的对象状态。下面总共创建了3个类，Memento, Originator 和 CareTa

2014-02-15 23:25:50 1479

原创命令模式(Command Pattern)

命令模式是一个数据驱动设计模式，它归属于行为型模式的范畴。一个请求作为命令的形式被封装成一个对象，并且传递给调用对象。调用对象查找能够处理这个命令的恰当对象，传递命令给相应的对象，那个对象就执行这个命令。在这个实例中，我们创建了一个充当一个命令的接口Order，创建一个股票类Stock充当一个请求。具体的命令类BuyStock和SellStock实现Order接口，它们将做实际上的命令

2014-02-15 23:17:30 1340

原创迭代模式（Iterator Pattern）

在Java和.net编程环境下，迭代模式是非常普通使用的设计模式。这个设计模式能够以序列化的方式访问一个集合对象的元素，并且没有必要知道它内部的实现。迭代模式属于行为型模式之一，在使用中也是很常见的。在这个实例中，我们定义了接口Iterator和Container。具体的类NameRespository实现Container接口，它负责实现Iterator接口和使用它。UML图如下所示

2014-02-15 23:10:11 1552

原创观察者模式（Observer Pattern）

在对象关系间定义了一个一对多的依赖关系，当一个对象改变状态时，以便于它的依赖对象能够被自动化地被告知和更新。观察者模式是属于行为型模式之一。一个对象(object)观察观察状态的改变而做出相应的反应，这个成为Oberver；相对应的，被观察者就称之为Subject。 Java提供了通过 java.util.Observable 类和 java.util.Observer接口实现观察者模式

2014-02-15 23:04:17 1613

原创模板方法模式（Template Method Pattern）

在模板方法模式中，一个抽象类定义模板方法，然后才本身不可覆盖的方法中调用这些模板方法。实现类继承这个抽象类，覆盖原来的需要重新定义业务逻辑的模板方法。这个模式属于行为型模式之一，也是比较常用的设计模式之一。实例实现，定义一个抽象类Game，分别定义其继承类Cricket和Football。UML类图如下所示： Game.javapublic abstract clas

2014-02-15 22:45:29 1225

原创解释器模式（Interpreter Pattern）

解释器模式提供方法来解释语言语法或者表达式，这种模式类型归属于行为型模式。这个模式涉及到实现一个表达式接口，这个接口解释一个特殊的上下文。这种模式被用在SQL解析上，符号处理引擎等。在下面的这个实例中，我将创建一个接口Expression和它的具体实现类。一个类TerminalExpression充当请求中上下文的一个主解释器，其它的类OrExpression和AndExpression用

2014-02-15 22:26:58 1730

原创策略模式（Strategy Pattern）

策略模式是属于行为型模式之一。当我们对一个具体的作业有多个算法可以调用时，策略模式使客户端用户决定实际上运行实现那个算法。如果使用过MessageDigest.getInstance(String algorithm)这个方法获取一个MessageDigest对象的朋友，你可知道，这个就是一个标准的策略模式。根据algorithm算法名称来知道要调用那个算法，最后得到得到MessageDi

2014-02-13 14:43:31 1588

原创外观模式（Facade Pattern）

外观模式：在子系统中对一个集合的接口提供同统计的接口，门面定义了能够使子系统更好用更高一级的接口。像spring一样，可以将类和类之间的关系配置到配置文件中，而外观模式就是将他们的关系放在一个Facade类中，降低了类类之间的耦合度。看一个简单的例子，UML类图如下所示：ShapeMaker使用了一个具体的类，这个类能够帮助用户调用到所有类的操作。FacadeePattern作

2014-02-11 22:42:56 1523

原创 jps 进程状态工具

jps命令在JDK1.5中被引进，方便显示javaJVM的进程信息。我过去常常使用 ps -ef | grep java 查询java程序的pid信息，或者仅仅看是否我的appserver是否在运行。现在，使用jps显示pid信息，方便了pid信息的显示。下面介绍使用情况： 1. 列出pid和java主类名jps2017 Bootstrap2576 Jps

2014-02-08 10:16:07 2802

原创 OOzie简介

用几句话就可以概括什么事Oozie：Oozie是一个管理Hdoop作业（job）的工作流程调度管理系统。Oozie的工作流是一系列动作的直接周期图。Oozie协调作业就是通过时间（频率）和有效数据触发当前的Oozie工作流程Oozie是Yahoo针对Apache Hadoop开发的一个开源工作流引擎。用于管理和协调运行在Hadoop平台上（包括：HDFS、Pig和MapRedu

2014-02-07 23:14:39 6898

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

2014-02-07 16:06:12 3085

翻译了解Apache Bigtop

Bigtop 是一个工程的系统开发包，对Apache Hadoop生态系统的测试。 Bigtop的主要目标就是构建一个Apache Hadoop生态系统的包和交互式测试的社区。这个包括对各类不同级别工程进行测试(包，平台，运行时间，升级等...)，它由社区以关注系统作为一个整体开发而来。构建Bigtop 包能够被构建在Ubuntu 10.10， Ce

2014-02-06 11:38:28 4897

原创几分钟，让你理解MapReduce 1框架概念

假期里，没什么事干，那就写一下blog。梳理一下MapReduce 1 的基本概念，仅供参考。上面这个图，基本上可以说明MapReduce的工作流程。下面细说，并举了一个实例。 MapReduce工作就是将处理过程划分为两个阶段：map阶段和reduce阶段。每个有key-value对作为输入和输出，其类型是由程序员选择的。程序员能够指定有个函数：map函数和

2014-02-04 23:47:44 2676

原创 hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: 异常解决

创建Hive表结构时，报出这样一个异常：INFO hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B 原因是HBase和Hive的包libthrift-[*].jar不一致导致的。解决方

2014-02-03 18:54:59 6274

原创深入理解客户端和HBase系统的交互

客户端应用程序如何与分布式的HBase系统进行交互的呢？详细看一下这个步骤，你便知道了。这些步骤就存在于客户端与HBase系统的交互中。这种交互刚开始与Zookeeper服务，然后就是与那些客户端需要去交互的区域服务器(RegionServer)。在于区域服务器的交互中能够读或者写信息，这些有关-ROOT-和.META.表的信息将缓存在客户

2014-02-03 09:48:10 2290

原创 Hive与HBase集成

1 安装准备下载最新稳定版的Hive，资源库http://mirror.esocc.com/apache/hive/本文以当前的稳定版本0.11为例子，介绍基本的安装步骤。$>tar -xvf hive-0.11.0.tar.gz$>mv hive-0.11.0hive#移动到指定的目录下$>mvhive /opt/这个教程的软件版本信息：Hadoop-2.2.0 集群HB

2014-02-03 09:08:37 1911

原创 return code -101 from org.apache.hadoop.hive.ql.exec.DDLTask问题解决

运行Hive shell命令创建表时，报出下面这个错误：java.lang.NoSuchMethodError: org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Ljava/io/InputStream; at org.apache.hadoop.hbase.ipc.HBaseClient$Conn

2014-02-02 21:04:17 9530

原创浅析HBase架构和系统结构介绍（六）

6 HBase 上的MapReduce 在HBase系统上运行批处理运算，最方便和实用的模型依然是MapReduce，如下图：HBase table和region的关系，比较类似HDFSfile和block的关系，HBase提供了配套的TableInputFormat和TableOutputFormat API，可以方便的将HBase table作为Hadoop MapReduce

2014-02-02 12:34:53 1842

原创浅析HBase架构和系统结构介绍（五）

5 关键算法/流程5.1 region定位 HBase如何找到某个row key （或者某个row key的range）所在的region？使用三层类似B+树的结构来保存region位置：第一层：Zookeeper保存了-ROOT-表的位置。第二层：-ROOT- 表保存了.META.表所有region的位置，通过-ROOT-表，可以访问.META.表的数据。第三层：.ME

2014-02-02 12:32:19 2649 6

原创浅析HBase架构和系统结构介绍（四）

4 HBase存储格式HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括上述提出的两种文件类型：1. HFile， HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装。2. HLogFile，HBase中WAL（Write Ahead Log）的存储格式，物理上是Had

2014-02-02 12:28:53 2143 1

原创浅析HBase架构和系统结构介绍（三）

3 数据模型3.1 表和列族(Table & column family)HBase以表的形式存储数据，表由行和列组成，列划分为若干个列族（column family）。l row key：row key是用来检索记录的主键。访问HBase table中的行，只有三种方式：通过单个row key访问通过row key的range 全表扫描row ke

2014-02-02 12:21:51 2429 1

原创浅析HBase架构和系统结构介绍（二）

2 HBase架构 HBase系统架构图(注意，每个HRegsionServer维护一个HLog文件) 2.1客户端（client）HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信

2014-02-02 12:11:49 4478

原创浅析HBase架构和系统结构介绍（一）

特别说明：一下内容均来自网络，个人整理和摘要的内容而已1 简介 HBase，是一个Hadoop上的数据库，是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，它介于NoSQL和RDBMS之间，是Google Bigtable的开源实现。。利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase中的表一般有如下特点：海量数据：一

2014-02-02 12:04:42 2117

原创高级column family 配置

1 配置块大小（Configurableblock size）HFile文件块大小能够通过column family级别进行配置，这个块与我们所熟知的HDFS块是不同的。HFile块的默认大小事64KB，并且快索引存储着每个HFile文件的开始关键字。配置块文件的大小将影响到块索引文件的大小。块越小，索引文件就越大，因此会产生更大的内存消耗。初始化HFile块大小命令：hbase(

2014-02-01 16:14:28 3048 3

Machine Learning With Go

The mission of this book is to turn readers into productive, innovative data analysts who leverage Go to build robust and valuable applications. To this end, the book clearly introduces the technical aspects of building predictive models in Go, but it also helps the reader understand how machine learning workflows are being applied in real-world scenarios. Machine Learning with Go shows readers how to be productive in machine learning while also producing applications that maintain a high level of integrity. It also gives readers patterns to overcome challenges that are often encountered when trying to integrate machine learning in an engineering organization. The readers will begin by gaining a solid understanding of how to gather, organize, and parse real-work data from a variety of sources. Readers will then develop a solid statistical toolkit that will allow them to quickly understand gain intuition about the content of a dataset. Finally, the readers will gain hands-on experience implementing essential machine learning techniques (regression, classification, clustering, and so on) with the relevant Go packages.

2017-10-22

Hadoop-2.2.x-eclipse插件

Hadoop-2.2.x-eclipse

2014-02-01

多项式，迷宫，纸牌游戏，二叉树，哈夫曼数的课程设计全集

数据结构的课程设计多项式迷宫纸牌游戏哈夫曼二叉树 cpp课程设计全集可以立刻运行

2009-02-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

用心做事