2013年11月_笔尖的痕

12月 11月 10月

转载第三部分 OpenStack镜像管理

一、简介很多源都有为OpenStack已经编译好的各种镜像了，您可以直接下载并通过使用这些镜像来熟悉OpenStack。不过如果是为生产环境进行部署的话，您一定需要构建含有定制软件或配置的镜像文件。不要着急，本章将引领您完成几种较为流行的Linux发行版镜像，最后也将制作一份Windows的镜像。由不同的Linux发行版制作镜像时，过程几乎一样，仅有微小

2013-11-27 13:06:17 733

转载 OpenStack云计算----快速入门（2）

一、引言本章内容讲解如何在3台物理机上搭建最小化云平台，这3台机器分为称为Server1、Server2和Client1，之后的各章也是如此。Server1承载着Nova、Glance、Swift、Keystone及Horizon（OpenStack的Web UI）服务。Server2只用来运行实例管理的nova运算工作站。由于OpenStack组件采用分布式结构，其中的任何一

2013-11-27 13:05:03 776

转载 OpenStack云计算快速入门（1）

一、云计算云计算是一种计算模型，它将诸如运算能力、存储、网络和软件等资源抽象成为服务，以便让用户通过互联网远程享用，付费的形式也如同传统公共服务设施一样。因需而定、提供方便、动态改变和无限的虚拟化扩展能力是云计算的几个重要特征。不同的“云”对应着不同的基础设施。下面是三种广义的“云”：l 基础设施即服务（IaaS）l 平台即服务（PaaS）

2013-11-27 13:01:00 913

转载 Hypertable on HDFS(hadoop) 安装

Hypertable on HDFS(hadoop) 安装Hadoop - HDFS 安装指南过程 4.2. Hypertable on HDFS创建工作目录$ hadoop fs -mkdir /hypertable$ hadoop fs -chmod 777 /hypertable 安装 Java 运行环境yum in

2013-11-24 09:56:50 874

原创 ExtDirectSpring配置(基于ExtJs4 MVC)

最近，公司的一个项目用到了ExtJs做管理系统，想熟悉一下ExtJs与Spring MVC交互，所以自己试着搭建了一个基于ExtDirectSpring的Demo，比较简单，工程结构如下：效果图如下，只是一个Grid，搭个环境，以后好用：代码下载：

2013-11-23 16:38:24 2366

转载 ExtDirectSpring的配置过程

1. 配置spring3MVC . 需要在web.xml中加入spring的配置信息大致如下： dispatcher org.springframework.web.servlet.DispatcherServlet 1 2.配置映射关系 dispatcher /dispatcher/*

2013-11-12 13:01:25 1179 1

转载 ExtJS 4.2 教程-07：Ext.Direct

转载自起飞网，原文地址：http://www.qeefee.com/extjs-course-7-Ext-DirectExtJS 4.2 教程-01：Hello ExtJSExtJS 4.2 教程-02：bootstrap.js 工作方式ExtJS 4.2 教程-03：使用Ext.define自定义类ExtJS 4.2 教程-04：数据模型ExtJS 4.2 教程-05：客户端代理（p

2013-11-12 09:19:24 1549

转载 ExtJS 4.2 教程-06：服务器代理（proxy）

转载自起飞网，原文地址：http://www.qeefee.com/extjs-course-6-server-proxyExtJS 4.2 教程-01：Hello ExtJSExtJS 4.2 教程-02：bootstrap.js 工作方式ExtJS 4.2 教程-03：使用Ext.define自定义类ExtJS 4.2 教程-04：数据模型ExtJS 4.2 教程-05：客户端代理

2013-11-12 09:18:33 1243

转载 ExtJS 4.2 教程-05：客户端代理（proxy）

转载自起飞网，原文地址：http://www.qeefee.com/extjs-course-5-client-proxyExtJS 4.2 教程-01：Hello ExtJSExtJS 4.2 教程-02：bootstrap.js 工作方式ExtJS 4.2 教程-03：使用Ext.define自定义类ExtJS 4.2 教程-04：数据模型ExtJS 4.2 教程-05：客户端代理

2013-11-12 09:17:32 1081

转载 hadoop-2.2.0编译import eclipse

编译hadoop-2.2.0 下载hadoop-2.2.0-src包，解压安装好maven2 执行 mvn clean install -DskipTests 运行报错： [ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.2.0:protoc (compile-protoc) o

2013-11-11 13:20:42 1659

转载连接Mysql中文乱码处理

有一次在开发javaEE的时候，需要用到Mysql，当时的服务器使用的是linux，我把所有的东西都写好了，但是在界面上出现的字符总是“？？？”,当时以为是数据库存放的编码不对！我发现mysql中的数据库编码也是utf8（我在struts2中配置的是utf-8）当时很头疼，做了很长时间的javaEE，怎么还有这样的问题存在，当时查了很多资料，感觉都不能满意，终于有一次在google上面看英

2013-11-11 10:01:10 958

转载 Oozie安装配置手册

一选用oozie 3.3.2的版本的原因Action extensions:(扩展功能如下)Email actionShell actionHive actionSqoop actionSsh actionWriting a custom action executor二 oozie,workflow engine for ap

2013-11-08 16:11:55 1996

转载 Apache Hadoop1.1.1+Apache Oozie3.3.2搭建安装过程详解（亲测）

写在前面：最近需要定制的原因，需要将原来Cloudera版本的Hadoop更改为Apache版本的Hadoop和Oozie，对官方文档的学习，发现Hadoop1.1.1和Oozie3.3.2的组合比较好，所以，经过几天的搭建，终于成功了，现在把心得分享出来，希望给需要的朋友帮助。如果需要转载请注明出处，谢谢！1.Apache版本HADOOP云计算平台环境搭建1.1 集群环境

2013-11-08 16:08:17 1703 1

转载 flume ng 1.3 安装配置方法

业务系统需要收集监控系统日志，想到了hadoop的flume。经过试验，虽说功能不算足够强大，但基本上能够满足功能需求。Flume 是一个分布式、可靠和高可用的服务日志收集工具，能够和hadoop,hive等配置完成日志收集，存储，分析处理等工作，更详细的介绍可以参见apache网站。下面介绍下简单的安装配置方法1,网上下载flume-ng安装包，分别部署在收集和接收日志文件的服务器上，服

2013-11-08 11:18:34 981

原创 spring-mongodb 时间区间查询

Query query = new Query();SimpleDateFormat format = new SimpleDateFormat("yyyy/MM/dd HH:mm:ss");//时间格式要与mongodb对应startDate = format.parse(filter.getValue().toString().replaceAll("-", "/"));

2013-11-05 16:02:53 9553

原创 spring mongo模糊查询

Pattern pattern = Pattern.compile("^.*"+ filter.getValue()+ ".*$"); query.addCriteria(Criteria.where("alertName").regex(pattern));

2013-11-05 16:00:33 2111

转载 Mongodb与spring集成

这里我们用到的是spring-data中一个集成mongodb的项目，首先在maven中添加对它的依赖，这里我用的是1.0.0.M5版本1 2dependency> 3 groupId>org.springf

2013-11-05 10:14:30 1031

转载 Mongodb联合查询

在关系型数据库中，通过连接运算符可以实现多个表联合查询。而非关系型数据库的特点是表之间属于弱关联，Mongodb作为Nosql代表，其本身特性不建议对多Collection关联处理，不过对于有些需要对多表关联处理的需求，Mongodb也可以实现。主要分为两种方式：简单手工关联和DBRef方式关联 1.简单手工关联下图表示帖子和用户两个Collection的ER图：

2013-11-05 10:13:15 2247

转载 MongoDB之DBref(关联插入,查询,删除) 实例深入

如图所示，A,B,C三个Collection互相关联。其中的数字为document的value值。关于DBref的入门可以看 http://blog.csdn.net/crazyjixiang/article/details/6616678 这篇文章。我们先建立A collection。源码打印？> var a={value:"1"}

2013-11-05 10:12:03 2363

原创 HDFS High Availability Using the Quorum Journal Manager(QJA)

PurposeThis guide provides an overview of the HDFS High Availability (HA) feature and how to configure and manage an HA HDFS cluster, using the Quorum Journal Manager (QJM) feature.This document a

2013-11-04 21:45:52 1894

原创 hadoop commands(hadoop-2.0.0-cdh4.4.0)

OverviewAll hadoop commands are invoked by the bin/hadoop script. Running the hadoop script without any arguments prints the description for all commands.Usage: hadoop [--config confdir] [COMMAND]

2013-11-04 21:14:27 1097

原创 hadoop-2.0.0-cdh4.4.0 doc

http://archive.cloudera.com/cdh4/cdh/4/hadoop/index.html

2013-11-04 10:47:48 937

转载大规模分布式存储系统

http://www.china-pub.com/STATIC/zt_mb/zt_huodong_2013_1.asp?filename=2013_jsj_dgm925http://product.china-pub.com/3768514http://product.china-pub.com/3802075http://product.china-pub.com/380

2013-11-04 09:26:48 1208

转载远程提交Map/Reduce任务

1. 将开发好MR代码打包成jar。添加到distributed cache中。 bin/hadoop fs -copyFromLocal /root/stat-analysis-mapred-1.0-SNAPSHOT.jar /user/root/lib bin/hadoop fs -copyFromLocal /root/s

2013-11-04 09:09:35 1045

转载 hive中的自定义函数

下面这个例子是个简单的测试，关于自定义函数的。函数代码package com.example.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public final class Lower extends UDF { public Text

2013-11-03 09:43:44 863

转载写好Hive 程序的五个提示

使用Hive可以高效而又快速地编写复杂的MapReduce查询逻辑。但是某些情况下，因为不熟悉数据特性，或没有遵循Hive的优化约定，Hive计算任务会变得非常低效，甚至无法得到结果。一个”好”的Hive程序仍然需要对Hive运行机制有深入的了解。有一些大家比较熟悉的优化约定包括：Join中需要将大表写在靠右的位置；尽量使用UDF而不是transfrom……诸如此类。下面讨论5个性能和逻辑

2013-11-03 09:42:41 920

转载 hive join

1.支持equality joins, outer joins, and left semi joins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为map-reduce任务，如果多张表使用同一列做join则将被翻译成一个reduce，否则将被翻译成多个map-reduce任务。eg：SELECT a.val, b.val, c.val

2013-11-03 09:41:39 864

转载 Hive优化总结

优化时，把hive sql当做mapreduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，没半小时是跑不完

2013-11-03 09:39:15 849

转载通过学生-课程关系表，熟悉hive语句

1、在hive中创建以下三个表。create table student(Sno int,Sname string,Sex string,Sage int,Sdept string)row format delimited fields terminated by ','stored as textfile;create table course(Cno int,Cname st

2013-11-03 09:38:12 1211

转载 Hive限制

1.更新，事务，索引，不支持，是全表扫描2.创建表的字段类型和java类型是对应的。不支持日期类型，提供转换为字符串类型的函数。3.查询语句中，不支持having，可写嵌套的select来解决；group by后只能是表的定义列名，不能像mysql那样可以为查询语句为逻辑处理结果声明的别名，但可为逻辑处理过程语句4.内置函数查看命令（show functions;des

2013-11-03 09:37:02 843

转载 hive的内部表与外部表创建

1.创建表的语句：Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment],

2013-11-03 09:35:41 916

转载 CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档

1. 环境说明 Hadoop的版本选用的hadoop-2.0.0-cdh4.1.2，此版本的hadoop增加了诸如热备等许多新功能。是Cloudera在hadoop0.23基础上改造的，并且把部分功能一起贡献给了Apache。目前Apache Hadoop最新的版本是hadoop-2.0.2-alpha。 CDH4下载地址： htt

2013-11-03 09:31:09 870

原创 hive 基本操作

一、创建表1、创建分区表：CREATE TABLE page_view(viewTime INT,userid BIGINT,page_url STRING, reffer_url STRING,ip STRING COMMENT 'IP Address of user')COMMENT 'this is table'PARTITIONED BY(dt STRING

2013-11-03 09:29:24 967

转载 hbase shell基础和常用命令详解

HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 1. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtabl

2013-11-03 09:27:52 914

转载 HBase性能优化方法总结

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这

2013-11-03 09:25:25 887

转载 HBase二级索引与Join

二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook方案和官方Coprocessor的介绍。理论目标在H

2013-11-03 09:23:28 1019

转载 hbase查询一条数据的过程（转）

HBase中的Client如何路由到正确的RegionServer在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，

2013-11-03 09:22:08 1462

转载 hbase安装配置（整合到hadoop）

1.快速单机安装：在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本选择一个 Apache 下载镜像：http://www.apache.org/dyn/closer.cgi/hbase/，下载 HBase Releases. 点击 stable目录，然后下载后

2013-11-03 09:20:09 1136

转载 hadoop2.0 capacity调度器配置

集群同时运行的最大作业数yarn.scheduler.capacity.maximum-applications 100default 队列同时运行的最大作业数 yarn.scheduler.capacity.root.default.maximum-applications 10am 所占资源最大比例，用来控制同时运行的作业数yarn.sc

2013-11-03 09:17:28 1768

转载 YARN/MRv2 ResourceManager代码分析

本文分析了Hadoop-0.23.0中一个Application从提交到运行结束的整个过程。期间涉及到Client，ResourceManage，NodeManager等组件以及RMClientProtocol，AMRMProtocol，ContainerManager等通信协议。【注】本文的两个主要图片可能不够清晰，可以从这里下载。（上图参考了《Hadoop 0.2

2013-11-03 09:16:11 1225