cheersu-CSDN博客

原创 Hive Job log解析——perl脚本

Hive Job log解析 cat parseHiveJobLog.pluse Data::Dumper;if (!defined($ARGV[0]) or $ARGV[0] eq ''){ print "useage: perl parseJobHistory.pl filename\n"; exit;}my $filename = $ARGV[0];my

2013-01-05 14:55:13 1873

原创 Hadoop Job History解析——perl脚本

通过解析job history日志和job config文件可以获得Job的具体运行情况，包括job的配置信息、运行状态及task、Attempt的运行状态和相应的counter。脚本如下：parseJobHistory.pluse File::Basename;use XML::Simple;use Data::Dumper;if (!defined($ARGV[0]) or $

2012-12-23 14:31:15 2717

原创 hive 自定义UDF UDAF UDTF

UDF步骤：1.继承org.apache.hadoop.hive.ql.exec.UDF2.实现evaluate函数，evaluate函数支持重载package cn.sina.stat.hive.udf;import java.util.Arrays;import org.apache.hadoop.hive.ql.exec.UDF;public final class S

2012-12-19 18:36:34 6759

原创 HIVE体系架构

*注：本文基于hive-0.8.1写的架构图：一、 service1、 hive有三种service，分别是cli，hiveserver和hwi。2、 cli是命令行工具，为默认服务，启动方式$HIVE_HOME/bin/hive 或 $HIVE_HOME/bin/hive --service cli。3、 hiverse

2012-12-18 16:17:47 10112

原创 hadoop集群目录配置与注意事项

一、目录配置参数说明参数描述备注位置hadoop.tmp.dir临时目录，其它临时目录的父目录。本地或hdfsdfs.name.dirnameNode的元数据(fsimage)存储目录。以逗号隔开，hdfs会把数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉。namenode本地d

2012-11-19 17:38:26 4696

原创 hadoop http address绑定内网地址

hadoop默认配置里http address接口domain段均为0.0.0.0，表示可通过任一网卡访问http接口，对于双网卡服务器(一个内网，一个外网)，意味着公网用户可以随意访问hadoop系统开放的web资源，存在极大的安全隐患。我们可以修改配置将domain段替换成内网IP，这对于dfs.http.address、mapred.job.tracker.http.address没什么

2012-11-16 17:25:51 12584

原创 secondaryNamenode配置与nameNode故障恢复

*注：本文基于0.20.2配置测试，0.21以后已改成Checkpoint Node和Backup Node一、配置1. 在masters文件中添加 Secondary节点的主机名。*注：masters文件用于指定secondary的主机而不是namenode，slaves用于指定datanode和tasktracker， namenode由core-site.xml fs.de

2012-11-14 15:38:52 4647

原创 oozie hive action注意事项

注：本文指针对版本oozie-3.2.0-incubating。oozie-hive注意事项：理论上将hive相关的配置放在oozie.hive.defaults属性指定的文件(hive-default.xml)即可，如下： oozie.hive.defaults hiv

2012-11-13 18:31:10 3822 1

原创 oozie web-console 时间本地化

Oozie web console(版本oozie-3.2.0-incubating)显示的时间是GMT，始终跟北京时间差8个小时，且格式不好看，通过修改$OOZIE_HOME/oozie-server/webapps/oozie/oozie-console.js可以将时间本地化(此修改只涉及web console显示，不影响任何后端处理、日志等)1、增加函数getLocalTimefun

2012-11-13 18:05:44 3475

如下图，hadoop访问控制分为两级，其中ServiceLevel Authorization为系统级，用于控制是否可以访问指定的服务，例如用户/组是否可以向集群提交Job，它是最基础的访问控制，优先于文件权限和mapred队列权限验证。Access Control on Job Queues在job调度策略层之上，控制mapred队列的权限。DFSPermmision用户控制文件权限。目前版本中

2012-10-17 10:28:20 11772

原创关于memcache

addServer(ip,port)增加多台服务器，并记录servernum。get或set时通过crc32($key)%servernum来指定某台具体的服务器。缺点，增减服务器时由于servernum变化，可能会导致所有的key-value都失效 memcache内存管理通过观察getExtendedStats()返回的[curr_items]可知：1、某key-val

2009-11-04 16:35:00 786

原创 REMOTE_ADDR、HTTP_CLIENT_IP与HTTP_X_FORWARDED_FOR

REMOTE_ADDR 是跟服务器“握手”的IP，如果使用代理服务器则为代理服务器的IP，没有代理则为客户端的IP。HTTP_CLIENT_IP 是由UserAgent向HTTP头写入的，例如由IE写入，有些UserAgent可能不写HTTP_CLIENT_IP，HTTP_CLIENT_IP可被伪造。HTTP_X_FORWARDED_FOR 仅当使用代理服务器时存在，由代理服务器写入H

2009-07-06 17:16:00 1663

原创 LVS IPVS负载均衡机制详解

IPVS的负载均衡机制有三种： VirtualServer via NAT VirtualServer via IP Tunneling VirtualServer via Direct Routing 1、 NAThttp://www.linuxvirtualserver.org/VS-NAT.html

2009-06-19 11:42:00 1290

转载面向对象设计(OOD)方法与步骤

尽管对OOD的地位和作用已经有一定的知识，但目前还没有现成的，形式化的方法论。相应的工具也处于研究之中。下面简要介绍OOD的基本方法和步骤 1.类的认定 OOD中关于类的认定与OOA中关于对象的认定有着密切关系。但是OOD中对类的认定，不能像OOA中那样以准确反映问题空间为衡量准则，更多的要考虑通过对类以及类层次结构的认定，寻找解空间的基本结构，并为实现提供有效的支持。

2009-05-30 02:14:00 6458

转载面向对象设计(OOD)基本原理

OOD是在设计原理上与传统方法完全不同的一种新型的系统设计方法。 1.OOD的核心概念是对象 OOD既不是功能、也不是数据的分解过程；而是首先在现实世界中寻找、识别出影响用户解决问题、并必须进行操纵的对象；然后用计算机中的软件对象来仿真现实世界的对象和行为。 2.OOD的出发点是充分重视人工系统的作用现实世界问题的解早已存在于人工系统中，人工系统总结了人们

2009-05-30 02:13:00 4517

转载从面向对象分析(OOA)到面向对象设计(OOD)

从OOA到OOD是对现实世界的进一步建模。从概念上，OOA主要是对现实世界的问题空间建模，其分析侧重于整体，较为粗糙（粒度较大）的研究。而OOD则要求对特定的解空间建模，通常OOD又可分为概要的（或总体的）OOD 和详细的OOD两个阶段。OOA是完全独立于编程语言，概要的OOD 仍保持较大部分独立于编程语言的特点、详细的OOD则与编程语言有密切关系。显然，若能采用面向对象的编程语言，会更有利于O

2009-05-30 02:12:00 2788

转载面向对象的系统分析(三)-面向对象分析基本方法

OOA方法共分为五大步骤：标识对象，标识结构，标识主题，定义属性及定义服务。下面分别作一简要介绍。 1.标识对象 OOA中的对象实质上是类，它可定义为对数据和在其上执行操作的抽象，反映出一个系统为现实世界的事物保存信息及与其发生相互作用的能力；同时它也是属性的值以及这些属性上专有操作的封装。可以用单个名词或形容词名词作为对象名，当然采用问题空间的标准名称作为对象名更

2009-05-30 02:11:00 2231

转载面向对象的系统分析(二)-面向对象分析基本原理

OOA建立在信息模型和面向对象程序设计语言的概念基础上。从信息模型中提取了属性、关系、结构以及对象作为问题空间中某些事物的实例表示方法等概念；从面向对象程序设计语言中提取了属性和方法的封装、属性和方法作为一个不可分割的整体、以及分类结构和继承性等概念。OOA方法可表示为： OOA方法=对象+类+继承性+基于消息的通信 OOA主要采用4条基本原理 1.抽象原理

2009-05-30 02:06:00 460

转载面向对象的系统分析(一)-系统分析方法

面向对象的观点，首先是在程序设计语言中得到表达与实现。正如结构化程序设计的思想很快被用到系统分析与系统设计的方法中去一样，面向对象方法也很快引起系统分析方法论者的注意.在OOP蓬勃发展的80年代,面向对象的系统分析（OOA)和面向对象的系统设计(OOD)也开始发展起来。进入90年代以后,OOA和OOD的方法逐渐走向实用化,一些专家按面向对象思想，对系统分析和系统设计工作的步骤，方法，图形工具等进行

2009-05-30 02:05:00 4672

转载几种典型的面向对象开发方法

摘要自80年代后期以来，相继出现了多种面向对象开发方法，文章主要介绍了其中六种典型的面向对象开发方法，并对它们进行了比较。UML的出现意味着开发方法统一化、标准化的新发展，标志着软件自动化的进程又迈进了一步。关键字面向对象开发方法典型比较一、引言随着计算机科学的发展和应用领域的不断扩大，对计算机技术的要求越来越高。特别是当计算机硬件有了飞速发展之后，各种应用领域对软件提

2009-05-30 01:59:00 19485 1

转载 OOD

面向对象设计（Object-Oriented Design，OOD）方法是OO方法中一个中间过渡环节。其主要作用是对OOA分析的结果作进一步的规范化整理，以便能够被OOP直接接受。　　面向对象设计（OOD）是一种软件设计方法，是一种工程化规范。这是毫无疑问的。按照Bjarne Stroustrup的说法，面向对象的编程范式（paradigm）是[Stroustrup, 97]：　　l 决定

2009-05-29 23:56:00 231

转载 [sed与Awk教程入门与实例练习]

AWK实例:http://www-900.ibm.com/developerWorks/cn/linux/shell/awk/awk-3/index.shtmlhttp://www-900.ibm.com/developerWorks/cn/linux/shell/awk/awk-2/index.shtmlhttp://www-900.ibm.com/developerWorks/cn/linux

2009-05-14 14:03:00 130

原创 MySQL索引分类和各自用途

　　一、 MySQL: 索引以B树格式保存　　Memory存储引擎可以选择Hash或BTree索引，Hash索引只能用于=或的等式比较。　　1、普通索引：create index on Tablename(列的列表)　　alter table TableName add index (列的列表)　　create table TableName([...], index [IndexName] (列

2009-05-12 10:07:00 584

原创 wap页面自动跳转的实现方式

方式一，用timer正在打开... 方式二，用过

2009-05-11 21:08:00 2099

原创 apache为某个文件访问设置权限

例子： AuthType Basic AuthName "awstat access" AuthUserFile "/etc/awstats/htpasswd" Require valid-user注意：Basic方式密码是用过明文传输，如果想通过加密的方式传输密码，请用Digest方式。# /usr/local/apache/bin/htpasswd -c /etc/

2009-05-11 17:04:00 405

转载 date与gmdate的区别

PHP中的时间有2个格式化函数：date()和gmdate()，在官方的文档中的描述为：　　date -- 格式化一个本地时间／日期　　gmdate -- 格式化一个 GMT/UTC 日期／时间，返回的是格林威治标准时（GMT）。　　举个例子，我们现在所在的时区是+8，那么服务器运行以下脚本返回的时间应该是这样的：　　当前时间假定是2007-03-14 12:15:27　　echo date(

2009-05-10 15:27:00 830

苏的博客