2012年11月_csr_hema

转载 systemtap原理及使用

SystemTap的架构 SystemTap用于检查运行的内核的两种方法是 Kprobes和返回探针。但是理解任何内核的最关键要素是内核的映射，它提供符号信息（比如函数、变量以及它们的地址）。有了内核映射之后，就可以解决任何符号的地址，以及更改探针的行为。 Kprobes从 2.6.9 版本开始就添加到主流的 Linux 内核中，并且为探测内核提供一般性服务。它提供一些不同的服务，但最重要的

2012-11-28 18:38:19 691

转载 Hadoop pipes编程

1. Hadoop pipes编程介绍 Hadoop pipes允许C++程序员编写mapreduce程序，它允许用户混用C++和Java的RecordReader， Mapper， Partitioner，Rducer和RecordWriter等五个组件。关于Hadoop pipes的设计思想，可参见我这篇文章：Hadoop Pipes设计原理。本文介绍了Hadoop pipes编程的

2012-11-13 23:44:29 331

转载 Hadoop pipes设计原理

1. 什么是Hadoop pipes？ Hadoop pipes允许用户使用C++语言进行MapReduce程序设计。它采用的主要方法是将应用逻辑相关的C++代码放在单独的进程中，然后通过Socket让Java代码与C++代码通信。从很大程度上说，这种方法类似于Hadoop Streaming，不同之处是通信方式不同：一个是标准输入输出，另一个是socket。 org.apache.hadoo

2012-11-13 23:43:56 386

转载 Hadoop-0.20.2 作业内存控制策略分析

对于Hadoop而言，对作业使用资源量进行限制是非常重要的，这可以防止一些有问题的作业因耗掉集群中大量资源而干扰其他正常作业。本文主要分析了Hadoop-0.20.2中作业内存控制相关策略，包括怎样启用Hadoop作业内存使用量控制功能，Hadoop怎样实现作业内存控制等。 1. 内存相关配置项 (1) 配置内存计算插件 mapred.tasktracker.memory_calcul

2012-11-13 23:43:22 537

转载 Hadoop权限管理

1. 介绍本文介绍的Hadoop权限管理包括以下几个模块：（1）用户分组管理。用于按组为单位组织管理，某个用户只能向固定分组中提交作业，只能使用固定分组中配置的资源；同时可以限制每个用户提交的作业数，使用的资源量等（2）作业管理。包括作业提交权限控制，作业运行状态查看权限控制等。如：可限定可提交作业的用户；可限定可查看作业运行状态的用户；可限定普通用户只能修改自己作业的优先级，ki

2012-11-13 23:42:51 389

转载 Hadoop Kerberos安全机制介绍

1. 背景在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。尽管在

2012-11-13 23:31:20 701

转载 Hadoop安全机制介绍

1．背景 1.1 共享Hadoop集群当前大一点的公司都采用了共享Hadoop集群的模式，这种模式可以减小维护成本，且避免数据过度冗余，增加硬件成本。共享Hadoop是指：（1）管理员把研发人员分成若干个队列，每个队列分配一定量的资源，每个用户或者用户组只能使用某个队列中得资源；（2）HDFS上存有各种数据，有公用的，有机密的，不同的用户可以访问不同的数据。共享集群类似于云计算或者云存储

2012-11-13 23:30:50 831

转载 Hadoop 0.21.0 公平调度器源代码分析

本文对Hadoop 0.21.0中的公平调度器源代码进行了分析，没有用过多语言进行描述代码细节，而是采用图的形式给出了主要的函数调用关系，如果想了解细节，建议根据本文的提示，亲自阅读源代码。阅读本文之前，最好先了解Hadoop 0.21.0中hadoop fair scheduler的新特性，建议阅读我的这篇文章：Hadoop-0.21.0公平调度器算法分析。 1. Jobracke

2012-11-13 23:25:06 805

转载 HBaseClient源码分析

本文原作者Jasmine_Du，趋势科技中国研发中心SPN研发团队成员，SPN团队在Hadoop/HBase研究上积累了很多心得，他们的团队Blog是Hadoop/HBase学习者一定要去细细研读的地方。这篇文章比较详细的讲述了HBase Client的主要接口和内部实现。 ————————————– 毫无理由的分割线 ——————————— 1 Client端主要类和接口 1.1 HCon

2012-11-13 23:22:54 742

转载 Hadoop Authentication

JAAS是Java 认证和授权服务（Java Authentication and Authorization Service）的缩写，是PAM框架的Java实现。 javax.sercurity.auth.Subject是一个不可继承的实体类，它表示单个实体的一组相关信息，与请求的来源相关。 javax.security.auth.Principal是一个接口，表示带有不同类型凭证的

2012-11-05 09:53:36 1930

转载 source命令

命令用法： source FileName 作用:在当前bash环境下读取并执行FileName中的命令。注：该命令通常用命令“.”来替代。如：source /etc/profile 与 . /etc/profile是等效的。注意：source命令与shell scripts的区别是， source在当前bash环境下执行命令，而scripts是启动一个子shell来执行命令。这样如果把设置

2012-11-03 22:48:57 357

转载 RPM包rpmbuild SPEC文件深度说明

上一篇日志写到，为什么要制作rpm包，以及如何使用.src.rpm文件生成rpm包。最后部分还看到.src.rpm的内容，实际上就是由.tar.gz源码、补丁软件和.spec脚本组成的。由此知道，使用.spec生成rpm包是比较简单的，因为.src.rpm通常都是由软件开发者或者第三方的专业制作人根据源码调试好的，所以，只要处理好平台兼容性和相关的版本，不会遇到太大的问题。但我觉得单

2012-11-01 11:41:28 496

转载解决Metadata file does not match checksum错误

[解]处理auxpropfunc error no mechanism available错误 [原]putty使用密钥登陆OpenSSH Nov 16 [原]解决Metadata file does not match checksum错误 linuxing , 14:04 , 基础知识 » 故障处理 , 评论(2) , 引用(0) , 阅读(4535) ,

2012-11-01 09:05:40 1061

csr_hema的专栏