2015年01月_wisgood

11月 09月 08月 07月 05月 04月 03月 02月 01月

原创 rpm-build安装以及打包

1,查找rpm-build，并安装1）yum 安装yum list |grep rpm-build 查找合适的rpm-build包yum install -y rpm-build.x86_64 2）非yum 安装如果没有yum源，可以先将rpm-build.rpm 下载到本地，下载rpm-build的时候，需要安装和操作系统版本一致的。否则会提示错

2015-01-21 23:54:44 26737 1

转载 rpm SPEC常用路径以及宏变量

Valid RPM MacrosHere are the definitions for some common specfile macros as they are defined on Fedora Core 11 (rpm-4.7.0-1.fc11). For definitions of more macros, examine the output of "rpm --show

2015-01-13 20:02:30 4403

转载自己制作rpm软件包（2）

上一篇日志写到，为什么要制作rpm包，以及如何使用.src.rpm文件生成rpm包。最后部分还看到.src.rpm的内容，实际上就是由.tar.gz源码、补丁软件和.spec脚本组成的。由此知道，使用.spec生成rpm包是比较简单的，因为.src.rpm通常都是由软件开发者或者第三方的专业制作人根据源码调试好的，所以，只要处理好平台兼容性和相关的版本，不会遇到太大的问题。但我觉得单纯明

2015-01-13 17:25:36 1081 1

我们都知道，在目前的Linux环境下，要安装新软件，通常有两种方式：一是使用源码安装；二是使用rpm软件包。使用源码安装可以让用户了解编译过程，及定制一些模块，和修改编译参数，但其工作量通常都很大，而且要求用户有足够的计算机知识。而rpm软件包方式则相对来说比较简单，也易于管理和升级。所以，当前Linux发行版的前十中，有八个都是使用基于二进制软件包方式的（deb和rpm格式可以互转）。同样的，红

2015-01-13 17:25:29 1683

转载 RPM原理详解-spec文件

RPM原理详解-spec文件随着RedHat Linux的风靡全球，其软件包管理工具及格式RPM也得到推广。基于RPM源代码开放、安装卸载简单、升级维护方便及查询功能强大的特点，越来越多的开发者喜欢采用RPM格式来发布自己的软件包。RPM包里面都包含可执行的二进制程序，这个程序和Windows的软件包中的.exe文件类似是可执行的。制作RPM软件包并不是一件复杂的工作，其中的关键在于

2015-01-13 16:57:47 21572

转载 Hadoop运维记录系列(七)

这段时间一直在搞Hadoop集群迁移，最近Hadoop也没出什么大问题，就没更新运维系列。这次的运维系列也跟Hadoop自己的故障无关，主要是自动化运维。不过我确实犯了一个严重的错误，在迁移新集群的时候，为了安装部署方便，我把hbase打成了rpm包的方式进行部署。在编写spec文件的时候，一个变量少写了一对花括号，结果把操作系统的文件给删掉了。而我恰恰是在新集群的生产环境

2015-01-13 15:43:52 1060

原创 hive分组求topN（row_number,rank,dense_rank）

背景求每个省份下uv前2的记录原理利用row_number ,rank,dense_rank函数实现hive表hive表：test_rank ;province stringcity stringuv int数据：山东潍坊 20山东济南 30山东青岛 30山东淄博 10河北石家庄 30河北沧州 ...

2015-01-13 13:44:37 3146

转载 Yarn简单介绍及内存配置

在这篇博客中，主要介绍了Yarn对MRv1的改进，以及Yarn简单的内存配置和Yarn的资源抽象container。我么知道MRv1存在的主要问题是：在运行时，JobTracker既负责资源管理又负责任务调度，这导致了它的扩展性、资源利用率低等问题。之所以存在这样的问题，是与其最初的设计有关，如下图：从上图可以看到，MRv1是围绕着MapReduce进行，并没有过多地考虑以后出现的

2015-01-12 14:56:23 1157

原创新旧Java MapReduce API的差异

摘录自 Hadoop权威指南 1、版本区别Hadoop在0.20.0版本中第一次使用新的API，部分早期的0.20.0版本不支持使用旧的API，但在接下来的1.x和2.x版本中新旧API都可以使用。新旧API的差异主要有以下几点：1. 新的API放在org.apache.hadoop.mapreduce包（和子包）中，旧的API放在org.apache.hadoop.mapred中。2. 新API...

2015-01-12 13:59:23 3243

转载任务配置 (Hadoop 2.2.0)

Topics任务 JVM 内存设置 (AMI 3.0.0)避免集群减速 (AMI 3.0.0)有一些配置变量可用于优化 MapReduce 作业的性能。本部分介绍了一些重要的任务相关性设置。任务 JVM 内存设置 (AMI 3.0.0)Hadoop 2.2.0 使用两个参数配置用于 map 和 reduce 的内存：分别为 mapreduce

2015-01-12 12:17:09 1055

原创手把手编译hadoop

1,必须得是java1.7 及以上java version "1.7.0_55" 2，maven版本不能太低Apache Maven 3.0.4 3，安装protobuf-2.5.0.tar.gztar -xvzf protobuf-2.5.0.tar.gz cd protobuf-2.5.0./configuremake install 如果没有安装p

2015-01-08 20:29:07 1064

转载用 RPM 打包软件，第 2 部分

在不具备 root 权限的情况下构建、给软件打补丁和分发 RPMRPM 是一种广泛用于发布 Linux 软件的工具；用户可以轻松地安装用 RPM 打包的产品。在本文（该系列文章的第 2 篇）中，Dan 说明了在不具备 root 权限的情况下如何对软件进行打包，在不做更改的情况下如何处理不在 Linux 上构建的软件，以及如何分发您的工作结果。0 评论：

2015-01-07 19:28:49 843

转载用 RPM 打包软件，第 1 部分

在 Red Hat Linux 7.1 上使用 RPMRPM 是广泛使用的用于交付 Linux 软件的工具，用户可以轻松的安装用 RPM 打包的产品。在本文中（系列文章的第 1 篇），IBM 软件工程师 Dan Poirier 向您演示如何在 Red Hat Linux 7.1 系统上用 RPM 打包简单软件。1 评论：Dan Poirier (

2015-01-07 19:28:14 906

转载 linux shell中的管道执行

linux shell中管道发挥的作用是文件描述符重定向，例如 prog1 | prog2 | prog3，管道会将prog1的标准输出重定向为prog2的标准输入，将prog2的标准输出重定向为prog3的标准输入，prog1的标准输入和 prog3的标准输出并没有改变。比如命令"ps -ef | grep -w "nginx""将ps命令的标准输出内容作为grep的输入，两个命令的组合的只输出

2015-01-04 20:52:46 2175

转载 SHELL 处理处理字符串的小结

shell中处理字符串小结:假定在shell中有这么一个字符串：x="abcd"一、求字符串的长度方法一通过 expr 命令加length参数 expr length $x，会打印出44方法二（推荐用这种。原因？你懂得……）echo ${#x}4方法三expr "$x" : ".*"4二、查找字串注意：返回

2015-01-04 20:51:15 1330