- 博客(18)
- 收藏
- 关注
RSS订阅原创 sort命令的k选项大讨论
本原创文章属于《Linux大棚》博客，博客地址为http://roclinux.cn。文章作者为rocrocket。为了防止某些网站的恶性转载，特在每篇文章前加入此信息，还望读者体谅。===[正文开始]有时候学习脚本，你会发现sort命令后面跟了一堆类似-k1,2，或者-k1.2 -k3.4的东东，有些匪夷所思。今天，我们就来搞定它—-k选项！1 准备素材 $ cat ...
2014-10-30 21:40:12
135
原创 linux如何模糊查找一个文件
在当前目录下搜索指定文件：find . -name test.txt 在当前目录下模糊搜索文件：find . -name '*.txt' 在当前目录下搜索特定属性的文件：find . -amin -10 # 查找在系统中最后10分钟访问的文件find . -atime -2 # 查找在系统中最后48小时访问的文件find . -empty # 查找在系统中为空的文...
2014-10-30 14:07:25
749
原创 Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数
注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。1. 权限相关配置参数这里的权限由三部分组成，分别是：（1）管理员和普通用户如何区分 （2）服务级别的权限，比如哪些用户可以向集群提交ResourceManager提交应用程序，（3）队列级别的权限，比如哪些用户可以向队列A提交作业等。管理员列...
2014-10-23 13:24:38
256
原创 Hadoop 2.0中作业日志收集原理以及配置方法
Hadoop 2.0提供了跟1.0类似的作业日志收集组件，从一定程度上可认为直接重用了1.0的代码模块，考虑到YARN已经变为通用资源管理平台，因此，提供一个通用的日志收集模块势在必行，由于目前通用日志收集模块正在开发中（可参考“YARN-321”），本文仅介绍MRv2（MapReduce On YARN）自带的日志收集模块，包括工作原理以及配置方法。在Hadoop 2.0中，每个作业日志...
2014-10-23 13:24:14
151
原创 Hadoop YARN常见问题以及解决方案
本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。 （1） 默认情况下，各个节点的负载不均衡（任务数目不同），有的节点很多任务在跑，有的没有任务，怎样让各个节点任务数目尽可能均衡呢？答： 默认情况下，资源调度器处于批调度模式下，即一个心跳会尽可能多的分配任务，这样，优先发送心跳过来的节点将会把任务领光（...
2014-10-22 22:10:22
543
原创 Hadoop日志到底存在哪里？
初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往不知所云，一般直接将终端打印的错误贴到搜索引擎上查找，以借鉴前人的经验。然而，对于hadoop而言，当遇到错误时，第一时间应是查看日志，日志里通产会有详细的错误原因提示，本文将总结Hadoop MapReduce日志存放位置，帮助初学者定位自己遇到的错误。 Hadoop MapReduce日志分为两部分，一部分是服...
2014-10-22 22:07:40
185
原创 CDH 的Kerberos认证配置
http://xubo8118.blog.163.com/blog/static/1855523322013918103857226/关于：hadoop的安全机制 hadoop kerberos的安全机制 参考Cloudera官方文档：Configuring Hadoop Security in CDH3 一、部署无kerberos认证的Hadoop环境参考...
2014-10-22 16:02:08
227
原创 Hadoop 新 MapReduce 框架 Yarn 详解
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 检测50001曝光start 检测50001曝光endhttp://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Hadoop 新 MapReduce...
2014-10-22 16:00:48
81
原创 点击－－Linux的五个查找命令
检测50001点击start 检测50001点击endLinux的五个查找命令 作者： 阮一峰最近，我在学习Linux，下面是一些笔记。使用电脑的时候，经常需要查找文件。在Linux中，有很多方法可以做到这一点。国外网站LinuxHaxor总结了五条命令，你可以看看自己知道几条。大多数程序员，可能经常使用其中的2到3条，对这5条命令都很熟悉的人...
2014-10-19 23:36:43
109
原创 Linux学习之CentOS(二十三)--Linux软件管理之源代码以及RPM软件包管理
http://www.cnblogs.com/xiaoluo501395377/archive/2013/05/20/3089554.html 在Linux系统下，对于软件包的管理有多种机制，有源代码方式、RPM软件包管理方式以及YUM软件管理方式，本篇随笔将详细讲解CentOS下源代码形式安装软件以及RPM软件包管理机制一、源代码形式首先我们先来看一下源代码的方式。我们知道，在...
2014-10-14 11:46:44
96
原创 曝光－－Hadoop集群配置
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 检测50001曝光start 检测50001曝光end
2014-10-13 12:22:10
92
原创 Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建
OS: CentOS 6.4 x86_64Servers:hadoop-master: 172.17.20.230 内存10G- namenodehadoop- secondarynamenode: 172.17.20.234 内存10G- secondarybackupnamenode,jobtrackerhadoop-node-1: 172.17.20.231 内存10G- data...
2014-10-12 19:01:35
149
原创 SSH免密码登陆
os：redhat 6hadoop 两个节点，一个master 一个slave192.168.0.1 master192.168.0.2. slave1.修改每台机器的/etc/hosts,增加192.168.0.1 master192.168.0.2. slave2.在每台机器上创建用户hadoopuseradd -g hadoop hadooppas...
2014-10-12 18:07:23
89
原创 CentOS 6.5安装
1、在VM安装iso文件 CentOS-6.5-x86_64-bin-DVD1.isoCentOS-6.5-x86_64-bin-DVD2.iso DVD1：基本系统+部分软件包。DVD2：更多的软件包。只安装DVD1就可以了。2、关闭防火墙＃ /etc/init.d/iptables status 查看状态＃ service iptables st...
2014-10-12 16:30:24
107
原创 Requires: libstdc++.so.6(GLIBCXX_3.4.15)
Requires: libstdc++.so.6(GLIBCXX_3.4.15)，有需要的朋友可以参考下。 由于在linux系统上打开网页速度比在windows下慢好多，所以觉得换个浏览器，就想装个chrome，这个流程很蛮波折的，最后成功了，先记录一下。我的系统为centos6.4, 32位。问题： 首先从官网上下了一个google-chrome-stable-33.0.175...
2014-10-11 17:49:10
874
原创 yum出现“No module named yum”错误解决方法
安装了一个Python2.7，隔天发现yum无法使用，报错信息如下,应该是系统是使用的默认的python2.4的版本------------------------------------------------------------------------------------------------There was a problem importing one of t...
2014-10-10 21:43:34
210
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人