2017年11月_dubendi

转载 hadoop运维工程师必备命令

Hadoop 大数据平台运维工程师须掌握的基本命令1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help2、显示关于某个命令的详细信息$ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总$ bin/hadoop job -history outp

2017-11-23 14:48:42 3644

转载 Hbase详解

HBase架构图理解18.pngHMaster链接Zookeeper的目得：HMaster需要知道哪些HRegionServere是活的及HRegionServer所在的位置，然后管理HRegionServer。HBase内部是通过DFS client把数据写到HDFS上的每一个HRegionServer有多个HRegion，每一个HRegion有多个Store，每一个

2017-11-23 14:22:39 492

转载判断内部命令和外部命令

内部命令在系统启动时就调入内存，是常驻内存的，所以执行效率高。外部命令是系统的软件功能，用户需要时才从硬盘中读入内存。type可以用来判断一个命令是否为内置命令type: usage: type [-afptP] name [name ...] [root@linuxeye ~]# type typetype is a shell builtin[root@li

2017-11-23 14:06:11 2128

转载 lsof命令详解

linux lsof命令详解简介lsof(list open files)是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，无论这个文件的本质如何，该文件描述符为应用程序与基础

2017-11-23 14:01:06 213

转载 linux常用系统命令

查看linux系统常用的命令，Linux查看系统配置常用命令一、linux CPU大小 cat /proc/cpuinfo |grep "model name" && cat /proc/cpuinfo |grep "physical id" 说明：Linux下可以在/proc/cpuinfo中看到每个cpu的详细信息。但是对于双核的cpu，在cpuinf

2017-11-23 13:57:59 201

转载 free的10个经典应用

Linux是最有名的开源操作系统之一，它拥有着极其巨大的命令集。确定物理内存和交换内存所有可用空间的最重要、也是唯一的方法是使用“free”命令。Linux “free”命令可以给出类Linux/Unix操作系统中物理内存和交换内存的总使用量、可用量及内核使用的缓冲区情况。这篇文章提供一些各种参数选项的“free”命令，这些命令对于你更好地利用你的内存会有帮助。1.

2017-11-22 15:53:17 1038

转载 sar命令详解

SAR 命令详解 2010-03-29 09:37:06分类：sar 命令行的常用格式： sar [options] [-A] [-o file] t [n] 在命令行中，n 和t 两个参数组合起来定义采样间隔和次数，t为采样间隔，是必须有的参数，n为采样次数，是可选的，默认值是1，-o file表示将命令结果以二进制格式存放在文件中，f

2017-11-22 15:23:37 1220

转载 rhel6.7运行级别和开机自启

[root@rhel6 dev]# service iptables statusiptables: Firewall is not running.[root@rhel6 dev]# chkconfig --listabrtd 0:关闭 1:关闭 2:关闭 3:启用 4:关闭 5:启用 6:关闭acpid 0:关

2017-11-22 10:15:42 2218

转载 rsync

背景我们公司在用inotify+rsync做实时同步，来解决分布式集群文件一致性的问题。但当web文件越来越多(百万级数量html,jpg等小文件)，同步就越来越慢，根本做不到实时，按照网上的调优方法都尝试过，问题根本没有解决。经过我一翻细致研究，终于把慢的核心问题研究明白，先总结一句 inotifywait响应不会有延迟，rsync也很快。大家同样有慢的烦恼，那是因为网上的inotif

2017-11-22 10:00:03 1185

dubendi的博客