2012年05月_xiaoping8411

11月 08月 07月 06月 05月 04月

原创 Hive基本命令整理

创建表： hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string 创建一个新表，结构与其他一样 hive> create table new

2012-05-26 17:25:35 97614 2

转载 hadoop作业调优参数整理及原理

1 Map side tuning参数 1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutputBuffe

2012-05-15 08:08:50 1438

原创 HDFS基本知识整理

设计理念： 1、超大文件 2、流式数据访问 3、商用普通硬件不适合场景： 1、低时间延迟的数据访问 2、大量的小文件 3、多用户写入，任意修改文件一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最

2012-05-15 07:57:16 1227

原创 HDFS的JavaAPI操作

package hdfs; import static org.junit.Assert.fail; import java.util.Arrays; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FSDat

2012-05-15 07:44:29 7954 4

原创监控主机内存、磁盘使用率、进程、数据库

最近自己做了一个监控，对公司所有主机、数据库进行简单的监控，具体包括主机内存剩余量、磁盘使用率，进程监控等，分享给大家，希望对大家有用，具体配置如下： 1、相应主机内存剩余多少进行监控，可以定制一个阀值，如果低于这个阀值就报警，如1G，下面红框内是要监控的值普通 linux机器，是用free -m命令，显示如下：

2012-05-08 22:15:54 5117