chendaya-CSDN博客

R语言和Hadoop

small.ints = to.dfs(1:1000) The first line puts the data into HDFS, where the bulk of the data has to reside for mapreduce to operate onto.dfs is nonetheless very useful for a variety of use

2013-02-26 13:56:39 68

原创 mmon分析结果详解

第一张图片粉红色为 Disk I/O rate，蓝色的线为CPU使用率！CPU% 列：shows avg/max values for the sum of usr%+sys% during each intervalThe value “Max:Avg” is simply the maximum value divided by the average.

2013-02-01 13:02:31 191

原创 hive加载日志文件

1、首先查看该日志文件的格式本人是初学者，因此先从最基础地开始进入 /var/log/目录，随便打开一个日志，发现日志的格式为：2013-01-28 09:39:40,055 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* ask 12.0.8.13:50010 to delete blk_2602656880162637453_15

2013-01-28 14:15:44 139

原创 hive学习2 数据操作

本章描述如何把数据放进tables和如何把数据从tables提取出来1、加载数据LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'OVERWRITE INTO TABLE employeesPARTITION (country = 'US', state = 'CA');INSERT OVERWRITE

2013-01-28 11:52:41 66

原创 Hive 0.10 安装

1.下载最新的hadoop版本http://hive.apache.org/releases.html作者下载的为最新的0.10版本hive-0.10.0-bin.tar.gz ，解压tar zxf hive-0.10.0-bin.tar.gz2.在在.bashrc文件中配置Hive和Hadoop的路径vi/etc/profileexport H

2013-01-28 09:36:07 1984

原创 Hive学习笔记1 创建表格

1.创建数据库hive> CREATE DATABASE financials;如果finanicials存在的话，会提示一个错误，可以使用如下命名避免此错误hive> CREATE DATABASE IF NOT EXISTS financials;1.1确定数据库的存储位置hive> CREATE DATABASE financials > LOCATIO

2013-01-28 09:05:26 87

原创 ambari重装注意的事项

ambari重装后，很多遗留文件会产生很多问题，比如SSL key等因此在卸载ambari后，要把那些配置文件删掉，安装过程中会生成新的认证、配置文件1、停止ambari-agentambari-agent stop2、卸载 ambari-agentyum -y erase ambari-agent3、删除配置文件rm -rf /etc/ambari

2013-01-25 15:42:59 184

原创 ambari 1.2.0安装（中文版）

1.配置hostname（所有节点）ambari需要完整的hostname，要不然肯定会安装失败vi /etc/sysconfig/networkHOSTNAME=node***.ambari然后输入 hostname node***.ambari测试hostname是否完成hostname -fhostname上两个命令的输出结果应该是一致的，都为：node*

2013-01-23 11:02:10 98

原创为hadoop优化ext3文件系统

1、Disk相关参数http://www.linuxso.com/command/hdparm_2.htmlhttp://blog.csdn.net/eroswang/article/details/6126646http://blog.csdn.net/liuben/article/details/54821672.I/O调度算法2.1 CFQ (Complete

2013-01-21 15:12:03 62

原创 centos配置SSH

1.查看是否安装SSH服务yum install opensshopenssh-clients.x86_64 0:5.3p1-81.el6_3 openssh-server.x86_64 0:5.3p1-81.el6_3 这两个必须安装的哦启动ssh service sshd start

2013-01-19 14:48:36 114