2013年10月_明星it

12月 11月 10月

转载 Map/Reduce的GroupingComparator排序

一、背景排序对于MR来说是个核心内容，如何做好排序十分的重要，这几天写了一些，总结一下，以供以后读阅。二、准备1、hadoop版本是0.20.22、输入的数据格式（这个很重要，看清楚格式），名称是secondary.txt：[java] view plaincopyabc 123 acb 124 cbd 523 abc

2013-10-22 16:34:01 1034

原创 mongodb java api常用方法的使用以及和spring的集成使用

本篇文章主要介绍了mongodb对应java的常用增删改查的api，以及和spring集成后mongoTemplate的常用方法使用，废话不多说，直接上代码：1.首先上需要用到的两个实体类User和Home，对应用户和家乡import java.util.List;import org.springframework.data.mongodb.core.mapping.Document

2013-10-19 11:26:35 6705

原创 hive命令参数

$HIVE_HOME/bin/hive是一个shell工具，它可以用来运行于交互或者批处理方式配置单元查询，语法如下：1. -i filename 执行脚本文件filename，会在终端上显示mapreduce的进度，执行完毕后，最后把查询结果输出到终端上，然后进入交互模式 eg：hive -i script.sql 1 jim

2013-10-17 17:44:05 4714

原创 hive分区

一、背景1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表，需要在create表的时候调用可选参数partitioned by，详见表创建的语法结构。二、技术细节

2013-10-12 15:37:26 7817

转载多map/reduce执行

学习hadoop，必不可少的就是写MapReduce程序，当然，对于简单的分析程序，我们只需一个MapReduce就能搞定，这里就不提单MapReuce的情况了，网上例子很多，大家可以百度Google一下。对于比较复杂的分析程序，我们可能需要多个Job或者多个Map或者Reduce进行分析计算。多Job或者多MapReduce的编程形式有以下几种：1、迭代式MapR

2013-10-12 14:14:09 1926

原创解决mysql Access denied for user 'root'@'localhost'

# mysql -uroot -pEnter password:ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)使用网上介绍的方法修改root用户的密码：# mysqladmin -uroot -p password 'newpassword'Ente

2013-10-10 10:34:14 2903

转载 mysql的安装以及和mapreduce的交互

1、MySQL安装MySQL下载地址：http://www.mysql.com/downloads/1.1 Windows平台　　1）准备软件　　MySQL版本：mysql-5.5.21-win32.msi　　2）安装环境：　　操作系统：Windows 7旗舰版　　3）开始安装　　第一步：双击"msi"安装文件，出现如图1.1-1界面——"MySQL安装向导"

2013-10-09 14:16:48 7386

转载 Hadoop管理员的十个最佳实践

大多数管理员都是从Apache Hadoop开始学习。笔者最开始也使用Apache版本Hadoop进行开发和部署工作，但接触到Cloudera CDH后，我发现它可以使管理员的工作更简单，不仅可以获得最新的特性和Bug修复，有时也会带来令人惊喜的性能改善。AD：2013云计算架构师峰会精彩课程曝光接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的

2013-10-08 14:48:53 929 3