- 博客(5)
- 资源 (44)
- 收藏
- 关注
原创 在云中使用 MapReduce 和负载平衡 (转载)
云计算旨在通过 Internet 提供随需应变的资源或服务,通常视数据中心的规模和可靠性水平而定。MapReduce 是一个为并行处理大量数据而设计的编程模型,它将工作划分为一个独立任务组成的集合。它是一种并行编程,由某种功能随需应变的云(如 Google 的 BigTable、Hadoop 和Sector)提供支持。 在本文中,将使用遵从 Randomized Hydrodynamic Load Balancing 技术(下文将详细介绍)的负载平衡算法。利用虚拟化来降低成本和物理服务器的实际数目;更重要
2011-04-18 21:41:00
571
原创 Hadoop排序实例
排序实例 排序实例仅仅用 map/reduce框架来把输入目录排序放到输出目录。输入和输出必须是顺序文件,键和值是BytesWritable. mapper是预先定义的IdentityMapper,reducer 是预先定义的 IdentityReducer, 两个都是把输入直接的输出。 要运行这个例 子:bin/hadoop jar hadoop-*-examples.jar sort [-m ] [-r ] 运行排序基准测试 为了使得排序例子作为一个 基准测试,用 RandomWriter
2011-04-17 20:45:00
1635
原创 CentOS 5.5 中 Python 升级到 2.6.5
CentOS 5.5 中 Python 升级到 2.6.5 08.19.2010 · Posted in Linux, Python 前天公司购买一台服务器(放置在外高桥电信机房,跑的是JSP的应用),不想在服务器上使用盗版的Win server(当然也是为了公司节省软件许可费用),于是安装了 CentOS 5.5(貌似是目前比较新的版本?)。因为比较喜欢Python,所以就随手敲入python,居然是2.4.3的版本,阿门。于是的于是就有了下面给Python升级的过程(CentOS 5.5 中实验成功
2011-04-13 23:03:00
705
原创 Hive中实现自定义函数UDF及打包
Hive的UDF,其实很类似Mysql之类的自定义函数 不过它需要用java来编写,而不是用传统的SQL来完成 实现一个UDF的步骤如下: 实现一个Java Class,继承自UDF 打成jar包,并加入到Hive的ClassPath中 生成自定义函数,执行select 删除刚才创建的临时函数 下面这个UDF,是我给hive的array增加的一个函数 用来判断array中是否包含某个值,hive的标准函数中并没有此功能函数 package com.sohu.had
2011-04-13 11:12:00
2240
原创 执行shell脚本的几种方法
shell脚本不应该设置扩展名,要抛弃windows的习惯。除了在一些特殊情况下,可以为任何文件名。我倾向于不设扩展名,这样用的时候更象一个命令,如hello,而不必多个尾巴,如hello.sh。特殊情况就看什么软件来用这个script,比如在Solaris系统中的/etc/rcx.d目录下的script,带.sh扩展名和不带.sh扩展名调用时是有区别的。 Don't use extensions for your scripts. Executables shouldn't have extension
2011-04-12 20:05:00
1531
MapReduce: Simpli
2009-03-13
The Google File System
2009-03-13
Bigtable: A Distributed Storage System for Structured Data
2009-03-13
webwork开发指南
2009-05-16
《深入浅出Ext+JS》样章.pdf
2009-05-16
Linux命令大全(修改版).
2009-05-16
Hadoop分布式文件系统
2009-03-13
设计模式迷你手册.chm
2009-05-16
JavaScript对象与数组参考大全
2009-05-16
15天学会jQuery
2009-05-16
spring in action 中文版
2009-05-16
正则表达式释疑(regular-expression)
2009-05-16
把java web应用包装成桌面应用的简单做法
2009-05-16
谁说大象不能跳舞——郭士纳
2009-12-06
精通Oracle.10g.Pl.SQL编程.
2009-05-16
jQueryAPI_CHM.
2009-05-16
ApacheAnt1.7.1.zip
2009-05-16
并行计算MPI The Complete Reference
2009-05-16
[(美国版)计算机爱好者].CPU.Magazine.Reference_Series_-_Xbox_360
2009-05-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅