- 博客(8)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Hadoop mapreduce原理学习
转自 http://blog.csdn.net/thomas0yang/article/details/8562910 最近整了很长一段时间才了解了map reduce的工作原理，shuffle是mapreduce的心脏，了解了这个过程，有助于编写效率更高的mapreduce程序和hadoop调优。自己画了一幅流程图（点击查看全图）： 另外，还找到...
2013-11-07 09:43:14
188
原创 hive优化之------控制hive任务中的map数和reduce数
文章来自：http://www.dataguru.cn/article-3269-1.html 一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查...
2013-08-28 11:24:26
1561
原创 hadoop hdfs JAVA API 基本文件操作
本文主要介绍了 HADOOP HDFS JAVA API 对HDFS中的文件操作，如：创建文件，将文件上传到HDFS，从HDFS下载文件到本地，HDFS文件删除等 话不多说，上代码： import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStrea...
2013-04-13 20:33:31
269
原创 HBASE 完全分布式安装
前面讲到了hadoop的安装，今天将hbase的安装过程记录下来： 前提环境，hadoop 1.1.1已安装好并能正常运行。 主机网络环境: master 192.168.1.60 slave1 192.168.1.61 slave2 192....
2013-03-16 21:51:53
183
原创 Linux SSH 免密码登录配置
由于学习hadoop，集群之间需要SSH无密码登录，那么，在安装hadoop之前，就必须得配置好机器之间的无密码的SSH登录。如何配置无密码SSH登录呢？ 我们以在A机器上无密码登录到B机器上为例： 1、切换到需要用来登录的用户，如，我们用A机器名为hadoop的用户登录B机器的hadoop用户下。 su hadoop 切换到hadoop 用...
2013-03-04 22:42:03
222
中缀表达式转后缀表达式以及后缀表达式合法性验证
最近由于一项需求，需要用户自己来组合表达式，然后做运算，对于计算机处理数学计算，一般是先将中缀表达式，也就是我们平常见到的数学表达式转化为后缀表达式， 如 (2+3)*6 转换成 2 3 + 6 *， 后缀表达式中，是不含有括号的，计算机在运算的时候，从左向右读取，若遇到运算符，则取运算符左边的两个操作数来计算，并将计算结果作为下一次计算的一个操作数。 下面分享一个用JAVA实现的中...
2012-12-26 17:07:59
1432
原创 初识hadoop之hadoop 安装
本来是用word写的，里面有一些截图，可是iteye的编辑器上传图片不方便，所以，附件中是原版word文档一、 Hadoop安装1.1 hosts文件修改在每个结点修改hosts文件，配置节点IP与别名Vi /etc/hosts1.2 建立hadoop用户Useradd username //添加用户Passwd username //为用户生成密码...
2012-12-15 12:38:24
135
原创 在windows 下 使用 eclipes 连接 linux下的hadoop集群
hadoop 是工作在linux下的分布式系统，做为一个开发者，对于手里资源有限，不得不使用只有终端的虚拟机来运行hadoop集群。但是，在这种环境下，开发，调试就变得那么的不容易了。那么，有没有办法在windows下发调试呢。答案是肯定的。 hadoop为我们提供了一个Eclipes插件，使用我们可以在Eclipse环境下开发，调试hadoop程序，那么，应该如何...
2012-12-15 12:30:15
182
思科 路由、交换、安全设置实战手册
2010-09-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人