hadoop
Suxain
这个作者很懒,什么都没留下…
展开
-
Linux SSH 免密码登录配置
由于学习hadoop,集群之间需要SSH无密码登录,那么,在安装hadoop之前,就必须得配置好机器之间的无密码的SSH登录。如何配置无密码SSH登录呢? 我们以在A机器上无密码登录到B机器上为例: 1、切换到需要用来登录的用户,如,我们用A机器名为hadoop的用户登录B机器的hadoop用户下。 su hadoop 切换到hadoop 用...原创 2013-03-04 22:42:03 · 208 阅读 · 0 评论 -
HBASE 完全分布式安装
前面讲到了hadoop的安装,今天将hbase的安装过程记录下来: 前提环境,hadoop 1.1.1已安装好并能正常运行。 主机网络环境: master 192.168.1.60 slave1 192.168.1.61 slave2 192....原创 2013-03-16 21:51:53 · 170 阅读 · 0 评论 -
hadoop hdfs JAVA API 基本文件操作
本文主要介绍了 HADOOP HDFS JAVA API 对HDFS中的文件操作,如:创建文件,将文件上传到HDFS,从HDFS下载文件到本地,HDFS文件删除等 话不多说,上代码: import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStrea...原创 2013-04-13 20:33:31 · 262 阅读 · 0 评论 -
在windows 下 使用 eclipes 连接 linux下的hadoop集群
hadoop 是工作在linux下的分布式系统,做为一个开发者,对于手里资源有限,不得不使用只有终端的虚拟机来运行hadoop集群。但是,在这种环境下,开发,调试就变得那么的不容易了。那么,有没有办法在windows下发调试呢。答案是肯定的。 hadoop为我们提供了一个Eclipes插件,使用我们可以在Eclipse环境下开发,调试hadoop程序,那么,应该如何...原创 2012-12-15 12:30:15 · 177 阅读 · 0 评论 -
初识hadoop之hadoop 安装
本来是用word写的,里面有一些截图,可是iteye的编辑器上传图片不方便,所以,附件中是原版word文档一、 Hadoop安装1.1 hosts文件修改在每个结点修改hosts文件,配置节点IP与别名Vi /etc/hosts1.2 建立hadoop用户Useradd username //添加用户Passwd username //为用户生成密码...原创 2012-12-15 12:38:24 · 125 阅读 · 0 评论 -
Hadoop mapreduce原理学习
转自 http://blog.csdn.net/thomas0yang/article/details/8562910 最近整了很长一段时间才了解了map reduce的工作原理,shuffle是mapreduce的心脏,了解了这个过程,有助于编写效率更高的mapreduce程序和hadoop调优。自己画了一幅流程图(点击查看全图): 另外,还找到...原创 2013-11-07 09:43:14 · 182 阅读 · 0 评论 -
hive优化之------控制hive任务中的map数和reduce数
文章来自:http://www.dataguru.cn/article-3269-1.html 一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查...原创 2013-08-28 11:24:26 · 1553 阅读 · 0 评论