数据挖掘
雪岢奇
在职员工
展开
-
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。 伪分布模式(Pseudo-Distr转载 2014-09-25 11:30:01 · 725 阅读 · 0 评论 -
Centos 环境安装配置hadoop
目的:安装hadoop Hadoop是需要在java环境下面运行,所以,首先要保证你的系统下面装有JDK。那么步骤是:配置SSH——安装JDK——安装hadoop(当然你愿意先安装它也完全没问题)——配置java的环境变量(需要知道java的安装路径)——配置namenode下面3个配置文件——格式化hadoop——启动hadoop。 我们用一般用户登录,然后切换到root下面,因为权转载 2014-10-04 18:09:30 · 4226 阅读 · 0 评论 -
Hadoop多节点集群安装配置
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲,可以分成两大类角色转载 2014-10-06 17:46:24 · 1195 阅读 · 0 评论 -
Ubuntu 上配置hive
在hdfs上建目录: [plain] view plaincopy $ hadoop fs -mkdir /tmp转载 2014-09-25 12:11:51 · 1151 阅读 · 0 评论