Hadoop
文章平均质量分 71
胡说八道的潘老师
这个作者很懒,什么都没留下…
展开
-
Ubuntu中关于hadoop环境变量的设置方法
Ubuntu搭建hadoop时,在/bin、/sbin等路径下有一些经常使用的工具为了能够在任何路径下都能使用这些工具,而不必切换到bin/sbin路径下,需要设置hadoop的环境变量(注意:前提是已经设置好jdk环境变量,jdk环境变量设置方法)。(1)使用vim/vi/gedit等命令,打开/home//.bashrc文件vim /home/hadoop/.bashrc(原创 2016-04-06 12:06:51 · 9483 阅读 · 1 评论 -
Hadoop平台搭建(1)
摘要:本文主要讲述在Linux环境下搭建hadoop平台的准备工作,内容涵盖Linux中用户的添加与权限管理、更改软件源、更新软件安装工具apt、安装vim编辑器、安装SSH并配置无密码登录。 环境说明:文章中采用Ubuntu15.10操作系统,Ubuntu其他版本操作系统的操作类似,Linux其他系列操作系统适当做相应调整。1.添加用户 对Linux环境下的开发,为原创 2016-04-16 21:08:39 · 7911 阅读 · 0 评论 -
hadoop平台搭建(2)--jdk的安装及配置
摘要:本文主要讲述Linux环境下搭建hadoop平台过程中jdk安装配置环节,由于jdk安装配置并不限于hadoop平台的搭建,所以本部分独立成一节,jdk配置完毕的可以略过本节。环境说明:文章延续hadoop平台搭建(1)中的步骤,采用Ubuntu15.10操作系统,Ubuntu其他版本操作系统的操作类似。Linux其他系列操作系统适当做相应调整。1安装jdk 从sun官网下载jdk原创 2016-04-16 21:46:45 · 1848 阅读 · 0 评论 -
hadoop平台搭建(3)--hadoop安装、环境配置、单机运行
摘要:本文主要讲述Linux环境下搭建hadoop平台过程中hadoop软件包安装配置环节,并在配置完毕的基础上运行hadoop的单机模式。环境说明:文章延续hadoop平台搭建(2)中的步骤,搭建Apache原生态hadoop2.6.0,采用Ubuntu15.10操作系统,Ubuntu其他版本操作系统的操作类似。Linux其他系列操作系统适当做相应调整。原创 2016-04-16 22:21:25 · 1195 阅读 · 0 评论 -
hadoop平台搭建(4)--伪分布式的配置及运行
摘要:本文主要讲述Linux环境下搭建hadoop平台过程中,基于hadoop单机模式运行正确的基础上,配置hadoop的伪分布式模式,并在配置完毕的基础上运行hadoop的伪分布式实例。环境说明:文章延续hadoop平台搭建(3)中的步骤,因为只涉及hadoop自身配置文件的修改,所以操作步骤适用于所有版本的Linux系统原创 2016-04-17 00:39:09 · 2150 阅读 · 0 评论 -
zookeeper的安装与配置(单机与伪分布式)
1、基本环境Ubuntu15.10jdk1.72、单机模式的安装与配置下载zookeeper的tar包 http://www-eu.apache.org/dist/zookeeper/解压安装包到目标路径,并修改文件权限 设置环境变量,将bin目录添加到PATH路径下,将lib目录添加到CLASSPATH路径下 修改配置文件 将/conf路径下的zoo_sample.cfd文件更改名称为原创 2016-07-06 21:51:57 · 1983 阅读 · 0 评论 -
Hadoop原理汇总(一)——HDFS
摘要:本文主要对hadoop的原理性知识进行汇总,包括核心组件、HDFS存储原理、HDFS shell命令、HDFS Java端API、MapReduce基本原理、shuffle基本原理、sort过程等。1 Hadoop核心组件生态系统图 HDFS文件系统 它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应原创 2017-05-25 16:33:47 · 5696 阅读 · 0 评论 -
Hadoop原理汇总(二)——MapReduce
5 MapReduce5.1 设计理念计算向数据靠拢,减小节点间的数据移动开销 前提条件 ● 待处理的数据集可以分解为许多小数据集 ● 每个小数据集都可以完全地并行处理 5.2 基础架构 MapReduce框架包含一个Master和若干个Slave。Master上运行JobTracker,负责作业和任务的调度,并监控它们的执行;Slave上运行TaskTracker,负原创 2017-05-26 11:42:33 · 1024 阅读 · 0 评论