hadoop从零实战
文章平均质量分 65
该专栏主要介绍hadoop技术从零起步到实战,内容涵盖:Linux系统下hadoop的安装及基本环境配置、hadoop的单机模与伪分布式模式配置运行、mapreduce的命令行运行与eclipse的运行、spark的安装配置及运行、基于scala的spark开发等。
胡说八道的潘老师
这个作者很懒,什么都没留下…
展开
-
hadoop平台搭建(4)--伪分布式的配置及运行
摘要:本文主要讲述Linux环境下搭建hadoop平台过程中,基于hadoop单机模式运行正确的基础上,配置hadoop的伪分布式模式,并在配置完毕的基础上运行hadoop的伪分布式实例。环境说明:文章延续hadoop平台搭建(3)中的步骤,因为只涉及hadoop自身配置文件的修改,所以操作步骤适用于所有版本的Linux系统原创 2016-04-17 00:39:09 · 2158 阅读 · 0 评论 -
hadoop平台搭建(3)--hadoop安装、环境配置、单机运行
摘要:本文主要讲述Linux环境下搭建hadoop平台过程中hadoop软件包安装配置环节,并在配置完毕的基础上运行hadoop的单机模式。环境说明:文章延续hadoop平台搭建(2)中的步骤,搭建Apache原生态hadoop2.6.0,采用Ubuntu15.10操作系统,Ubuntu其他版本操作系统的操作类似。Linux其他系列操作系统适当做相应调整。原创 2016-04-16 22:21:25 · 1203 阅读 · 0 评论 -
hadoop平台搭建(2)--jdk的安装及配置
摘要:本文主要讲述Linux环境下搭建hadoop平台过程中jdk安装配置环节,由于jdk安装配置并不限于hadoop平台的搭建,所以本部分独立成一节,jdk配置完毕的可以略过本节。环境说明:文章延续hadoop平台搭建(1)中的步骤,采用Ubuntu15.10操作系统,Ubuntu其他版本操作系统的操作类似。Linux其他系列操作系统适当做相应调整。1安装jdk 从sun官网下载jdk原创 2016-04-16 21:46:45 · 1858 阅读 · 0 评论 -
Hadoop平台搭建(1)
摘要:本文主要讲述在Linux环境下搭建hadoop平台的准备工作,内容涵盖Linux中用户的添加与权限管理、更改软件源、更新软件安装工具apt、安装vim编辑器、安装SSH并配置无密码登录。 环境说明:文章中采用Ubuntu15.10操作系统,Ubuntu其他版本操作系统的操作类似,Linux其他系列操作系统适当做相应调整。1.添加用户 对Linux环境下的开发,为原创 2016-04-16 21:08:39 · 7922 阅读 · 0 评论 -
Ubuntu中关于hadoop环境变量的设置方法
Ubuntu搭建hadoop时,在/bin、/sbin等路径下有一些经常使用的工具 为了能够在任何路径下都能使用这些工具,而不必切换到bin/sbin路径下,需要设置hadoop的环境变量(注意:前提是已经设置好jdk环境变量,jdk环境变量设置方法)。 (1)使用vim/vi/gedit等命令,打开/home//.bashrc文件 vim /home/hadoop/.bashrc (原创 2016-04-06 12:06:51 · 9499 阅读 · 1 评论