hadoop入门
文章平均质量分 82
OhHusky
路漫漫其修远兮
展开
-
hadoop环境变量配置及启动
一.环境变量配置 cd /etc/environment在文件末尾添加如下: export HADOOP_INSTALL=/usr/local/hadoop #hadoop的安装目录export PATH=PATH:HADOOP_INSTALL/binexport PATH=PATH:HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOO原创 2017-08-11 10:59:07 · 4447 阅读 · 0 评论 -
hadoop架构分析之启动脚本分析(yarn部分)
一.start-yarn.cmd (1)set HADOOP_BIN_PATH=%~dp0 设置HADOOP_HOME=当前目录(2)set HADOOP_BIN_PATH=%HADOOP_BIN_PATH:~0,-1% 去掉最后一个’\’符号(3)set DEFAULT_LIBEXEC_DIR=%HADOOP_BIN_PATH%\..\libexec 设置本地执行目录文件(4)call %HAD原创 2017-08-11 14:40:57 · 562 阅读 · 0 评论 -
hadoop架构分析之启动脚本分析(hdfs部分)
一.Hadoop-config.cmd (1)set HADOOP_HOME=%~dp0设置HADOOP_HOME=当前目录(2)set HADOOP_HOME=%HADOOP_HOME:~0,-1% 去掉最后一个’\’符号(3)set HADOOP_CONF_DIR=%HADOOP_HOME%\etc\hadoop 设置HADOOP_CONF_DIR(4)set HADOOP_CONF_DIR=原创 2017-08-11 14:56:22 · 458 阅读 · 0 评论 -
hadoop MapReduce集群模式调整匹配及shell脚本处理
一.克隆多台虚拟机二.配置虚拟机以文本模式启动(使速度加快,避免图形界面占用较多资源) 1.cd /etc/default2.cat grub3.sudo nano grub 将其中GRUB_CMDLINE_LINUX_DEFAULT=”quiet”的quiet替换成test 4.sudo update-grub5.sudo reboot三.创建shell脚本(批量处理虚拟机以文本模式启动)原创 2017-08-11 15:10:36 · 432 阅读 · 0 评论 -
hadoop实例1:MaxTemperature
一.创建伪分布hadoop环境二.准备实例所需数据文件 NCDC下载地址如下:https://pan.baidu.com/share/link?shareid=2365826105&uk=3726947161三.编写文件 1.在eclipse中进行编写,其中重要的一点是将程序需要的jar包一次性导入到eclipse中,过程如下: (1)新建java project,命名为hadoopdemo。原创 2017-08-11 15:29:17 · 600 阅读 · 0 评论