hadoop+spark安装

本文详细介绍了Hadoop和Spark的安装过程,包括JDK的配置、Hadoop在Linux上的部署、环境参数设置、免密码SSH配置、Hadoop启动、Spark的安装与配置,以及程序发布和Linux定时任务的设定。
摘要由CSDN通过智能技术生成

一,hadoop环境安装:
 1,JDB安装(1.8版本以上)
   1:安装jdk 随意选择目录 只需把默认安装目录 \java 之前的目录修改即可
   2:安装jre→更改→ \java 之前目录和安装 jdk 目录相同即可
    注:若无安装目录要求,可全默认设置。无需做任何修改,两次均直接点下一步。
  安装完JDK后配置环境变量  计算机→属性→高级系统设置→高级→环境变量
 a.系统变量→新建 JAVA_HOME 变量 。
  变量值填写jdk的安装目录(本人是 E:\Java\jdk1.7.0)

 b.系统变量→新建 CLASSPATH 变量
  变量值填写   .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar(注意最前面有一点)
  
 c.系统变量→寻找 Path 变量→编辑
  在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
  (注意原来Path的变量值末尾有没有;号,如果没有,先输入;号再输入上面的代码)
  系统变量配置完毕
  检验是否配置成功 运行cmd 输入 java -version (java 和 -version 之间有空格)

 二,hadoop安装:
   hadoop安装是解压hadoop包到linux环境目录下即可。
 新建hadoop用户以及用户组,给予sudo权限
1、首先新建用户,adduser命令
  sudo adduser hadoop
  passwd hadoop

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值