(一)Scala环境搭建
前提:大数据的所有项目,基于Idea+jdk+Maven来构建和管理项目。
- Maven用来统一管理所有项目所需要的依赖的jar包;
- 开发IDE:IDEA;
- IDEA + Maven来构建我们本地的项目开发环境。
1. JDK的安装
1.1. 下载地址
- 官网下载地址:https://www.oracle.com/java/technologies/downloads/archive/#JavaSE (需要注册以后才能下载,根据不同OS下载不同的JDK版本,JDK8以后需要收费,所以一般使用JDK8版本)
更详细的链接:https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html
- 自己提供的百度网盘链接: https://pan.baidu.com/s/1Y5rXKvCvM-2RTuv_5qsNUA 提取码: 4rh6
1.2. Linux安装&环境变量配置
- 软件上传后在/root下新建如下目录:
sofeware:下载后的软件包存放路径
data:测试数据
app:软件安装后的路径
source:源码存放路径
lib: 开发后的jar,第三方的jar包 - 软件解压:tar -zxvf jdk-8u333-linux-x64.tar.gz -C /root/app/
- 添加环境变量【示例】
[root@maggiedata ~]# pwd
/root
[root@maggiedata ~]# ll -a
......
-rw-r--r-- 1 root root 31 Sep 24 16:39 .bashhrc
-rw-r--r--. 1 root root 18 Dec 29 2013 .bash_logout
-rw-r--r--. 1 root root 176 Dec 29 2013 .bash_profile 【个人环境变量】
-rw-r--r--. 1 root root 176 Dec 29 2013 .bashrc 【个人环境变量】
.........
[root@maggiedata ~]# vi .bashrc 或者 vi .bash_profile
添加如下配置:
export JAVA_HOME=/root/app/jdk1.8.0_333 如果是非root用户,则为:export JAVA_HOME=/home/用户名/app/jdk1.8.0_133
export PATH=$JAVA_HOME/bin:$PATH
[root@maggiedata ~]# source .bashrc 【使配置生效】
-------------------------------------------------------------------------------------------------
[root@maggiedata ~]# vi /etc/profile 【查看全局环境变量,我之前已经设置过,设置如下(优先级高于个人环境变量配置)】
#env
export JAVA_HOME=/root/app/jdk1.8.0_333
export PATH=$JAVA_HOME/bin:$PATH
[root@maggiedata ~]# source /etc/profile 【使配置生效】
[root@maggiedata ~]# echo $PATH 【查看已经生效的环境变量】
/root/bin:/usr/java/jdk1.8.0_121/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
- 出现下面的,表示Linux环境安装成功:
1.3. windows安装&环境变量配置
- 下载windows的x64版本:jdk-8u333-windows-x64.exe,点击下一步下一步,完成安装。【安装过程省略】
- 配置windows的环境变量,添加JAVA_HOME路径;
- 在环境变量中,在path中添加:%JAVA_HOME%\bin
- 验证java是否安装成功,在cmd中输入:java -version
2. Maven的安装
2.1. 下载地址
- Maven、Spark、Flink、Hive、HBase都是Apache的顶级项目
- 官网地址都是:项目名称.apache.org
- https://maven.apache.org/
**官方下载地址:https://maven.apache.org/download.cgi **
2.2. Linux安装&环境变量配置
- 软件解压:tar -zxvf apache-maven-3.8.6-bin.tar.gz -C /root/app/
- 添加环境变量【示例】
[root@maggiedata app]# tar -zxvf apache-maven-3.8.6-bin.tar.gz -C /root/app/
[root@m