让我来告诉你，学习大数据都是要安装哪些软件

最新推荐文章于 2023-05-13 09:25:37 发布

我不是高材生

最新推荐文章于 2023-05-13 09:25:37 发布

阅读量1.6k

点赞数 1

分类专栏：如何学习大数据文章标签：大数据 hadoop spark hbase scala

本文链接：https://blog.csdn.net/qq_21516633/article/details/105329713

版权

如何学习大数据专栏收录该内容

12 篇文章 1 订阅

订阅专栏

文章更新于：2020-04-09
注：用于汇总大数据相关软件安装教程。

文章目录

一、软件总览

软件名	笔者博客	下载链接	备注
`ssh`	安装 SSH	使用 apt/yum 安装	安装 SSH
`jdk 1.8.0_241`	安装 JDK	下载 JDK	安装 JDK
`hadoop 3.2.1`	安装 HADOOP	下载 HADOOP	安装 HADOOP
`eclipse-Java`
`hbase 2.2.4`	安装 HBase	下载 HBASE	安装 HBASE
`scala 2.12.11`	安装 SCALA	下载 SCALA	安装 SCALA
`spark 2.4.5`	安装 SPARK	下载 SPARK	安装 SPARK
`sbt 1.3.8`	安装 SBT	下载 SBT（更多版本）	安装 SBT
`maven 3.6.3`	安装 MAVEN	下载 MAVEN	安装 MAVEN
`eclipse-scala`	安装 SCALA-IDE	下载 IDE	安装 IDE

二、安装过程提纲

2.1、安装 ssh

稍后再写。。

2.2、hadoop

2.2.1、core-site.xml

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

2.2.2、hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

2.3、hbase

2.3.1、hbase-env.sh

export HBASE_MANAGES_ZK=true
export JAVA_HOME=/usr/local/jdk1.8

2.3.2、hbase-site.xml

<configuration>
    <property>
        <name>hbase.wal.dir</name>
        <value>file:///tmp/wal.dir</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
</configuration>

2.4、spark

2.4.1、spark-env.sh

# The below line added by myself.
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

# To test the WARN
LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

# To test the WARN
SPARK_LOCAL_IP="192.168.11.136"

2.4.2、sbt 打包声明文件

name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.12"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5"
libraryDependencies += "org.apache.hbase" % "hbase-client" % "1.1.5"
libraryDependencies += "org.apache.hbase" % "hbase-common" % "1.1.5"
libraryDependencies += "org.apache.hbase" % "hbase-server" % "1.1.5"

2.5、sbt

安装 sbt 至少需要以下文件：

1、<安装路径>/sbt-launch.jar	# 启动 jar 包
2、<安装路径>/sbt	# 启动脚本
3、~/.sbt/repositories	#（可选，镜像站加速）

2.5.1、新建 sbt 文件

/usr/local/sbt目录下新建下面文件 sbt，
并将 /usr/local/sbt/bin/ 目录下的 sbt-launch.jar 拷贝到上一级路径下。

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

在<sbt安装目录>/conf/sbtconfig.txt文件中添加如下内容：

-Dsbt.override.build.repos=true

2.5.2、配置 sbt 国内镜像源（可选）

在 ~/.sbt 路径下新建 repositories 文件,
如配置华为云镜像则写入以下内容。

[repositories]
  local
  huaweicloud-ivy: https://mirrors.huaweicloud.com/repository/ivy/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
  huaweicloud-maven: https://mirrors.huaweicloud.com/repository/maven/