Ubuntu大数据学习

虚拟机：VMware workstation 15.5 PRO
Linux系统：Ubuntu-20.04.1-desktop-amd64
jdk版本：jdk-8u172-linux-x64.tar
hadoop版本：hadoop-3.1.3.tar（伪分布式）
eclipse版本：eclipse-4.7.0-linux.gtk.x86_64.tar
系统内用命令安装 mysql
mysql jdbc版本：mysql-connector-java-5.1.40.tar
hive版本：apache-hive-3.1.2-bin.tar
Spark版本：Spark2.4.0
文件传输：Xftp6 （Free for home/school）

---

各大国内知名镜像网站：

国内开源镜像网站列表

Hadoop各个版本高速镜像

JDK各个版本镜像

---

安装虚拟机无难度

---

安装:Ubuntu-20.04.1-desktop-amd64

在Windows中使用VirtualBox安装Ubuntu虚拟机（2020年7月版本）
from：来自厦门大学数据库实验室

安装步骤大致与以上相同，进入安装读条的界面时，点击Skip，安装完本地光盘的系统内容，成功开机后，点击设置，关于，software update，下载自，选择阿里云的服务器。

---

伪分布式安装Hadoop3.1.3

Hadoop3.1.3安装教程_单机/伪分布式配置
from：来自厦门大学数据库实验室

关于文件传输，使用Xftp6即可，文件，新建，输入主机名，主机ip，用户名，用户密码，即可实现window与ubuntu之间进行文件传输。

在配置.bashrc时加入：

输入命令更方便，不用去hadoop根目录使用命令

---

安装eclipse

HDFS编程实践（Hadoop3.1.3）
from：来自厦门大学数据库实验室

按照里面说的做就没错

---

安装hive
Hive3.1.2安装指南
from：来自厦门大学数据库实验室

注意：

1. 在hive-site.xml中添加如下配置信息：做一下修改
   
   加上白线画的内容，否则会启动hive时会报警告

2. 登录mysql的shell界面，用这个命令：sudo mysql -u root -p

3. 其他问题按照里面说的做即可。

---

安装Spark

Spark安装和编程实践（Spark2.4.0）