sparkSQL读入csv文件写入mysql

（一）准备mysql环境

我们计划在hadoop001这台设备上安装mysql服务器，（当然也可以重新使用一台全新的虚拟机）。

以下是具体步骤：

1. 使用finalshell连接hadoop001.
2. 查看是否已安装MySQL。命令是: rpm -qa|grep mariadb

若已安装，需要先做卸载MySQL的操作命令是：rpm -e --nodeps mariadb-libs

     3.把mysql的安装包上传到虚拟机。

4.进入/opt/software/目录，解压上传的.tar文件。

cd /opt/software

解压文件

tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar得到的效果如下

5.安装工具包

yum install -y   perl   perl-Data-Dumper   perl-Digest-MD5   net-tools libaio

如果安装成功，或者显示以下内容，即可继续安装步骤：

软件包 libaio-0.3.109-13.el7.x86_64 已安装并且是最新版本

无须任何处理

6.安装mysql。依次输入以下5条命令:

rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

命令说明：

rpm -ivh 是 Linux 中用于安装 RPM（Red Hat Package Manager）软件包的命令。具体来说，rpm -ivh 中的每个选项都有特定的含义：

rpm：RPM 包管理工具，用于安装、查询、验证、更新和删除软件包。  

-i：表示安装（install）软件包。  

-v：表示显示详细（verbose）信息，提供更多安装过程中的输出信息。  

-h：表示在安装过程中显示进度条，以 # 符号表示安装进度。

7.初始化数据库

使用的命令是： mysqld --initialize --user=mysql

8.查看临时密码

安装完成之后，它会在一个日志文件中保存临时密码，通过cat命令来查看这个密码。具体的操作是：cat /var/log/mysqld.log

将临时密码复制，或者暂时存到某处

9.启动MySQL服务。对应的命令是：systemctl start mysqld

10.登录MySQL数据库。对应的命令是：mysql -uroot -p

11.输入临时密码。此时会要求输入密码。

Enter password: 临时密码。注意，在输入密码的过程中，密码并不可见。

12.登陆成功后，修改密码为000000。初始密码太难记了，我们先修改一下密码。对应的命令如下：

mysql> set password = password("000000");

13.使root允许任意ip连接

mysql> update mysql.user set host='%' where user='root';

mysql> flush privileges;

14.查看已有的数据库。通过命令：show databases;