spark写mysql优化简书_spark——通过jdbc连接数据库中遇到的问题

在官网下载MySQL的JDBC驱动时，发现下载下来的对应的安装包与之前用的不同，是dbd格式的(mysql-connector-java_8.0.19-1ubuntu16.04_all.deb)，上网搜索了好多不同的方法才最终将其解压，找到对应的驱动。

一、deb、rpm、tar.gz三种不同linux安装包下的区别

rpm包-在红帽LINUX、SUSE、Fedora可以直接进行安装，但在Ubuntu中却无法识别；

deb包-是Ubuntu的专利，在Ubuntu中双击deb包就可以进入自动安装进程；

tar.gz包-在所有的Linux版本中都能使用，但安装过程也最麻烦，要先解压缩，然后在“终端”里用cd命令进入刚才解压的目录，再找到安装链接文件安装。

二、安装deb格式的包

1.双击deb的包，出现如下界面，安装即可。(但是我点击安装之后，并没有安装成功，搞不清状况)

2.使用命令：dpkg -i 安装包名字

但是，我弄了之后，也没有安装成功，出现的情况如下：

hadoop@hadoop-virtual-machine:/usr/local/spark/jars$ sudo dpkg -i mysql-connector-java_8.0.19-1ubuntu16.04_all.deb

[sudo] hadoop 的密码：

正在选中未选择的软件包 mysql-connector-java。

(正在读取数据库 ... 系统当前共安装有 209954 个文件和目录。)

正准备解包 mysql-connector-java_8.0.19-1ubuntu16.04_all.deb ...

正在解包 mysql-connector-java (8.0.19-1ubuntu16.04) ...

正在设置 mysql-connector-java (8.0.19-1ubuntu16.04) ...

再使用第一步没有安成的情况下，不能直接进行这一步，会出现如下情况。

dpkg:错误:另外一个进程已经为 dpkg 状态数据库 加锁

以下方式任选一个即可：

1、重启系统

2、执行(这种方式不要尝试，系统很容易挂)

sudo rm /var/lib/dpkg/lock

然后执行修复

sudo dpkg --configure -a

3.使用命令：dpkg -L 安装包名字(不能带版本信息，否则也会出错)

hadoop@hadoop-virtual-machine:~/下载$ dpkg -L mysql-connector-java_8.0.19-1ubuntu16.04_all.deb

dpkg-query: 软件包 mysql-connector-java_8.0.19-1ubuntu16.04_all.deb 没有被安装

使用 dpkg--info (= dpkg-deb --info) 来检测打包好的文件，

还可以通过 dpkg--contents (= dpkg-deb --contents) 来列出它们的内容。

hadoop@hadoop-virtual-machine:~/下载$ mysql-connector-java

mysql-connector-java：未找到命令

hadoop@hadoop-virtual-machine:~/下载$ dpkg -L mysql-connector-java/./usr/usr/share/usr/share/java/usr/share/java/mysql-connector-java-8.0.19.jar/usr/share/doc/usr/share/doc/mysql-connector-java/usr/share/doc/mysql-connector-java/copyright/usr/share/doc/mysql-connector-java/INFO_SRC/usr/share/doc/mysql-connector-java/INFO_BIN/usr/share/doc/mysql-connector-java/LICENSE.gz/usr/share/doc/mysql-connector-java/README/usr/share/doc/mysql-connector-java/CHANGES.gz/usr/share/doc/mysql-connector-java/changelog.Debian.gz

然后在java文件夹中找到我想要的jar文件，放入spark文件夹下的jars文件夹中。

之后进行后续操作连接成功。