PySpark之SparkStreaming+MySQL应用

具体步骤

运行环境：linux,spark2.3.0,python3.6,eclipse+pydev,netcat,jdk1.8,scala2.11,mysql

一.MySQL下载

sudo apt-get update #更新软件源
sudo apt-get install mysql-server #安装mysql,安装时要求设置密码
sudo service mysql start #启动mysql服务,不加sudo会报错
sudo service mysql stop #停止mysql服务
sudo netstat -tap | grep mysql #确认服务启动

编辑配置文件,解决乱码问题

sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf

在[mysqld]下添加一行character_set_server=utf8。
重启MySQL服务。

service mysql restart

登陆MySQL，并查看MySQL目前设置的编码。

show variables like “char%”;

登陆进入mysql

mysql -u root -p
use spark; #建立数据库
create table wordcount (word char(20),count int(4)); 建表

二.下载PyMySQL库

sudo apt-get update
sudo apt-get install python3-pip
pip3 -V
sudo pip3 install PyMySQL

或者参考下面方法
.1. 下载离线安装包:

地址为：https://pypi.doubanio.com/simple/pymysql/

下载指定版本，这里下载的为PyMySQL-0.7.11.tar.gz

2.解压离线包:

首先将压缩包放到指定位置，执行解压命令：tar -zxvf PyMySQL-0.7.11.tar.gz

3.安装:

进入PyMySQL-0.7.11

cd PyMySQL-0.7.11

执行安装命令：

python setup.py install

5验证，在终端中输入:

python
import pymysql

原文链接：https://blog.csdn.net/SuperBoy_Liang/article/details/89335906

三、在eclipse导入相关库

点击Windows->preference->PyDev->python interpreters
加入两条路径：
[python安装目录]/lib/python3.6/site-packages/PyMySQL-0.7.11-py3.6.egg
[python安装目录]/lib/python3.6/site-packages/PyMySQL-0.7.11-py3.6.egg/pymysql

四、创建实例

mysql服务在线，打开第一个终端作为输入源

nc -lp 9999

打开eclipse，在原有工程下建立.py文件并输入如下代码

 #!/usr/bin/env python3
from __future__ import print_function 
import sys 
import pymysql
from pyspark im