输出操作,结果保存到本地和输出到MySQL

该博客介绍如何使用Spark Streaming从网络流中读取数据,进行wordcount操作,并将结果保存到本地文件以及MySQL数据库。首先启动MySQL服务,创建wordcount表。接着,安装PyMySQL库以连接MySQL。通过updateStateByKey方法处理数据,更新状态并存储。最后,设置foreachRDD调用dbfunc将结果插入数据库。
摘要由CSDN通过智能技术生成

saveAsTextFiles("")
结果写入到MySQL
service mysql start
mysql -u hadoop -p
use spark
create table wordcount(word char(20),count int(4));

#得安装python连接MySQL的模块PyMySQL
sudo apt-get update
sudo apt-get install python3-pip
pip3 -V
sudo pip3 install PyMySQL

东西和上篇博客一样就是加个保存的
#!/usr/bin/env python3
from__future__import print_function
import sys
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
if__name__==“main”:
if len(sys.argv)!=3:
print(“Usage:NetworkWordCountStateful.py<hostname.,port>”,file=sys.stderror)
exit(-1)
sc = SparkContext(appName = “PythonStreamingStatefulNetworkWordCount”)
ssc = StreamingContext(sc,1)
ssc.checkpoint(“file:///usr/local/spark/mycode/streaming/stateful/”)
initialRDD = sc.parallelize([(u’hello’,1),(u’world’,1)])#初始化RDD,u是unicode编码
#nc端发过来(had

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值