[Spark streaming举例]-- 实时统计并且存储到mysql数据库中

最新推荐文章于 2021-02-11 10:08:59 发布

往事随风ing

最新推荐文章于 2021-02-11 10:08:59 发布

阅读量1w

点赞数 2

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/high2011/article/details/51585212

版权

Spark 专栏收录该内容

133 篇文章 10 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文通过实例展示了如何使用Spark Streaming进行实时数据处理，并将统计结果存储到MySQL数据库中，详细阐述了关键步骤和实现过程。

摘要由CSDN通过智能技术生成

举例

package com.scala.my

import org.apache.spark.SparkConf
import org.apache.spark.streaming.Durations
import org.apache.spark.streaming.StreamingContext
/**
 * 
 * @author root
 * 测试步骤：
 *    1\打开h15\h16\h17\h18,启动zookeeper，再启动hadoop集群：start-all.sh，再启动mysql
 *    2\在h15上创建文件夹wordcount_checkpoint，用于docheckpoint
 *       在h5上mysql的dg数据库中创建表t_word
 *    3\启动eclipse的本程序，让他等待着
 *    4\在h15的dos窗口下输入单词,以空格分隔的单词(需要在h15上开启端口9999:#nc -lk 9999)
 *    5\查询h15上的mysql的dg数据库的t_word表是否有数据即可
 *
 * 注：建表语句
 *     mysql> show create table wordcount;  //查看表语句
CREATE TABLE   t_word (
id  int(11) NOT NULL AUTO_INCREMENT,
updated_time  timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTA

了解本专栏