- 博客(53)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅
Storm综合案例二Storm集群向Kafka集群读取数据并写入MySQL远程模式
介绍
今天接上文，来实现一个Storm数据流处理综合案例的第二部分，Storm集群向Kafka集群源源不断读取数据，通过MyBatis写入到MySQL数据库，并部署为远程模式
准备工作
参考上文准备工作
代码编写
思路：Storm集群从Kafkatopic主题获取数据，解析后写入MySQL，注意我们使用MyBatis工具与数据库交互
项目结构
部署MySQL
我们在服务器上部署一台MySQL数据库
具体参考这篇文章
数据库表结构如下：
WordCountDao
该类会获取SqlSessionConfig配置类的SqlSessionFactory和WordCountMapper的接口方法，生成具体与数据库交互的Session
WordCountMapper.xml
该文件为MyBatis编写与数据库交互的具体SQL代码的地方
具体实现了全量查询和批量更新或插入的接口功能
2023-03-12
Storm综合案例一Storm集群向Kafka集群写入数据远程模式
介绍
今天来实现一个Storm数据流处理综合案例的第一部分，Storm集群向Kafka集群源源不断写入数据，并部署为远程模式
准备工作
搭建三台Kafka集群服务器
参考文档：Linux部署Kafka集群
搭建三台Storm集群服务器
参考文档：Linux部署Storm集群
启动Kafka集群
启动Zookeeper
Zookeeper启动需要一定时间，建议等一分钟再操作其他命令
cd /usr/local/kafka/zookeeper
./bin/zkServer.sh start
2023-03-12
Maven项目整合Kafka
使用Maven整合Kafka
包括生产者，消费者
Kafka各种配置
//1.设置参数
Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
"81.68.232.188:9092,81.68.232.188:9093,81.68.232.188:9094");
//把发送的key从字符串序列化为字节数组
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
StringSerializer.class.getName());
//把发送消息value从字符串序列化为字节数组
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
StringSerializ
2023-03-12
StormStorm集成Kafka 写数据到Kafka
Storm集成Kafka
一、整合说明
二、写入数据到Kafka
三、从Kafka中读取数据
整合说明
Storm 官方对 Kafka 的整合分为两个版本，官方说明文档分别如下：
Storm Kafka Integration : 主要是针对 0.8.x 版本的 Kafka 提供整合支持；
Storm Kafka Integration (0.10.x+) : 包含 Kafka 新版本的 consumer API，主要对 Kafka 0.10.x + 提供整合支持。
这里我服务端安装的 Kafka 版本为 2.2.0(Released Mar 22, 2019) ，按照官方 0.10.x+ 的整合文档进行整合，不适用于 0.8.x 版本的 Kafka。
2023-03-12
StormStorm集成Kafka 从Kafka中读取数据
Storm集成Kafka
一、整合说明
二、写入数据到Kafka
三、从Kafka中读取数据
从Kafka中读取数据
Storm从Kafka集群读取数据处理
2023-03-12
基于Storm本地集群搭建实时统计CallLog实现可运行
基于Storm实时统计CallLog实现【可运行】
使用Maven创建项目，引入Storm依赖，编写Storm组件，调试运行
本地集群搭建
2023-02-25
SpringCloudAlibaba七Canal广告微服务
# 背景
电商首页的内容也是需要做高并发的处理，Canal就可以很好的解决这个问题，下面我们实现Canal广告微服务，并进行高并发的测试
2022-10-23
SpringCloudAlibaba五整合Sentinel
背景
Sentinel作为SpringCloudAlibaba服务监控的重要组件，在微服务开发中经常使用到，下面我们就来了解一下如何在SpringBoot中整合Sentinel以及Sentinel的基础用法
2022-10-21
SpringCloudAlibaba四Nacos Config 多环境切换与公共配置
# 背景前面我们整合了Nacos Config，并验证了动态配置刷新的效果了，现在我们来进一步学习一下Nacos Config的多环境配置和通用环境配置相关的内容## 环境Windows10JDK1.8IDEA2021Maven2.6## 下载安装Nacos
2022-10-21
SpringCloudAlibaba二整合Nacos
# 背景下面来看看，分布式服务怎么整合Nacos## 下载安装Nacos## 创建父模块
IDEA中新建一个Maven项目，起好名字，选好项目存放路径，作为父模块
2022-10-19
SpringCloudAlibaba一入门案例
订单流程说明：用户下单后，需要减库存和更新购物车，所以会需要用户，商品，库存，购物车服务## 环境> Windows10 > JDK1.8 > Maven3.6.0 > IDEA2021.2 > SpringBoot2.7.4
2022-10-19
毕业设计 图书管理系统 源码+数据库SQL脚本
# 图书管理系统
## 环境
开发环境：jdk1.8
开发工具：Idea 2020
后端技术：springboot,mybatis
前端技术：thymeleaf,semanticui,html，js,ajax
数据库：mysql
工具：md5,junit
主要功能：登录注册，权限，图书管理，人员管理，搜索，书籍详情，借阅归还，个人信息
文章地址
https://blog.csdn.net/weixin_41405524/article/details/113949123?spm=1001.2014.3001.5501
2022-07-08
毕业设计 高校排课系统 源码+数据库SQL脚本
需求分析
一般情况下，需求分析在整个软件开发过程中占的比例大约在70%左右，而代码编写则只占了30%左右，由此可见在开发项目之前，需求分析是十分重要且复杂的工作。对于高校排课系统，我们主要是要理清系统实体间的关系，排课业务的需求等。
1 排课需求分析
1.1 排课流程
对于普通高校的排序业务流程大致如下：
1.学期前安排并确定各个专业和班级
2.管理员为每个班级根据学校资源进行排课
3.排课结果公示
4.学期按照课表进行授课
系统设计的关键在于如何分配教学资源，做到合理科学。特别是多条件下课表的安排以及学生，教室，教师等资源的调度是本系统设计的重点。
文章地址
https://blog.csdn.net/weixin_41405524/article/details/124810080
代码附带SQL文件
2022-07-08
Organic水果蔬菜商城
准备资料：
前端静态页面图片等
1.根据前端页面进行数据库分析设计
1.1设计实体类及其属性
1.2设计实体类间关系
2.搭建SSM开发环境
2.1导包
（包括springIOC，springAOP，springMVC，Mybatis，Junit等）
2.2spring配置文件
（包括Mybatis数据库配置，连接池技术，springMVC，springIOC等）
2.3项目包结构设计
3.项目具体业务代码设计
3.1Controller层（利用springMVC技术进行参数传递和任务处理转发）
3.2Service层（对于增删改进行事务处理）
3.3Dao层（包括MyBatis映射文件）
2020-10-26
jquery中thmeleaf模板很多标签使用不了的问题
2020-03-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人