- 博客(8)
- 收藏
- 关注
RSS订阅原创 spark streaming 窗口 教程
1、窗口介绍SparkStreaming是基于spark core 的实时架构，虽然SparkStreaming可以进行实时计算，但它并不是一个纯实时计算框架。StreamingContext的批次间隔决定了每隔多久计算一次。SparkStreaming提供了窗口的计算 ，窗口计算可以整合多个批次的计算结果。在spark streaming 中 ，一共有两种窗口：滑动窗口和滚动窗口。2、滑动窗口滑动窗口：需要设置窗口大小和滑动间隔，窗口大小和滑动间隔都是StreamingContext的间隔时间的
2021-12-03 17:21:04
2075
1
原创 spark streaming 整合kafka 报错 KafkaConsumer is not safe for multi-threaded access
问题描述spark streaming 使用 直连方式 读取kafka 数据，使用窗口时出现java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access报错信息如图：代码object testScala { def main(args: Array[String]): Unit = { val conf = new SparkConf() .se
2021-11-30 17:17:42
2107
原创 ES 总结（一）
ES(一)ES简介Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎。Elastcisearch 是分布式的 文档 存储。它能存储和检索复杂的数据结构—序列化成为JSON文档—以 实时 的方式。 换句话说，一旦一个文档被存储在 Elasticsearch 中，它就是可以被集群中的任意节点检索到。核心概念1、_index一个 索引 应该是因共同的特性被分组到一起的文档集合。2、_typeElasticsearch 公开了一个称为 types （类型）的特性，它允许您在
2021-11-25 15:43:42
159
原创 MongoDB
MongoDBMongoDB简介1、MongoDB 是一种强大、灵活、可扩展的开源数据库。由 C++ 语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。2、是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它扩展了关系型数据库的众多功能，如辅助索引、范围查询和排序。3、面向文档存储，易于存储对象类型的数据，是开源软件、无表结构，也就是说MongoDB免费软件、没有固定的表结构，模式自由。文档数据模型1、特点（1）文档存储没有强制的架构，无
2021-11-25 15:39:36
177
原创 scala方法函数总结
函数和方法的区别1.函数的定义和方法的定义var func =(x:Int,y:Int)=>{ x+y }提示：上图为函数的使用，函数可以赋给变量。def method1(x:Int,y:Int): Int ={ x+y }提示：上图为方法的使用，方法由def关键字定义。2.函数参数为空和方法参数为空var func = () => 100提示：上图为函数的参数列表为空。 def method1 = 100提示：上图为方法的参数
2021-11-25 15:34:40
294
原创 ES在EC2上安装教程
1、下载安装包这里是es7.6版本解压文件[root@ip ec2-user] tar -zxvf elasticsearch-7.6.2-linux-x86_64.tar.gz -C /opt/es2、新建用户，修改权限es不能用root用户进行登录，新建es用户[root@ip ec2-user]adduser es[root@ip ec2-user]password es修改目录的权限[root@ip es]chown -R es:es /opt/es/elasticsearc
2020-11-03 13:07:59
243
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人