- 博客(5)
- 收藏
- 关注
RSS订阅原创 redis资料
昨日回顾1. spark streaming转换算子transform --> 直接计算DStream中的RDDwindow --> 滑动窗口updateStateByKey --> 全局计算2. redis安装启动命令行操作：string、hash、list、set、zsetRedis一 快速入门1 介绍 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（string
2021-03-09 13:17:28
231
原创 kafka资料
Kafka一 消息队列/消息中间件（Message Queue）1 什么是消息中间件？为什么要用消息中间件？[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MLn9yx0A-1615266939058)(001.png)]2 消息队列2.1 Message网络中两台设备之间传递的数据都是消息。例如：文字、图片、声音、视频等等2.2 Queue一种特殊的线性表，特点是先进先出。入队、出队2.3 MQ（Message + Queue）保存消息的队列，消息的传
2021-03-09 13:16:17
238
原创 es资料
一 ElasticSearch（es）介绍以及安装1 全文检索elasticsearchsolrlucene2 es能做什么全文检索模糊查询数据分析3 全分布式安装es## 解压[root@chancechance software]# tar -zxvf elasticsearch-6.5.3.tar.gz -C /opt/apps/## 配置环境变量export ES_HOME=/opt/apps/elasticsearch-6.5.3export PATH=$P
2021-03-09 13:15:06
309
原创 flink资料
FLINK1 关于Flink介绍1.1 flink的模块分布Hadoop-MR（map\reduce）–>Tez(DAG,批式处理)–》Spark(DAG,批式，Spark Streaming：micro batch)–>FLINK(batch、streaming)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ibzLcIC1-1615266600693)(001.png)]1.2 flink的底层结构[外链图片转存失败,源站可能有防盗链机制,建议
2021-03-09 13:13:01
535
原创 sparksql资料
一 Spark Sql1 介绍1.1 简述 SparkSQL,顾名思义它是spark生态技术体系中的构建在spark core基础上的基于SQL的计算模块。spark sql的前身叫做shark,早期的sql解析、计算引擎完全来自于hive，但是shark执行速度比hive要高出几个量级。在15年中旬的时候关于shark的项目负责人直接结束了shark项目，开启了一个新的项目，这个项目就叫做spark sql。这个新的项目不再依赖于hive,spark sql逐渐形成了两个业务：spark sql和h
2021-02-25 15:37:34
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人