- 博客(5)
- 收藏
- 关注
RSS订阅原创 redis资料
昨日回顾 1. spark streaming 转换算子 transform --> 直接计算DStream中的RDD window --> 滑动窗口 updateStateByKey --> 全局计算 2. redis 安装 启动 命令行操作：string、hash、list、set、zset Redis 一 快速入门 1 介绍 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（string
2021-03-09 13:17:28
232
原创 kafka资料
Kafka 一 消息队列/消息中间件（Message Queue） 1 什么是消息中间件？为什么要用消息中间件？ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MLn9yx0A-1615266939058)(001.png)] 2 消息队列 2.1 Message 网络中两台设备之间传递的数据都是消息。例如：文字、图片、声音、视频等等 2.2 Queue 一种特殊的线性表，特点是先进先出。入队、出队 2.3 MQ（Message + Queue） 保存消息的队列，消息的传
2021-03-09 13:16:17
242
原创 es资料
一 ElasticSearch（es）介绍以及安装 1 全文检索 elasticsearch solr lucene 2 es能做什么 全文检索 模糊查询 数据分析 3 全分布式安装es ## 解压 [root@chancechance software]# tar -zxvf elasticsearch-6.5.3.tar.gz -C /opt/apps/ ## 配置环境变量 export ES_HOME=/opt/apps/elasticsearch-6.5.3 export PATH=$P
2021-03-09 13:15:06
311
原创 flink资料
FLINK 1 关于Flink介绍 1.1 flink的模块分布 Hadoop-MR（map\reduce）–>Tez(DAG,批式处理)–》Spark(DAG,批式，Spark Streaming：micro batch)–>FLINK(batch、streaming) [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ibzLcIC1-1615266600693)(001.png)] 1.2 flink的底层结构 [外链图片转存失败,源站可能有防盗链机制,建议
2021-03-09 13:13:01
548
原创 sparksql资料
一 Spark Sql 1 介绍 1.1 简述 SparkSQL,顾名思义它是spark生态技术体系中的构建在spark core基础上的基于SQL的计算模块。spark sql的前身叫做shark,早期的sql解析、计算引擎完全来自于hive，但是shark执行速度比hive要高出几个量级。在15年中旬的时候关于shark的项目负责人直接结束了shark项目，开启了一个新的项目，这个项目就叫做spark sql。这个新的项目不再依赖于hive,spark sql逐渐形成了两个业务：spark sql和h
2021-02-25 15:37:34
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人