大数据
文章平均质量分 63
IT二叔
一个没有感情的IT二叔
展开
-
消息队列_kafka简介
kafka是一种消息队列,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理,既然是消息队列,那么kafka必然有消息队列通用的特性。原创 2022-09-09 15:50:22 · 1054 阅读 · 0 评论 -
大数据-2022
2022,大数据原创 2022-01-24 09:53:53 · 1448 阅读 · 0 评论 -
大数据中间件之Kafka04(kafka的下载与安装)
Kafka单机版搭建官网下载安装包进行解压即可1.首先去修改config目录下的zookeeper.properties其中dataDir是快照存放地址,clientPort是客户端连接zookeeper服务的端口。2.修改config目录下的server.properties,修改log.dirs和zookeeper.connect。log.dirs是日志存放文件夹,zookeeper.connect是zookeeper连接地址(端口和clientPort保持一致)。3.启动kafka自带的zo原创 2021-10-15 10:24:03 · 140 阅读 · 0 评论 -
大数据消息中间件之Kafka03(Springboot操作Kafka)
文章目录Java操作Kafka导入依赖配置文件application.yml生产者producer代码Kafka消费者代码Java操作Kafka我们使用的是springboot导入依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId></dependency>配原创 2021-10-14 09:47:13 · 183 阅读 · 2 评论 -
大数据消息中间件之Kafka02
文章目录一.Kafka生产者1.1什么是生产者1.2Kafka分区策略分区原因分区原则如何保证数据传输的可靠性二.消费者消费方式Kafka高效读取数据下一篇讲述Java操作Kafka一.Kafka生产者1.1什么是生产者生产者就是producer,负责生产消息,并把消息放入到队列中1.2Kafka分区策略分区原因方便在集群中扩展,因为每个topic中有多个partition,partition可以适应相对应的机器,从而适应任意大小的数据提高并发度,可以以partition为单位进行读写分原创 2021-10-13 17:27:54 · 571 阅读 · 2 评论 -
大数据消息中间件之Kafka-01
大数据消息中间件之Kafka此篇文章讲述大数据消息中间件Kafka入门及使用文章目录大数据消息中间件之Kafka前言一、Kafka是什么?二、消息队列2.1消息队列的应用场景2.2那么我们为什么使用消息队列呢?三、Kafka3.1Kafka的两种模式3.2 Kafka架构实现名词解释总结前言市面上的消息中间件有很多,人尽皆知的有RabbitMQ,RocketMQ,Kafka等等提示:以下是本篇文章正文内容,下面案例可供参考一、Kafka是什么?1.1 Kafka 是一个分布式的基于发布原创 2021-10-11 15:51:13 · 978 阅读 · 2 评论 -
分布式对象存储oss-minio
minio简介MinIO 是在 Apache License v2.0 下发布的对象存储服务器。 它与 Amazon S3 云存储服务兼容。 它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/ VM 映像。 对象的大小可以从几 KB 到最大 5TB。MinIO 服务器足够轻,可以与应用程序堆栈捆绑在一起,类似于 NodeJS,Redis 和 MySQL。一种高性能的分布式对象存储服务器,用于大型数据基础设施。它是机器学习和其他大数据工作负载下 Hadoop HDFS 的理想 s3 兼容原创 2021-09-01 17:54:55 · 2437 阅读 · 0 评论 -
HDFS与HBase优化策略
Hdfs优化策略Hdfs本身的优化文件块block的大小设置:(1). 数据块的备份数(复制因子,默认3)(2). HDFS数据块的大小,默认值是128M(hdfs的大小应当根据两个因素来确定,一个是系统中常见文件的大小,一个是系统硬盘的速度,最优值应当接近硬盘速度)hdfs小文件归档,hdfs中可能存储了大量的小文件,及其影响性能,我们可以对其进行归档,生成har文件,将小文件合并为一个块大小的har文件(执行:Hadoop archive–archiveName myhar.har –p原创 2021-09-17 14:53:54 · 415 阅读 · 0 评论