![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 95
spring_root
学海无涯
展开
-
java 8 stream流之大数据篇
如果你会任意一门语言的stream流,没道理不会大数据开发。俗话说男追女隔座山,女追男隔层纱。如果说零基础学大数据,感觉前面是一座山,那么只要你会java或者任意一门语言的stream流,那大数据就只隔了一层纱。本文以java stream流计算为例,讲解一些基础的spark操作。另一个流行的大数据框架flink同理。原创 2023-07-05 09:33:38 · 277 阅读 · 0 评论 -
通过 Docker 快速搭建各种测试环境(Mysql, Redis, ES, MongoDB)
今天给大家分享的主题是,如何通过 Docker 快速搭建各种测试环境,本文列举的,也是小哈在工作中经常用到的,包括 Mysql, Redis, Elasticsearch, MongoDB, 通过几行命令秒秒钟就能轻松搞定环境搭建问题,相信对小伙伴们也有所用处。友情提示:搭建之前,你需要先安装 Docker 哟,本文基于您已经安装好 Docker 的基础之上!废话少说,正文开始!目录 一、镜像加速 二、快速安装&搭建 Mysql 环境 三、快速安装&搭建原创 2020-07-27 15:33:29 · 341 阅读 · 0 评论 -
Kafka系列第三篇!10 分钟学会如何在 Spring Boot 程序中使用 Kafka 作为消息队列?
相关阅读: 入门篇!大白话带你认识 Kafka! 5分钟带你体验一把 Kafka Step1:创建项目直接通过Spring 官方提供的 Spring Initializr 创建或者直接使用 IDEA 创建皆可。Step2: 配置 Kafka通过 application.yml 配置文件配置 Kafka 基本信息server: port: 9...原创 2020-02-28 12:15:45 · 1125 阅读 · 0 评论 -
17 个方面,综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ
本文将从,Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异。一、资料文档Kafka:中。有kafka作者自己写的书,网上资料也有一些。rabbitmq:多。有一些不错的书,网上资料多。zeromq:少。没有专门写zeromq的书,网上的资料多是一些代码的实现和简单介绍。rocketmq:少。没有专门写rocketm...原创 2020-02-25 11:04:46 · 176 阅读 · 0 评论 -
面试题:如何理解 Linux 的零拷贝技术?
本文讲解 Linux 的零拷贝技术,云计算是一门很庞大的技术学科,融合了很多技术,Linux 算是比较基础的技术,所以,学好 Linux 对于云计算的学习会有比较大的帮助。本文借鉴并总结了几种比较常见的 Linux 下的零拷贝技术。为什么需要零拷贝传统的 Linux 系统的标准 I/O 接口(read、write)是基于数据拷贝的,也就是数据都是 copy_to_user 或者 copy_...原创 2020-02-25 10:28:21 · 120 阅读 · 0 评论 -
Netty、Kafka中的零拷贝技术到底有多牛?
我们也经常在 Java NIO,Netty,Kafka,RocketMQ 等框架中听到零拷贝,它经常作为其提升性能的一大亮点;下面从 I/O 的几个概念开始,进而再分析零拷贝。I/O 概念缓冲区缓冲区是所有 I/O 的基础,I/O 讲的无非就是把数据移进或移出缓冲区;进程执行 I/O 操作,就是向操作系统发出请求,让它要么把缓冲区的数据排干(写),要么填充缓冲区(读)...原创 2020-02-25 10:17:31 · 1007 阅读 · 0 评论 -
Elasticsearch 索引设计实战指南
题记随着 Elastic 的上市,ELK Stack 不仅在 BAT 的大公司得到长足的发展,而且在各个中小公司都得到非常广泛的应用,甚至连“婚庆网站”都开始使用 Elasticsearch 了。随之而来的是 Elasticsearch 相关部署、框架、性能优化的文章早已铺天盖地。初学者甚至会进入幻觉——“一键部署、导入数据、检索&聚合、动态扩展, So Easy,妈妈再也不用担心...转载 2020-02-25 10:09:17 · 637 阅读 · 1 评论 -
5分钟带你体验一把 Kafka
本文是 Kafka原创系列第二篇,相关阅读:入门篇!大白话带你认识 Kafka!前言毕竟是要搭建环境和简单实用,所以文中有大量的代码和配置文件。前置条件:你的电脑已经安装 Docker主要内容:使用 Docker 安装 使用命令行测试消息的生产和消费消息队列功能使用 zookeeper和kafka可视化管理工具 Java 程序中简单使用Kafka使用 Docker ...原创 2020-02-24 17:06:26 · 408 阅读 · 0 评论 -
入门篇!大白话带你认识 Kafka!
今天我们来聊聊 Kafka ,主要是带你重新认识一下 Kafka,聊一下 Kafka 中比较重要的概念和问题。在后面的文章中我会介绍:Kafka 的一些高级特性比如工作流程。 使用 Docker 安装 Kafka 并简单使用其发送和消费消息。 Spring Boot 程序如何使用 Kafka 作为消息队列。我们现在经常提到 Kafka 的时候就已经默认它是一个非常优秀的消息队列了,我们也...原创 2020-02-24 14:55:46 · 381 阅读 · 0 评论 -
彻底搞定 SpringBoot 整合 Kafka(spring-kafka深入探秘)
前言kafka是一个消息队列产品,基于Topic partitions的设计,能达到非常高的消息发送处理性能。Spring创建了一个项目Spring-kafka,封装了Apache 的Kafka-client,用于在Spring项目里快速集成kafka。除了简单的收发消息外,Spring-kafka还提供了很多高级功能,下面我们就来一一探秘这些用法。简单集成引入依赖&l...原创 2019-11-21 09:53:42 · 3061 阅读 · 0 评论 -
支撑直播百亿请求的 Redis 集群是如何工作的
一、背景随着直播元年开启,越来越多的直播产品如春笋般出现,在拉动营收的过程中,产品竭尽全力思考着各种活动来刺激用户的消费欲望,而这类活动的基础形式就是榜单,在2016年我们基于cmem及扫描流水表的方式来实现榜单排名,2017开始,我们对原有系统进行重构,使用redis作为我们的榜单基础存储,在重构的过程中接到调研redis分布式解决方案的任务之后,比对业内各种开源产品,最后定下Codi...原创 2019-11-16 10:30:18 · 290 阅读 · 0 评论 -
不知道这些知识点,面试的时候别说你懂 Kafka
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念,生产者往topic里写消息,消费者从读消息。为了做到水平扩展,一个topic实际是由多个partition组成的,遇到瓶颈时,可以通过增加partition的数量来进行横向扩...原创 2019-11-16 09:19:04 · 293 阅读 · 0 评论