![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 65
打死也要摸摸鱼
这个作者很懒,什么都没留下…
展开
-
详谈kafka的主题、分区和副本机制
kafka中有三个特别重要的概念:主题(topic)、分区(partition)和副本(replication)。我们先来看kafka在创建时候的命令bin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 3 --replication-factor 3从中可以看出创建需要指定四个参数:–zookeeper、 --topic、–partitions、–replication-factor。第一个为k原创 2021-02-25 20:05:20 · 1119 阅读 · 0 评论 -
为什么kafka的速度那么快?
我们都知道,kafka是依赖于文件系统来保存和缓冲消息的。在其他消息队列RabbitMQ中,使用的是内存作为默认的存储介质,而磁盘作为备选介质,以此来实现高吞吐和低延迟的效果;redis则是完全依赖于内存实现的。那为什么kafka采用这种持久化的形式还能提供如此有竞争力的性能呢?一、kafka对写操作的优化首先kafka在同一个topic partition中的数据是有序的 ,kafka设计的时候,就只支持在文件末尾进行追加,而不支持修改操作,属于典型的顺序写入操作,操作系统对顺序读写坐了深层次的优化-原创 2021-02-25 19:32:45 · 2874 阅读 · 0 评论 -
ScalikeJDBC的基本使用
ScalikeJdbc的增删改查操作运用该技术,在scala小项目里面可以很简单的往mysql内插入数据。1、导入依赖<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version></dependency><dependency>原创 2021-01-03 14:29:51 · 426 阅读 · 0 评论 -
开源项目_springboot的答题系统+spark大数据实时分析
一、项目展示在这里,主要展示大数据图表分析的几个页面。更多精彩由您自己发掘! 图1 饼状图 图2 堆叠图 图3 柱状图 二、项目介绍本项目分为两个模块,第一个为基于springboot实现的答题模块,另一个为基于scala语言开发的日志分析模块。1、答题模块基于SSM框架实现,具体使用的技术有:spring,springMVC,mybatis,redis等,使用的数据库为:mysql数据库。用户输入学号、姓名等相关信息即可原创 2020-12-14 16:18:56 · 4098 阅读 · 11 评论 -
hadoop运行jar包出现错误代码为127的解决方案_Exit code: 127
今天在运行程序的时候新发现的一个错误(Exit code: 127),下面提供解决方案,希望能帮助大家。下面是错误的信息:Job job_1601252515583_0001 failed with state FAILED due to: Application application_1601252515583_0001 failed 2 times due to AM Container for appattempt_1601252515583_0001_000002 exited with ex原创 2020-09-28 08:48:21 · 5974 阅读 · 2 评论