大数据系统
qq_38980688
这个作者很懒,什么都没留下…
展开
-
hadoop3.1.1 优化之slowstart(源码分析)
本文探讨的参数是:mapreduce.job.reduce.slowstart.completedmaps关于此参数的介绍hadoop 3.1.1中mapred-default.xml中关于此参数的介绍如下:mapreduce.job.reduce.slowstart.completedmaps 0.05 (默认值) Fraction of the number of maps in the job which should be complete befor原创 2020-05-22 00:22:23 · 565 阅读 · 0 评论 -
kafka作为flink输入源及输出源
flink的代码如下:(主要是接收kafka来的数据,然后做一些转换后,输出到kafka)import java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.functions.source....原创 2020-04-06 22:57:52 · 1034 阅读 · 0 评论 -
Kafka单机版环境搭建及使用教程
官网下载kafka 其中2.11代表的是scala的版本信息 单机版环境搭建 kafka里自带了一个zookeeper,可以不需要再去下载zookeeper。在启动kafka前,需要先启动zookeeper。(1)首先去修改config目录下的zookeeper.properties其中dataDir是快照存放地址,clientPort是客户端连接zookeep...原创 2020-03-29 18:36:14 · 2043 阅读 · 2 评论 -
【Memcached】初理解
Memcached最初是为LiveJournal服务的,是为了缓解数据库压力而构建的一个分布式内存缓存系统。在日常生活中,我们访问的网站的所有数据基本上都是保存在数据库中的,频繁的获取数据库的数据会让数据库的性能降低,无法同时服务更多的用户。大家都知道,当有一个request过来后,web服务器并从db中存取相关数据,但db存取的花费是相当高昂的。特别是每次都取相同的数据,等于是让数...原创 2020-03-12 21:07:05 · 276 阅读 · 0 评论