BigData
大数据学习
CoreDao
软件工程学习者 | 学习无止境,路上且行且珍惜
展开
-
kafka的ack确认机制
ack(acknowledgemen 确认收到)A1 目的为了保证producer发送的数据能可靠的发送到指定的topic。A2 过程topic的每个partition收到producer发送的数据后,都需向producer发送ack,如果producer收到ack,就会进行下一轮的发送,否则重新发送。A3 穿插ISR机制:Leader维护了一个动态的in-sync replica set (ISR),意为和leader保持同步的follower集合。follower长时间不同步,被踢出I原创 2021-03-30 21:56:26 · 5635 阅读 · 0 评论 -
kylin数据模型:星型模型vs雪花模型
A1 数据模型1.1 星型模型star schema定义:星型模型就是一张事实表,以及零个或多个维度表;事实表与维度表通过主键外键相关联,维度表之间没有关联,就像很多星星围绕在一个恒星周围,故取名为星形模型。优点大数据用的多,查询快效率高1.2 雪花模型snowFlake schema定义:将星形模型中的某些维表抽取成更细粒度的维表,然后让维表之间也进行关联,这种形状酷似雪花的的模型称为雪花模型。优点减少冗余1.3 对比星型模型雪花模型数原创 2021-03-29 22:31:31 · 512 阅读 · 0 评论 -
数仓分层
A1 作用:复杂问题简单化隔离原始数据(后期统计和真实数据解耦)数据复用性提高数据结构更清晰统一数据口径A2 优缺点优点效率高缺点预计算占空间A3 图解A4 实现A5 相关数仓项目...原创 2021-03-29 16:13:30 · 199 阅读 · 0 评论 -
lambda架构+kappa架构+IOTA架构
简略理解:原创 2021-03-25 19:26:44 · 500 阅读 · 0 评论 -
解决mysql中文乱码+database Tool中连接mysql中文乱码
A1 数据库查看自己的数据库是否设置为Utf-8A2 进入mysql查看命令:mysql -u root -p输入MySQL密码进入输入:show variables like 'char%';查看mysql的各项编码格式修改不为utf8的参数,有两种A3 第一种命令不一定有效,我用的时候没起作用,不想尝试直接上第二种。mysql中输入命令set character_set_database=utf8;set character_set_server=utf8;这么改后不一原创 2021-03-24 19:44:09 · 259 阅读 · 2 评论 -
isInstanceOf & asInstanceOf
如果实例化了子类的对象,但是将其赋予了父类类型的变量,在后续的过程中,又需要将父类类型的变量转换为子类类型的变量,应该如何做?Ø 首先,需要使用isInstanceOf 判断对象是否为指定类的对象,如果是的话,则可以使用 asInstanceOf 将对象转换为指定类型;Ø 注意:p.isInstanceOf[XX] 判断 p 是否为 XX 对象的实例;p.asInstanceOf[XX] 把 p 转换成 XX 对象的实例Ø 注意:如果没有用isInstanceOf 先判断对象是否为指定类的实例,就直转载 2021-03-06 11:45:16 · 760 阅读 · 0 评论 -
闭包概念
一句话解释就是:存在自由变量的函数就是闭包。一个持有外部环境变量的函数就是闭包。在这个例子里函数b因为捕获了外部作用域(环境)中的变量a,因此形成了闭包。 而由于变量a并不属于函数b,所以在概念里被称之为「自由变量」。关键点:函数自由变量环境例子:let a = 1 let b = function(){ console.log(a) } 在这个例子里函数b因为捕获了外部作用域(环境)中的变量a,因此形成了闭包。 而由于变量a并不属于函数b,所以在概念里被原创 2021-03-06 11:42:09 · 202 阅读 · 0 评论 -
option相关
javaoptional是Java 8 引入的特性。解决:空指针异常(NullPointerException)本质:这是一个包含有可选值的包装类,这意味着 Optional 类既可以含有对象也可以为空。https://www.oschina.net/translate/understanding-accepting-and-leveraging-optional-in?lang=chs&page=2#Scala比较特殊的None,是Option的两个子类之一,另一个是Some,用于安全原创 2021-03-06 11:40:19 · 160 阅读 · 0 评论