![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 62
Show_Action
这个作者很懒,什么都没留下…
展开
-
scala中常用工具类整理
/* * Copyright (c) 2018. Atguigu Inc. All Rights Reserved. */package commons.utilsimport java.text.SimpleDateFormatimport java.util.{Calendar, Date}import net.sf.json.JSONObjectimport org.joda.time.DateTimeimport org.joda.time.format.DateTimeFo.原创 2020-06-20 13:20:09 · 620 阅读 · 0 评论 -
HBASE知识回顾
HBase 概念NameSpace : 可以把NameSpace理解为RDBMS的“数据库”Table:表名必须是能用文件路径里的合法名字(Hbase表映射为HDFS上文件)Row : 在表里面,每一行代表一个数据对象,每一行都是以一个行键来进行唯一标识的,行键没有特定的数据类型,以二进制字节来存储Column :Hbase的列由Column family 和Column qualifier 组成,由冒号(:)进行间隔,比如family :qualifierRowKey : 可以唯一标识一行记录.原创 2020-06-19 10:43:21 · 292 阅读 · 0 评论 -
Kafka知识回顾
为什么要使用Kafka?1.解耦合2.削峰kafka基本架构与message结构kafka由producer,broker,consumer组成message由key和value组成如果key不为空会根据hashcode值,分配到不同的分区里面如果key == null,则从sendPartitionPerTopicCache(sendPartitionPerTopicCache的类型是HashMap.empty[String, Int])中获取分区ID,如果找到了.原创 2020-06-19 09:51:09 · 177 阅读 · 0 评论