大数据
文章平均质量分 62
Show_Action
这个作者很懒,什么都没留下…
展开
-
scala中常用工具类整理
/* * Copyright (c) 2018. Atguigu Inc. All Rights Reserved. */ package commons.utils import java.text.SimpleDateFormat import java.util.{Calendar, Date} import net.sf.json.JSONObject import org.joda.time.DateTime import org.joda.time.format.DateTimeFo.原创 2020-06-20 13:20:09 · 602 阅读 · 0 评论 -
HBASE知识回顾
HBase 概念 NameSpace : 可以把NameSpace理解为RDBMS的“数据库” Table:表名必须是能用文件路径里的合法名字(Hbase表映射为HDFS上文件) Row : 在表里面,每一行代表一个数据对象,每一行都是以一个行键来进行唯一标识的,行键没有特定的数据类型,以二进制字节来存储 Column :Hbase的列由Column family 和Column qualifier 组成,由冒号(:)进行间隔,比如family :qualifier RowKey : 可以唯一标识一行记录.原创 2020-06-19 10:43:21 · 271 阅读 · 0 评论 -
Kafka知识回顾
为什么要使用Kafka? 1.解耦合 2.削峰 kafka基本架构与message结构 kafka由producer,broker,consumer组成 message由key和value组成 如果key不为空会根据hashcode值,分配到不同的分区里面 如果key == null,则从sendPartitionPerTopicCache(sendPartitionPerTopicCache的类型是HashMap.empty[String, Int])中获取分区ID,如果找到了.原创 2020-06-19 09:51:09 · 164 阅读 · 0 评论