大数据技术
文章平均质量分 93
小夏陌
临渊羡鱼,不如退而结网;扬汤止沸,不如釜底抽薪。
展开
-
Kafka学习笔记
简介 消息队列在平时开发时,只要涉及到高并发,解耦,异步处理等,最好的方式就是引入消息队列,Kafka 是一个分布式的基于发布/订阅模式的消息队列,其具有高吞吐,可恢复性等特点,很值得学习,以下是尚硅谷的Kafka的学习笔记。 原视频地址为:https://www.bilibili.com/video/BV1a4411B7V9?from=search&seid=17590871349137942281消息队列传统消息队列的应用场景使用消息队列的好处1)解耦 传统的直接调用接口,原创 2021-01-08 18:08:29 · 19221 阅读 · 2 评论 -
SpringBoot整合Hbase
当单表数据量过大的时候,关系性数据库会出现性能瓶颈,这时候我们就可以用NoSql,比如Hbase就是一个不错的解决方案。。。原创 2020-05-14 17:39:30 · 82133 阅读 · 15 评论 -
HBase 常用命令
简介HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目,是横向扩展的,它的Hadoop的生态系统,提供对数据的随机实时读/写访问,是Hadoop文件系统的一部分。HBase是一个面向列的数据库,在表中它由行排序。表模式定义只能列族,也就是键值对。一个表有多个列族以及每一个列族可以有任意数量的列。后续列的值连续地存储在磁盘上。表中的每个单元格值都具有时间戳。HBas...原创 2018-10-25 11:06:13 · 3520 阅读 · 0 评论 -
Hive Hsql 常用命令
简介Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计。以下介绍常用的Hive的类SQL语句。创建表:hive>create table tablename(id int,name stri...原创 2018-10-09 17:48:36 · 4783 阅读 · 0 评论 -
Hadoop hdfs 常用命令
概述前言调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。但也可以用hadoop dfs ,两者效果一样。(hadoop dfs命令已不再建议使用)常用命令-help功能:输出这个命令参数手册-ls功能:显示目录信息示例: hadoop fs -ls hdfs://server:9000/备注:这些参数中,所有的hdfs路径都可以简写----->...原创 2018-10-08 18:48:10 · 4146 阅读 · 0 评论 -
Hive 数据类型
简介以下介绍Hive的数据类型,Hive的数据类型分为四种类型,分别是:列类型文字Null值复杂类型列类型整型可以指定使用整型数据类型,下表描述了各种INT数据类型。(TINYINT<SMALLINT<INT< BIGINT)类型 (后缀)示例TINYINT (Y)10YSMALLINT (S)1原创 2018-10-09 18:30:37 · 4029 阅读 · 0 评论 -
Hive 内置函数
简介以下介绍Hive中可用的内置函数。内置函数 返回类型 函数名 描述 BIGINT round(double a) 返回double最近的BIGINT值。 ...原创 2018-10-10 18:29:27 · 3964 阅读 · 0 评论