自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 收藏
  • 关注

原创 Hive分区表和分桶表

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档Hive分区表和分桶表前言一、分区表Partition Informationcol_name data_type comment二、分桶表1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、分区表示例:pandas 是基于NumPy 的一

2021-01-12 17:30:17 186

原创 Hive语法之查询语句DQL

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档Hive语法之查询语句DQL前言一、基本查询1.1 全表和特定列查询1.2 列别名1.3 算术运算符1.4 常用函数1.5 limit和where语句1.6 比较运算符(Between/In/ Is Null)1.7 Like 和 和 RLike1.8 逻辑运算符(And/Or/Not )二、分组查询2.1 Group by 语句1.引入库2.读入数据总结前言本文主要讲述Hive语法中的查询语句参考网站https://cwiki.

2021-01-11 11:57:50 288 1

原创 Hive语法之DML数据操纵语言

Hive语法之DML数据操纵语言前言一、数据导入1.1 向表中装载数据1.2 通过查询语句向表中插入数据(Insert )1.3 查询语句中创建表并加载数据(As Select) )1.4 创建表时通过 Location 指定加载数据路径1.5 Import 数据到指定 Hive 表中二、数据导出2.1 Insert 导出2.2 Hadoop 命令导出到本地2.3 Hive Shell 命令导出2.4 Export 导出到 HDFS 上2.5 清除表中数据(Truncate )总结前言本文主要讲了H.

2021-01-04 17:49:18 156

原创 Hive语法之DDL数据定义

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档Hive语法之DDL数据定义前言一、Hive数据库操作1.1 创建数据库1.2 查询数据库1.3 修改数据库1.4 删除数据库二、Hive表操作2.1 创建表2.2 管理表2.3 内部表和外部表的相互转换2.4 修改表总结前言本文介绍了Hive中DDL数据定义语言的使用。提示:以下是本篇文章正文内容,下面案例可供参考一、Hive数据库操作1.1 创建数据库CREATE DATABASE [IF NOT EXISTS] dat

2021-01-04 17:17:17 121

原创 Hive数据类型

Hive数据类型前言一、基本数据类型二、集合数据类型三.类型转化总结前言本文主要讲解Hive数据类型及其使用一、基本数据类型可以看到在常用的数据类型中,除了long类型在Hive中的类型为BIGINT,其他的的数据类型表达和Java的数据类型表达基本相同。对于 Hive 的 String 类型相当于数据库的 varchar 类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储 2GB 的字符数。二、集合数据类型Hive 有三种复杂数据类型 ARRAY、

2021-01-04 10:55:08 276

原创 Hive入门教程

文章目录前言一、Hive的基本概念1.1 什么是Hive?1.2 Hive优缺点1.3 Hive架构1.4 Hive与传统数据库比较二、Hive 安装与使用2.1 安装部署2.2 启动并使用Hive2.3 Hive元数据配置到MySQL2.4 使用元数据服务的方式访问 Hive2.5 使用 JDBC 问 方式访问 Hive2.6 Hive 常用交互 命令2.7 Hive 其他命令操作2.8 Hive 常见属性配置总结前言本文介绍的是Hadoop下的数据仓库工Hive的入门与使用一、Hive的基本概

2020-12-30 17:37:36 524 6

原创 在springboot中使用Kafka

在springboot中使用Kafka文章目录在springboot中使用Kafka前言一、Kafka是什么?二、使用步骤1.引入依赖2.编写配置文件2.生产者代码3.消费者代码4.测试总结前言随着大数据的发展,Kafka变得愈发重要,本文主要介绍Kafka在Springboot中的使用一、Kafka是什么?Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这

2020-12-30 15:00:29 2777

原创 Kafka文件存储机制和分区策略以及数据可靠性保证

Kafka存储机制和分区策略以及数据可靠性保证1、存储机制1.1 Kafka工作流程Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端,且每条数据都有自己的offset。消费者组中的每个消费者,.

2020-12-21 14:34:04 494

原创 Kafka在消费者反序列化时出现问题

Kafka在消费者反序列化时出现问题问题描述今天在启动Kafka时,出现了一些问题。Kafka启动后,卡在了某一消费点,报Missing exception handling for deserialization of key values,提示缺少对键值反序列的异常处理,并且系统一直重复反序列化该调记录,一直失败,陷入死循环。上网查询解决办法发现这种现象是当生产者序列化程序和消费者反序列化程序不兼容时产生的一种毒丸场景。在以下场景可能会发生毒丸现象: 生产者更改了键或值序列化器,并

2020-12-17 09:39:39 3917

原创 Kakfa入门与使用

Kakfa入门与使用1、Kafka介绍1.1 Kafka的概念Kafka是一个分布式流处理平台具有以下三个特性: 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录,并且有较好的容错性。 可以在流式记录产生时就进行处理。 1.2 Kafka的应用场景 构造实时流数据管道,它可以在系统或应用之间可靠地获取数据。 (相当于message queue) 构建实时流式应用程序,对这些流数据进行转换或者影响。 (就是

2020-12-08 10:40:45 279

原创 系统架构设计师考试心得与经验

本人有幸以48,50,47的低分通过了2019年系统架构设计师的考试。简单分享一下自己的复习与考试的过程。

2019-12-19 10:15:45 2602 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除