自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 收藏
  • 关注

原创 Flink整合Kafka需要引入的依赖

【代码】Flink整合Kafka需要引入的依赖。

2022-09-25 09:24:29 676 1

原创 HDFS服役和退役数据节点

服役退役数据节点

2022-09-08 09:04:40 288

原创 Hive数据类型

Hive 的原子数据类型是可以进行隐式转换的

2022-09-02 08:11:01 186

原创 Spark SQL中的Dataset

Dataset是一个分布式的数据集。

2022-09-01 08:12:40 1045

原创 Hive中的基本概念

Hive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。

2022-08-31 08:22:10 159

原创 使用Spark SQL需要引入的依赖

使用SparkSQL需要引入的依赖

2022-08-30 09:13:49 1474

原创 Spark SQL中的DataFrame

Dataframe,分布式的大表,一个分布式数据容器;包含列的schema(名称,属性)

2022-08-29 09:32:42 1712

原创 Spark SQL概述

Spark SQL是Spark用来处理结构化数据的一个模块

2022-08-28 12:01:04 1540 1

原创 Spark键值对中常用的行动算子

键值对中的行动算子

2022-08-26 17:41:35 69

原创 Spark中非键值对中常用的行动算子

非键值对的行动算子

2022-08-26 17:32:45 115

原创 Spark中键值对常用的转换算子

键值对中的转换算子

2022-08-26 17:12:20 301

原创 Spark中常用转换算子(非键值对)示例

转换算子(非键值对)

2022-08-26 08:52:46 191

原创 大数据常用端口号及配置文件

常用端口及配置文件

2022-08-23 09:53:50 1365

原创 http各个状态码的含义:

http

2022-08-21 09:44:11 792

原创 Hadoop

Hadoop

2022-08-20 20:13:22 344

原创 Linux中软件安装

Linux中安装软件以及配置环境变量

2022-08-20 20:10:34 632

原创 自建Linux操作系统

自建服务器

2022-08-20 19:37:48 338

原创 mysql——主从复制

一、概述主从复制是指将主数据库的DDL和DML操作通过二进制日志传到从库服务器中,然后在从库上对这些日志重新执行(也叫重做),从而使得从库和主库的数据保持同步。MySQL支持一台主库同时向多台从库进行复制,从库同时也可以作为其他从服务器的主库,实现链状复制。MySQL复制的优点主要包含以下三个方面:1.主库出现问题,可以快速切换到从库提供服务;2.实现读写分离,降低主库的访问压力;3.可以在从库中执行备份,以避免备份期间影响主库服务。二、原理MySQL的主从复制原理如下:主...

2022-05-01 22:58:01 186

原创 mysql——日志

一、错误日志错误日志是MySQL中最重要的日志之一,它记录了当mysqld启动和停止时,以及服务器在运行过程中发生任何严重错误时的相关信息。当数据库出现任何故障导致无法正常使用时,建议首先查看此日志。该日志是默认开启的,默认存放目录/var/log/,默认的日志文件名为mysqld.log。查看日志位置:show variables like '%log_error%'二、二进制日志●介绍二进制日志(BINLOG) 记录了所有的DDL (数据定义语言)语句和DML ( 数据操纵语言)

2022-04-29 10:34:55 1090

原创 mysql——MySQL管理

一、系统数据库Mysql数据库安装完成后,自带了四个数据库,具体作用如下:数据库 含义 mysql 存储MySQL服务器正常运行所需要的各种信息(时区、主从、用户、权限等) information_schema 提供了访问数据库元数据的各种表和视图,包含数据库、表、字段类型及访问权限等 performance_schema 为MysQL服务器运行时状态提供了一个底层监控功能,主要用于收集数据库服务器性能参数 sys 包含了一系列方便DBA和开发人员利用pe

2022-04-25 17:01:18 107

原创 mysql——lnnoDB引擎

一、逻辑存储结构表空间( ibd文件),一个mysql实例可以对应多个表空间,用于存储记录、索引等数据。 段,分为数据段〈(Leaf node segment)、索引段(Non-leaf node segment)、回滚段(Rollback segment), InnoDB是索引组织表,数据段就是B+树的叶子节点,索引段即为B+树的非叶子节点。段用来管理多个Extent(区)。 区,表空间的单元结构,每个区的大小为1M。默认情况下,InnoDB存储引擎页大小为16K,即一个区中一共有64个连续

2022-04-24 19:58:43 1236

原创 mysql——锁

一、介绍锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中,除传统的计算资源(CPU、RAM、I/O)的争用以外,数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题,锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说,锁对数据库而言显得尤其重要,也更加复杂。二、分类MySQL中的锁,按照锁的粒度分,分为以下三类:* 全局锁:锁定数据库中的所有表。* 表级锁:每次操作锁住整张表。* 行级锁:每次操作锁住对应的行数据。1

2022-04-20 23:53:09 681

原创 mysql——触发器(TRIGGER)

一、介绍触发器是与表有关的数据库对象,指在insert/update/delete 之前或之后,触发并执行触发器中定义的SQL语句集合。触发器的这种特性可以协助应用在数据库端确保数据的完整性,日志记录,数据校验等操作。使用别名OLD和NEW来引用触发器中发生变化的记录内容,这与其他的数据库是相似的。现在触发器还只支持行级触发,不支持语句级触发。触发器类型 NEW 和OLD INSERT 型触发器 NEW表示将要或者已经新增的数据 UPDATE 型触发器 OLD表示修改之前的

2022-04-19 09:40:21 818

原创 mysql——存储函数

存储函数

2022-04-19 08:38:26 492

原创 mysql——存储过程

一、基本语法:1、创建create procedure 存储过程名称([参数列表])begin ---sql语句(一条或多条);end;例:create procedure p1()begin select count(*) from student;end;2、调用call 名称([参数]);例:call p1();3、查看(1)select * from information_schema.routines wh...

2022-04-12 21:02:15 1542

原创 SQL优化

1、插入优化☆insert:批量插入(500~1000),手动控制事务,主键顺序插入。大批量插入数据使用MySQL数据库提供的load指令进行插入,相关语法:★客户端连接服务端加上参数local-infilemysql--local-infile-uroot-p******★查看全局参数local_infileselect@@local-infile;★全局参数local_infile为1,开启从本地加载文件导入数据的开关setgloballocal_infile=1;★执...

2022-04-08 22:24:20 256

原创 DQL(Data QueryLanguage 数据查询语言)编写顺序及执行顺序

编写顺序:SELECT字段列表FROM表名列表WHERE条件列表GROUP BY分组字段列表HAVING分组后条件列表ORDER BY排序字段列表LIMIT分页参数执行顺序:FROM表名列表WHERE条件列表GROUP BY分组字段列表HAVING...

2022-04-02 23:20:25 162

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除