- 博客(69)
- 收藏
- 关注
RSS订阅原创 多租户hive数仓
在SaaS实施过程中，有一个显著的考量点，就是如何对应用数据进行设计，以支持多租户，而这种设计的思路，是要在数据的共享、安全隔离和性能间取得平衡。三种模式的特点可以用一张图来概括。
2024-07-02 15:52:09
975
原创 ORACLE表空间自动扩展
alter database datafile ‘数据文件位置’ autoextend on next 自动扩展大小 maxsize 最大扩展大小;alter tablespace 表空间名称 add datafile ‘新的数据文件位置’ size 数据文件大小;查看表空间及其数据文件位置（file_name）查看表空间及其数据文件位置（file_name）第一种方式：增大所需表空间大小。第三种方式：设置表空间自动扩展。第一种方式：增大所需表空间大小。第三种方式：设置表空间自动扩展。
2023-05-23 10:31:27
4183
原创 Flink知识点
实时流处理引擎 storm: 来一条处理一条 时效性强 吞吐量差 适合延迟低业务比较小的时候 sparkStreaming: 微批处理 高吞吐 容错性高 时效性差 适合之前的业务都是用spark生态写的 并且秒级的时效性完全可以满足我们的需求 flink: 要求高时效性 高吞吐量的时候可以选择flink Flink几种图的变化 Stream Graph Job Graph
2022-06-13 21:52:33
285
原创 java反射知识点
Java反射 创建对象:通过new的关键字 反射是通过获取到类的基本信息之后class对象,通过基本信息创建对象 属于java框架的核心 spring xml文件 name class路径 构造函数的参数 基于反射区实现的 核心 获取class对象 1.能获取这个类的实例 可以通过entity.getC
2022-06-09 16:36:34
98
原创 Redis知识点
Redis NoSQL NoSQL，泛指非关系型的数据库。随着互联网 web2.0 网站的兴起，传统的关系数据库 在处理 web2.0 网站，特别是超大规模和高并发的社区,暴露出来很多难克制的问题,NoSQL Redis 是发展最快的,而且是我们目前必须要掌握的 一个技术 关系型数据库:表格,行,列 非关系型数据库:键值对 Map NoSQL特点 ...
2022-06-09 16:15:13
102
原创 数据处理基本流程
处理流程 数据抽取 抽取mysql中的数据到hive仓库ods层 静态分区 动态分区 全量数据 增量数据 数据分区 根据数据抽取的日期分区 根据业务日期进行分区 数据清洗 数据分析 实时数据处理 大数据可视化 抽取流程 创建hive数据表编写spark程序 创
2022-06-06 22:25:28
493
原创 Linux压缩和解压操作 赋予权限命令
创建目录结构 data:原始数据 create:创建表的语句 deal:处理数据的流程 udf:用户自定义函数的jar包 config:项目的全局配置 zip解压和压缩操作 压缩:zip zip 后跟生成的地址 zip -r压缩之后的文件名 要压缩的内容 -r 代表的是递归压缩 压缩之后的文件夹包含的目录下所有的文件 解压:unzip unzip...
2022-05-18 15:26:52
1245
原创 大数据处理流程
大数据处理流程:确定数据来源: 采集工程师爬取到对应的数据 公开的数据集 购买一些商用的数据 数据仓库工程师: 抽取数据,将数据抽取到数据仓库中 数据分析工程师: 数据进行汇总分析,挖掘出企业关心的内容 将数据的结果同步到mysql中 web工程师进行数据的展示和呈现 目标: 经采集的数据结构化之后导入到数据仓库中,...
2022-05-17 14:15:38
351
原创 Hive参数介绍
特别说明 关于MapJoin的问题剖析 概念说明 将join的本来应该是reduce进行关联查找的过程，改成由纯map端进行关联查找。 特点特征 减少了reduce的处理，全部放到map端进行操作。 减少了数据移动，提升了IO和计算效率。 应用场景 大表join小表的时候， 大数据块join小数据块的时候。 代码实现 在hive当中已经默认开启了该功能。 关于数据倾斜的问题剖析 概念...
2022-05-06 21:16:23
203
原创 Hive自定义函数
UDF(user defined function)背景系统内置函数无法解决所有的实际业务问题，需要开发者自己编写函数实现自身的业务实现诉求。 应用场景非常多，面临的业务不同导致个性化实现很多，故udf很需要。意义函数扩展得到解决，极大丰富了可定制化的业务需求。IO要求-要解决的问题in:out=1:1,只能输入一条记录当中的数据，同时返回一条处理结果。 属于最常见的自定义函数，像cos,sin,substring,instr等均是如此要求。实现步骤(Java创建自定义UDF类)自定义
2022-05-05 22:15:40
262
原创 Hive基础应用
关系型数据库解决单表数据过大:分库分表hive数据模型分区:按照指定字段,(虚拟字段),hive在底层存储的时候会按照分区字段创建对应的目录进行数据存储分桶:在分区内 按照指定字段 的hash值组织数据 目的是为了提升字段查询效率varchar和char的区别都是用于存储字符串的区别:varchar是变长 char是定长长度固定时优先使用char 读写效率高 空间利用率高不固定时优先使用varchar视图:基于一些查询条件生成的一张虚拟的表作用:方
2022-05-04 17:11:32
819
原创 Hive初识
数据仓库Data Warehouse,简写 DW,, 为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合单个数据存储,出于分析报告和决策支持目的而创建面相分析的存储系统一个面向主题的（Subject Oriented）、集成的（Integrate）、不可修改的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于数据分析、辅助管理决策面向主题:指数据仓库中的数据按照一定的主题进行组织集成:对原有分散的数据库数据经过系统加工,整理得到的消除
2022-04-28 19:14:14
2052
原创 Yarn框架
一种新的Hadoop资源管理器,一个通用资源管理系统提供统一的资源管理与任务调度及监控,提高了集群管理效率,资源使用率和数据共享效率MRv1存在的主要问题jobTracker单点故障,如果他挂掉 整个系统无法运转jobTracker负载过重 限制了集群扩展 随着节点规模的增大 成为集群的瓶颈仅支持MR计算框架 适合批处理 基于磁盘的计算资源与计算没有很好的解耦设计 一个集群只能使用一个计算框架 ,造成管理复杂,资源利用率低的难题Yarn的特点资源管理与计算框架解耦设计,一
2022-04-27 19:25:20
359
原创 MapReducer进阶
HDFS数据格式数据存储空间是有限的,数据本身和增量是动态变化的 企业要追求最佳的存储与计算性价比数据格式描述了数据保存在文件夹或者记录中的规则,HDFS中分为文件格式和压缩格式文件格式 面向行/列 类型名称 是否可切分 优点 缺点 适用场景 面向行 文本文件格式(.txt) 是 查看方便
2022-04-26 22:28:40
181
原创 MapReducer
MapReducer是一种编程模型 面向大数据并行处理的一种计算模型,框架和平台基本特点:分布可靠,对数据集的操作分发给多个集群中的多个节点实现可靠性,每个节点周期性返回它完成的任务和最新状态封装实现了细节,基于框架API编程,面向业务 展开分布式编码提供跨语言编程的能力运行流程:map阶段和reducer阶段map:由map task组成输入数据解析格式InputFormat输入数据处理 Mapper数据区分 Partitione...
2022-04-25 21:20:25
1701
原创 分布式计算框架MapReduce
MapReduce是一种编程模型，是面向大数据并行处理的计算模型、框架和平台。MapReduce是一个基于集群的高性能并行计算平台。可以使用普通服务器构成一个包含数十、数百、甚至数千个节点的分布式和并行计算集群。 MapReduce是一个并行计算与运行的软件框架。它提供了一个庞大但设计精良的并行计算软件框架，能自动划分计算数据和计算任务，自动完成计算任务的并行化处理，实现在集群节点上自动分配和执行任务并收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂实现细节交由系统
2022-04-24 22:09:56
1430
原创 ssh登录 与Hadoop
SSH无密码登陆1.什么是SSHSSH全称SecureShell，用来取代传统telnet和R系列命令(rlogin，rsh，rexec等)远程登陆和远程执行命令的工具。SSH是一种加密协议，不仅在登陆过程中对密码进行加密传送，而且对登陆后执行的命令的数据也进行加密，即使别人在网络上监听并截获了你的数据包，并看不到其中的内容。SSH服务都是由软件OpenSSH来提供的。绝大多数Linux安装包已自带。OpenSSH已经是大多数Linux操作系统的标准组件，不需要二次安装。2.工作原.
2022-04-22 21:34:42
2218
原创 Linux软件安装
软件安装即为Linux包安装，相当于Windows中的软件安装。主要包括源码编译安装、bin二进制执行文件安装、rpm包安装、yum在线安装4种方式。 源码安装适用于开放源代码包的软件。 bin二进制执行文件安装类似于Windows的exe，双击或者赋予执行权限后通过命令行调用执行。 rpm包安装提供了rpm安装包的软件，均可采用此种方式，但自身不解决rpm依赖的问题。 yum包安装，底层依赖rpm包的存在，并自动解决rpm包依赖、升级管理的问题。需要配置必要的yumr.
2022-04-20 22:49:08
1840
原创 Linux基础操作命令
目录: /bin 系统有很多放置执行档的目录，但/bin比较特殊。因为/bin放置的是在单人维护模式下还能够被操作的指令。在/bin底下的指令可以被root与一般帐号所使用，主要有：cat,chmod(修改权限), chown, date, mv, mkdir, cp, bash等等常用的指令。 /boot 主要放置开机时使用到的档案，包括Linux核心档案以及开机选单与开机所需设定档等等。Linux kernel的核心文档名为：..
2022-04-19 21:50:26
2244
原创 SpringBoot初识
⼀、spring boot介绍 1、优势 ● 创建独⽴的 Spring 应⽤程序 ● 嵌⼊的 Tomcat，⽆需部署 WAR ⽂件 ● 简化 Maven 配置 ● ⾃动配置 Spring ● 提供⽣产就绪型功能，如指标，健康检查和外部配置 2、特性 ● 为基于 Spring 的开发提供更快的⼊⻔体验 ● 开箱即⽤，没有代码⽣成，也⽆需 XML 配置。同时也可以修改默认值来满⾜特定的需求 ● 提供了⼀些⼤型项⽬中常⻅的⾮功能特性，如嵌⼊式服务器、安全、指标，健康检测、外
2022-04-09 19:25:33
821
原创 SSM小项目的搭建
引入依赖引入我们项目所需要的依赖，这里我们新增加了mybatis的依赖和JSTL的依赖<dependency> <groupId>org.springframework</groupId> <artifactId>spring-tx</artifactId> <version>${spring.version}</version></dependency><depend
2022-03-25 22:27:27
466
原创 SpringMVC
MVC全名是 Model View Controller，是模型(model)－视图(view)－控制器(controller)的缩写，一种软件设计典范，用一种业务逻辑、数据、界面 显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，在改进和个性化定制界面及用户交互的同时，不需要重新编写业务逻辑。MVC被独特的发展起来用于 映射传统的输入、处理和输出功能在一个逻辑的图形化用户界面的结构中。Model-View-Controller 这种设计模式的最主要的目的就是解耦合又叫松耦合(不一样的功能,最好占用
2022-03-24 22:05:06
146
原创 Spring整合Mybatis
集成1. 引入依赖<!--引入相关依赖--><!-- spring jdbc --><dependency><groupId>org.springframework</groupId><artifactId>spring-jdbc</artifactId><version>${s...
2022-03-23 21:57:45
647
原创 Spring注解
annotation配置优点有： 在class文件中，可以降低维护成本，annotation的配置机制很明显简单 不需要第三方的解析工具，利用java反射技术就可以完成任务 编辑期可以验证正确性，查错变得容易 提高开发效率 缺点有： 如果需要对于annotation进行修改，那么要重新编译整个工程 业务类之间的关系不如XML配置那样容易把握。 如果在程序中annotation比较多，直接影响代码质量，对于代码的简洁度有一定的影响Spring 的IOC 的...
2022-03-22 21:12:54
474
原创 Spring
Spring 是什么Spring 是一个开源框架，Spring 是于 2003 年兴起的一个轻量级的 Java 开发框架，由 Rod Johnson在其著作 Expert One-On-One J2EE Development and Design 中阐述的部分理念和原型衍生而来。Spring优点方便解耦，简化开发 Spring 就是一个大工厂，可以将所有对象创建和依赖关系维护，交给 Spring 管理 AOP 编程的支持，Spring 提供面向切面编程，可以方便的实现对程序进行权限拦截、运
2022-03-21 21:00:39
51
原创 实现手动分页和自动分页
怎么设计分页每页有多少个当前是在第几页数据的总数数据列表基于这些属性设计分页的实体类@Datapublic class PageInfo<T> {/*** 每页有多少个*/private int pageSize;/*** 当前是在第几页*/private int currentPage;/*** 数据的总数*/p...
2022-03-21 20:55:37
657
原创 Mybatis 连接池 事务
mybatis中的连接池什么是连接池数据库连接是一项有限的昂贵资源，一个数据库连接对象均对应一个物理数据库连接，每次操作都打开一个物理连接，使用完都关闭连接，这样造成系统的性能低下。数据库连接池的解决方案是在应用程序启动时建立足够的数据库连接，并将这些连接组成一个连接池，由应用程序动态地对池中的连接进行申请、使用和释放。对于多于连接池中连接数的并发请求，应该在请求队列中排队等待。并且应用程序可以根据池中连接的使用率，动态增加或减少池中的连接数。总结：连接池是面向数据库连接的 连接.
2022-03-21 20:51:36
311
原创 Mybatis第二部分
mybatis中#和$的区别都可以用来拼接sql语句#{}表示一个占位符号:通过#{}可以实现 preparedStatement 向占位符中设置值，自动进行 java 类型和 jdbc 类型转换，#{}可以有效防止 sql 注入。 #{}可以接收简单类型值或 pojo 属性值。可以自动对值添加 ’ ’ 单引号${}表示拼接sql串通过${}可以将 parameterType 传入的内容拼接在 sql 中且不进行 jdbc 类型转换，${}可以接收简单类型值或 pojo 属性
2022-03-17 21:42:51
170
原创 Mybatis基础操作
框架 框架（Framework）是整个或部分系统的可重用设计，表现为一组抽象构件及构件实例间交互的方法;mybatis 是一个基于Java的持久层框架项目集成1 引入依赖<!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --><dependency><groupId>org.mybatis</groupId><artifac...
2022-03-17 21:13:38
153
原创 DOM节点操作、事件对象与BOM
节点操作、什么是节点根据 W3C 的 HTML DOM 标准，HTML 文档中的所有内容都是节点：整个文档是一个文档节点 document每个 HTML 元素是元素节点HTML 元素内的文本是文本节点每个 HTML 属性是属性节点注释是注释节点、节点类型通过noteType属性可以获取节点的类型document的节点类型---9标签的节点类型---1属性的节点类型---2，getAttributeNode("属性"):获取元素的属性节点文本的节点类型---3.
2022-03-03 21:19:43
57
原创 JavaScript
获取元素根据id获取var div1 = document.getElementById("box1");通过类名获取元素var p1Arr = document.getElementsByClassName("p1");伪数组定义：1、拥有length属性，其它属性（索引）为非负整数(对象中的索引会被当做字符串来处理，这里你可以当做是个非负整数串来理解)2、不具有数组所具有的方法伪数组，就是像数组一样有length属性，也有0、1、2、3等属性的对象，看起来就像数组...
2022-03-02 20:46:02
37
原创 JS常用方法
常用方法Math.生成随机数Math.floor()向下取整Math.ceil()向上取整Math.round()取整，四舍五入Math.abs()绝对值Math.max()最大值Math.min()最小值Math.sin()正弦Math.cos()余弦Math.pow()...
2022-03-01 21:36:57
51
原创 JS数组 预解析 API
数组的定义所谓数组，就是将多个元素（通常是同一类型）按一定顺序排列放到一个集合中，那么这个集合我们就称之为数组。数组是一个有序的列表，可以在数组中存放任意的数据，并且数组的长度可以动态的调整。、通过数组字面量创建数组// 创建一个空数组vararr1=[]; // 创建一个包含3个数值的数组，多个数组项以逗号隔开vararr2=[1, 3, 4]; // 创建一个包含2个字符串的数组vararr3=['a', 'c']; // 可以通过数组的length属性获取数组的长度co...
2022-03-01 21:36:21
67
原创 JS基本变量 类型 循环结构
CSS的三大特性:1.继承性: 子元素可以继承祖先元素中的部分样式2.层叠性:通过不同的选择器可以多次指向同一个元素，如果设置的属性不一样则所有的效果都生效，如果作用相同的属性，则根据选择器的优先级决定3.优先级:当多个选择器选择同一个元素并且设置相同属性时，遵循以下规则：a.直接选中的优先级高于间接选中b.如果是相同的选择器:后执行的覆盖前执行的c.如果是不同的选择器:根据选择器的作用范围决定优先级，范围越小优先级越高id>class>标签名>继承>元素默认样式
2022-02-28 20:06:42
192
原创 列表标签 表格 表单
(1)、无序列表ul(重点)无序列表的各个列表项之间没有顺序级别之分，是并列的。其基本语法格式如下：<ul><li>列表项1</li><li>列表项2</li><li>列表项3</li>......</ul>比如下面这些，新闻是没有顺序的，不用排队，先到先得，后发布先显示。注意须知：1. <ul></ul>中只能嵌套<li>...
2022-02-22 17:54:12
84
原创 HTML 初识 简单地标签 链接
HTML指的是超文本标记语言 (Hyper Text Markup Language)HTML不是一种编程语言，而是一种标记语言 (markup language)标记语言是一套标记标签 (markup tag)总结： HTML 作用就是用标记标签来描述网页，把网页内容在浏览器中展示出来。骨架<HTML><head> <title></title></head><b...
2022-02-21 22:32:12
508
原创 JDBC操作
JDBC : Java DataBase Connectivity (java数据库链接)是让java链接数据库的APIAPI : Application Programming Intergace (应用程序接口)就是函数库所以 JDBC 就是提供java连接数据库的应用程序接口的,只是接口或者抽象类基本步骤导包注册驱动建立连接(connection)创建运行sql语句对象(Statement)运行语句释放出理结果(ResultSet)释放资源对应的...
2022-02-17 20:06:37
39
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人