- 博客(16)
- 收藏
- 关注
RSS订阅
原创 大数据笔记（学习归纳）
大数据笔记（学习归纳）大数据架构基础知识题大数据组件概念大数据环境搭建1.介绍一下集群搭建的过程？2.说一两个搭建过程遇到的坑？HDFS1.请介绍一下HDFS？2.HDFS的机制是指什么，它有什么作用？3.请简述下HDFS文件的读写流程4.HDFS存储大量的小文件会发生什么问题？5.block块为什么设置比较大？是不是越大越好？MapReduce分布式计算1.MapReduce的shuffle过程...
2020-04-10 11:22:43
2100
原创 Zookeeper知识点
分布式协调框架Zookeeper一、Zookeeper概述1.1 定义 ZooKeeper是一个分布式的，开放源码的，用于分布式应用程序的协调服务（service）； 从设计模式角度来看，ZooKeeper是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家够关系的数据，然后接受观察者的注册，一旦数据发生变化就负责通知已经在ZooKeeper上注册的那些观察者做出相应的反应。 ZooKeeper = 文件系统 + 通知机制。 ZooKeeper中三个重要的逻辑：注册
2020-09-13 23:45:58
457
原创 数据仓库理论
数仓理论知识点结构图推荐书：《数据仓库工具书》（纯理论）、大数据之路-阿里巴巴大数据实践、一、数仓相关概念数据仓库：英文Data WareHouse，数据仓库是面向主题，为分析数据而设计的，是一个各种数据（包括历史数据和当前数据）的中心存储系统，主要服务于商业智能（也就是BI）和企业决策管理。商业智能：指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值，帮助企业做出明智的业务决策的工具。面向主题：是在较高的层次能够完整的、统一的刻画某个
2020-09-13 14:15:26
1648
原创 MapReduce知识点
MapReduce知识点结构图本文初衷是为了学习归纳，若有错误，请指出。修改记录时间内容2020年9月13日第一次发布一、MapReduce概述1.1 MapReduce定义MapReduce是采用一种分而治之的思想设计出来的分布式计算框架如一项复杂的计算任务，单台服务器无法胜任时，可将此大任务切分成一个个小的任务，分别交给不同的服务器上并行执行，最终再汇总每个小任务的结果MapReduce由两个阶段组成：Map阶段（把一个任务切分成多个任务），R
2020-09-13 12:59:40
1269
原创 AnalyticDB分析型数据库
AnalyticDB分析型数据库本文初衷是为了学习归纳，若有错误，请指出。修改记录时间内容2020年9月13日第一次发布一、概述1.1 定义 分析型数据库AnalyticDB（原名 ADS）是阿里巴巴针对海量数据分析自主研发的实时高并发在线分析系统，可以针对万亿级别的数据进行多维度分析透视和业务探索。采用分布式计算，具有强大的实时计算能力。1.2 特点 主要特点就是实时和高并发，可以针对万亿级别的数据进行多纬度分析透视和业务探索。兼容MySQL、B
2020-09-13 10:25:09
4186
原创 MaxCompute SQL
MaxCompute SQL一、概述1.1 定义 MaxCompute（原 ODPS） SQL 适用于海量数据(TB 级别)，实时性要求不高的场合，比如离线批量计算，它的每个作业的准备，提交等阶段要花费较长时间。 采用的是类似与SQL的语法，可以看作是标准SQL的子集，但和数据库也有很多不同，比如没有事务，主键约束，索引等。1.2 优缺点优点：MaxCompute SQL的优点是学习成本低，您不需要了解复杂的分布式计算概念。如果您具备数据库操作经验，便可快速熟悉MaxCompute
2020-09-13 09:57:23
5295
2
原创 Hive知识点
Hive学习1.Hive是什么1.1 Hive概念1.2 Hive与数据库区别1.3 Hive的优点和缺点1.4 Hive架构原理2.Hive的交互方式3 Hive的数据类型3.1 基本数据类型3.2 复合数据类型4.Hive的数据类型转换5.Hive的DDL操作5.1 Hive的数据库DDL操作5.2 Hive的表DDL操作（重要）5.2.1 建表语法：5.2.2 创建内部表，不加exte...
2020-04-10 21:25:21
1237
原创 HDFS知识点
HDFS1.Hadoop是什么？2. HDFS初体验3. 核心概念blocks3.1 HDFS的blocks块3.2 block副本3.3 机房存储策略3.4 block的一些操作4. HDFS的体系架构4.1 Namenode4.2 Datanode4.3 SecondaryDatanode5. HDFS机制5.1 心跳机制5.2 负载均衡6. ...
2020-04-10 21:03:16
412
原创 MapReduce编程模型和原理
MapReduce编程模型和原理1. MapReduce编程模型1.1 Map阶段1.2 Reduce阶段2. MapReduce编程示例2.1 MapReduce原理图2.2 MR参考代码2.2.1 Mapper代码2.2.2 Reducer代码2.2.3 Main程序入口2.3 本地运行2.4 集群方式2.4.1 方式一_java代码2.4.2 方式二3. Web UI查看结果3.1 ...
2020-04-10 20:47:21
1554
1
原创 资源调度框架 - Yarn
资源调度框架 - Yarn1. yarn介绍2. yarn架构2.1 ResourceManager2.2 ApplicationMaster2.3NodeManager2.4 Container2.5 ResourceManager和Container2.6 JobHistoryServer2.7 Timeline Server3. yarn应用运行原理（重要）3.1 yar...
2020-04-10 20:34:58
588
原创 大数据环境搭建
大数据环境搭建1.安装CentOS7虚拟机2.VM虚拟机环境配置3.配置虚拟机网络4.安装XShell工具5.上传JDK到linux机器6.安装JDK到Linux机器7.配置时间同步8.安装网络工具net-tools9.克隆虚拟机作集群节点10.分别配置三台虚拟机的IP和主机名11.root用户的免密登录配置（ssh）11.1 生成公钥和私钥11.2 配置hosts文件，用于告知当前机器如何远程链...
2020-04-10 13:29:44
693
原创 Oracle面试笔试题集
Oracle面试笔试题集Oralce数据库数据库基础题1. 数据库的常见分类有哪些？2. 数据库将表存入存储系统的方式有哪两种3. 数据库的约束由哪些？4. 什么是第一，二，三，BC范式？5. 事务的概念和四种特性是什么？6. 事务的四种隔离级别分别是什么？7. 简述存储过程，它有什么优点？能否写下存储过程的语法。8. 存储过程和函数的区别是什么？各自作用？9. 触发器的作用？分...
2020-04-09 22:20:16
1347
1
原创 Oracle分析函数
整体释义：函数以某个字段patition by 分组，同时制定每个分组的排序方式后，从起点至终点进行扫描计算，返回该函数的统计值。
2019-10-23 14:57:29
574
原创 Oracle的常用函数
目录Oracle的常用函数1.字符串函数2.日期函数3.类型转换函数4.数字函数5.聚合函数6.其它常用函数函数概括图片Oracle的常用函数该篇文章初衷仅作为个人复习总结，文章最后的“函数概括图片”可用于下载查看。1.字符串函数1. Lower(char)将字符串表达式char中的所有大写字母转换为小写字母。--应用示例：select LOWER('DARROW') from du...
2019-08-12 22:50:41
786
1
原创 Oracle正则表达式
1. 基本介绍-Oracle支持正则表达式的函数Oracle中一般常用到正则表达式的函数主要有一下5个：REGEXP_LIKE：与LIKE的功能相似；REGEXP_SUBSTR ：与SUBSTR的功能相似；REGEXP_INSTR ：与INSTR的功能相似；REGEXP_REPLACE ：与REPLACE的功能相似；REGEXP_COUNT ：与COUNT的功能相似；2. 分类介...
2019-08-09 20:19:37
12481
转载 Oracle临时表
Oracle临时表临时表概念临时表就是用来暂时保存临时数据（亦或叫中间数据）的一个数据库对象，它和普通表有些类似，然而又有很大区别。它只能存储在临时表空间，而非用户的表空间。ORACLE临时表是会话或事务级别的，只对当前会话或事务可见。每个会话只能查看和修改自己的数据。临时表语法规则会话级：CREATE GLOBAL TEMPORARY <TABLE_NAME> ( <...
2019-08-03 12:39:52
472
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人