dingguanyi-CSDN博客

转载 HDFS读写流程

读程图： 1、客户端发送请求，调用DistributedFileSystem API的open方法发送请求到Namenode，获得block的位置信息，因为真正的block是存在Datanode节点上的，而namenode里存放了block位置信息的元数据。2、Namenode返回所有block的位置信息，并将这些信息返回给客户端。3、客户端拿到block的位置信息后调用FSD...

2019-01-27 19:48:41 349

转载 hadoop-daemon.sh 和Hadoop-daemons.sh 的区别

Hadoop-daemon.sh:用于启动当前节点的进程例如Hadoop-daemon.sh start namenode 用于启动当前的名称节点Hadoop-daemons.sh：用于启动所有节点的进程例如：Hadoop-daemons.sh start datanode 用于启动所有节点的数据节点...

2019-01-27 19:10:56 1292

转载 HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过...

2019-01-27 11:13:41 287

转载 RPM方式安装MySQL5.6

RPM方式安装MySQL5.6a. 检查MySQL及相关RPM包，是否安装，如果有安装，则移除（rpm –e 名称）1 [root@localhost ~]# rpm -qa | grep -i mysql 2 mysql-libs-5.1.66-2.el6_3.x86_64 3 [root@localhost ~]# yum -y remove mysql-li...

2019-01-13 15:49:16 876 1

转载 VI操作--跳到最后一行和跳到最后一行的最后一个字符

vi操作1.跳到文本的最后一行：按“G”,即“shift+g”2.跳到最后一行的最后一个字符：先重复1的操作即按“G”，之后按“$”键，即“shift+4”。3.跳到第一行的第一个字符：先按两次“g”，4.跳转到当前行的第一个字符：在当前行按“0”。5.vi加密。进入vi，输入":" + "X" 之后就提示你输入两次密码。之后:wq 保存退出。再次进入时就提示你输入密码了...

2019-01-13 14:23:34 2628

转载 MySQL 使用方法简单教程

1、启动MySQL服务器实际上上篇已讲到如何启动MySQL。两种方法：一是用winmysqladmin，如果机器启动时已自动运行，则可直接进入下一步操作。二是在DOS方式下运行d:/mysql/bin/mysqld2、进入mysql交互操作界面在DOS方式下，运行：d:/mysql/bin/mysql -u root -p出现提示符，此时已进入mysql的交互操作方式。如果出现 "...

2019-01-10 21:24:26 101678 2

转载 linux虚拟机时间同步

在搭建集群环境时，需要各个节点的主机时间是一致的，否则会出现问题，连接时间相应不对。要进行是时间同步。使用yum 云进行下载时间同步服务。下载之后如何验证：如何进行具体的操作：第一种：a、cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime　　b、ntpdate pool.ntp.org　　如上图所见，可能会出现这样的...

2019-01-09 20:47:22 581

转载 [Mysql] MySQL配置文件my.cnf的理解

一、缘由　　最近要接手数据库的维护工作，公司首选MySQL。对于MySQL的理解，我认为很多性能优化工作、主从主主复制都是在调整参数，来适应不同时期不同数量级的数据。故，理解透彻my.cnf里的参数是永恒的话题；只有理解透彻了参数设置，才能在某些方面对数据库进行调优。二、参数详解（补充ing...）[client] 　　　　　　　　　　　　　　　　　　#客户端设置，即客户端默...

2019-01-09 20:17:01 719

去年十一月份买了一个ThinkPad S5，装过了一次系统，现在再想设置一下u盘启动，但是没有成功，刚刚弄成功记录一下。这个型号的电脑一般按F12就可以进入页面进行设置启动项，但是我这次选择u盘启动没有反应，原来还需要按F1来设置一下。启动电脑时按住F1，然后选择Security进入Secure Boot将其设为Disabled，然后返回一级菜单进入Startup中的UEFI/Legacy B...

2019-01-04 10:15:17 1632

原创 SQL：3.2数据类型-20190101

---代码3.8 CHAR类型定义示例DECLARE V_NAME CHAR(2 BYTE); V_NAME2 CHAR(2 CHAR); V_NAME3 CHAR; V_NAME4 CHAR(50);BEGIN V_NAME := 'ab'; ---正确，2个字节的字符串 --V_NAME := '中国'; ---错误，大于2个字节 ...

2019-01-01 22:00:16 240

转载数据仓库建模与ETL实践技巧

在上一期的专栏文章中，我们曾经提到：数据分析系统的总体架构分为四个部分 —— 源系统、数据仓库、多维数据库、客户端（图一：pic1.bmp）其中，数据仓库（DW）起到了数据大集中的作用。通过数据抽取，把数据从源系统源源不断地抽取出来，可能每天一次，或者每3个小时一次（当然是自动的）。这个过程，我们称之为ETL过程。那么，今天，我们就来谈一谈：如何搭建数据仓库，在这个过程中都应该遵循哪些方法...

2018-12-23 17:57:17 226

原创 SQL：3.1变量-20181223

DECLARE v_empname VARCHAR2(20); v_deptname VARCHAR2(20); v_hiredate DATE NOT NULL := SYSDATE; v_empno INT NOT NULL DEFAULT 7639;BEGIN NULL;END;DECLARE v_counter INTEGER;BEGIN...

2018-12-23 12:32:51 164

转载 sql：Oracle：驱动表是什么？

1.什么是驱动表？通俗的讲就是先从哪个表开始检索啦,找到好的驱动表语句的优化就成功一半了 eg: select * from a,b where a.id = b.id and a.姓名 = '美格瑞恩' and b.性别 = '女';在a,b表同等数量级的情况下显然用a表做为驱动表比较好因为姓名相对于性别来说可以过滤掉更多的数据,所以想办法使你的执行计划扫描a表先再通过nest loop与...

2018-12-19 15:22:21 1395

原创 SQL：如何调整RBO优化器下的执行计划(20181219)

题目：在使用RBO优化器的情况下，我们调整执行计划的手段非常有限，其中有三种方法可以调整执行计划：（1）修改等价的SQL（2）通过调整数据对象在数据字典中的缓存顺序（3）多表连接中调整表的顺序。代码如下：（1）方案1---建测试表和索引DROP TABLE EMP_TEMP;CREATE TABLE EMP_TEMP AS SELECT * FROM EMP;CREATE INDE...

2018-12-19 10:47:46 482

转载简述Oracle IOT（Index Organized Table）

对关系型数据库产品（RDBMS）而言，一个重要特性就是：数据信息都被组织为二维数据表，信息的表达可以通过一系列的关联（Join）来完成。具体数据库产品在实现这个标准的时候，又有千差万别的特点。就是一个特定的数据库RDBMS产品，往往也提供不同的实现方法。 1、从堆表（Heap Table）到索引组织表（Index Organization Table） Oracle作为一款成熟的数...

2018-12-17 15:49:41 221

原创 SQL：函数LISTAGG用法(20181217)

题目：如图是个人工作经历的一张表：图1，需要得到每个人的职业发展线路，按照入职公司时间的顺序：图1 图2 解答：使用ORACLE的LISTAGG函数可以一步搞定，代码如下：DROP TABLE TEST;COMMIT;CREATE TABLE TEST (NAME VARCHAR2(200),ENTRY_DATE DATE,COMPANY VARCHAR2(200));C...

2018-12-17 14:45:24 11197

转载 oracle数据库将多个列的查询结果集合并到一行中

oracle数据库将多个列的查询结果集合并到一行中在学习和开发过程中我们经常会遇到这样的问题：当我们需要把某一些查询到的结果合并并插入到数据库中的某一行时，会变得很麻烦。在某些情况下，我们可能可以借助诸如java、C等编程语言帮我们解决这样的问题，但这么做是非常不灵活的。如果只是用数据库，如何实现呢？首先我们想到的是使用存储过程或者使用函数，通过连接符将需要的结果集合并。但有时我们可能仅需要少量...

2018-12-17 11:22:21 3955

转载 Linux查看物理CPU个数、核数、逻辑CPU个数

CPU总核数 = 物理CPU个数 * 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数查看CPU信息（型号）[root@AAA ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 24 Intel(R) Xeon(R) CPU E5-2630 0 ...

2018-12-11 08:48:11 170

转载 Oracle锁表查询和解锁方法

数据库操作语句的分类DDL：数据库模式定义语言，关键字：createDML：数据操纵语言，关键字：Insert、delete、updateDCL：数据库控制语言，关键字：grant、removeDQL：数据库查询语言，关键字：selectoracle表在什么情况下会被锁住DML锁又可以分为，行锁、表锁、死锁行锁：当事务执行数据库插入、更新、删除操作时，该事务自动获得操作表中操作行...

2018-12-10 17:13:26 266

转载几个你需注意的数据库设计原则(新手必看)

原网址：http://www.cnn6.net/html/database/2017519/201828.html?ref=myread 在您读之前，我得明确地告诉您，我并不是一个数据库设计领域的大师。以下列出的 11 点是我对自己在平时项目实践和阅读中学习到的经验总结出来的个人见解。我个人认为它们对我的数据库设计提供了很大的帮助。实属一家之言，欢迎拍砖 : )我之所以写下这篇这么完整的文章...

2018-12-10 16:38:55 252

转载数据库设计原则(摘抄)

注：设计数据库是实现实际业务的重要一步，合理设计表结构，规划表字段，建立合理关系为后期减少了开发，运营，维护成本。认真了解和学习设计知识是必要的，如下摘抄了部分经验总结。 1. 原始单据与实体之间的关系　　可以是一对一、一对多、多对多的关系。在一般情况下，它们是一对一的关系：即一张原始单据对应且只对应一个实体。在特殊情况下，它们可能是一对多或多对一的关系，即一张原始单证...

2018-12-10 16:38:06 391

转载 SQL Server三种表连接原理

在SQL Server数据库中，查询优化器在处理表连接时，通常会使用一下三种连接方式：嵌套循环连接（Nested Loop Join）合并连接（Merge Join） Hash连接（Hash Join）　　充分理解这三种表连接工作原理，可以使我们在优化SQL Server连接方面的代码有据可依，为开展优化工作提供一定的思路。接下来我们来认识下这三种连接。...

2018-12-10 16:11:25 1005

转载多表连接的三种方式详解 hash join、merge join、 nested loop

在多表联合查询的时候，如果我们查看它的执行计划，就会发现里面有多表之间的连接方式。多表之间的连接有三种方式：Nested Loops，Hash Join 和 Sort Merge Join.具体适用哪种类型的连接取决于当前的优化器模式（ALL_ROWS 和 RULE）取决于表大小取决于连接列是否有索引取决于连接列是否排序下面来介绍三种不同连接工作方式的不同：实验sql假...

2018-12-10 15:38:22 384

转载 ORACLE分区表梳理系列（一）- 分区表概述、分类、使用方法及注意事项

前言本文着重阐述分区表的概念、优势，以及常用分区表的使用方法及使用过程中的注意事项。对于分区表的日常维护方法，如：索引的维护、分区的合并等，将在后续文章中再详细介绍。本文涉及的相应演示，使用的数据库版本为oracle 11.2.0.4。本文常用分区表的使用方法，主要以较为常规的范围分区、列表分区、hash分区以及组合分区为主。本文主要涉及的数据字典视图包括XX_TAB_PART...

2018-12-10 10:47:24 250

转载 MySQL中B+Tree索引原理

B+树索引是B+树在数据库中的一种实现，是最常见也是数据库中使用最为频繁的一种索引。B+树中的B代表平衡（balance），而不是二叉（binary），因为B+树是从最早的平衡二叉树演化而来的。在讲B+树之前必须先了解二叉查找树、平衡二叉树（AVLTree）和平衡多路查找树（B-Tree），B+树即由这些树逐步优化而来。二叉查找树二叉树具有以下性质：左子树的键值小于根的键值，右子树的键值大...

2018-12-10 10:41:23 101

转载位图（BitMap）索引

前段时间听同事分享，偶尔讲起Oracle数据库的位图索引，顿时大感兴趣。说来惭愧，在这之前对位图索引一无所知，因此趁此机会写篇博文介绍下位图索引。1. 案例　　有张表名为table的表，由三列组成，分别是姓名、性别和婚姻状况，其中性别只有男和女两项，婚姻状况由已婚、未婚、离婚这三项，该表共有100w个记录。现在有这样的查询： select * from table where Ge...

2018-12-06 21:53:04 149

转载 B树B+树的原理和操作

3.B- 树 3.1什么是B-树具体讲解之前，有一点，再次强调下：B-树，即为B树。因为B树的原英文名称为B-tree，而国内很多人喜欢把B-tree译作B-树，其实，这是个非常不好的直译，很容易让人产生误解。如人们可能会以为B-树是一种树，而B树又是一种一种树。而事实上是，B-tree就是指的B树。特此说明。我们知道，B 树是为了磁盘或其它存储设备而设计的一种多叉（下面你会...

2018-12-05 21:55:15 406

转载 Oracle 查看执行计划

Oracle 如何查看执行计划一. 查看方式1.1. explain plan先使用explain plan命令对目标SQL做explain，在使用"select * from table(dbms_xplan.display)"查看上述使用explain plan命令后得到的执行计划。PL/SQL Developer中的快捷键F5就是在explain plan命令上的一层封装。...

2018-11-28 14:52:50 335

转载 Oracle之SQL优化专题01-查看SQL执行计划的方法

在我2014年总结的“SQL Tuning 基础概述”中，其实已经介绍了一些查看SQL执行计划的方法，但是不够系统和全面，所以本次SQL优化专题，就首先要系统的介绍一下查看SQL执行计划的方法。本文示例SQL为：--set lines 1000 pages 1000select a.empno, a.ename, b.dname, a.job, a.sal from emp a, dep...

2018-11-28 14:41:33 258

转载 db2使用sql语句查询表空间使用率（直接显示百分比）

----检查表空间使用率1----select char(TBSP_NAME,50) as TBSP_NAME, TBSP_USABLE_PAGES, TBSP_USED_PAGES, rtrim(100*TBSP_USED_PAGES/TBSP_USABLE_PAGES)||'%' as USED_RATE from sysibmadm.SNAPTBSP_PART where TBSP_...

2018-11-26 16:29:34 3652

转载看懂Oracle执行计划

原文:https://www.cnblogs.com/Dreamer-1/p/6076440.html最近一直在跟Oracle打交道，从最初的一脸懵逼到现在的略有所知，也来总结一下自己最近所学，不定时更新ing… 一：什么是Oracle执行计划？执行计划是一条查询语句在Oracle中的执行过程或访问路径的描述二：怎样查看Oracle执行计划？因为我一直用的PL...

2018-11-26 15:04:07 228

转载 ETL-关于缓慢变化维的几种常见解决方法：

缓慢变化维：维度表里面的数据并非是始终不变的，总会随着时间发生变化。维度建模的数据仓库中，有一个概念叫Slowly Changing Dimensions，中文一般翻译成“缓慢变化维”，经常被简写为SCD。缓慢变化维的提出是因为在现实世界中，维度的属性并不是静态的，它会随着时间的流失发生缓慢的变化。这种随时间发生变化的维度我们一般称之为缓慢变化维，并且把处理维度表的历史变化信息的问题称为处...

2018-11-26 14:26:58 480

转载 OLAP、OLTP的介绍和比较

OLTP与OLAP的介绍数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易...

2018-11-26 10:51:15 158

转载能使 Oracle 索引失效的六大限制条件

Oracle 索引的目标是避免全表扫描，提高查询效率，但有些时候却适得其反。例如一张表中有上百万条数据，对某个字段加了索引，但是查询时性能并没有什么提高，这可能是 oracle 索引失效造成的。oracle 索引有一些限制条件，如果你违反了这些索引限制条件，那么即使你已经加了索引，oracle还是会执行一次全表扫描，查询的性能不会比不加索引有所提高，反而可能由于数据库维护索引的系统开销造成性能...

2018-11-25 18:23:59 137

转载 Oracle索引梳理系列（八）- 索引扫描类型及分析（高效索引必备知识）

理解oracle索引扫描类型的特点以及具体触发的条件，对于通过合理地使用索引，进行sql优化至关重要（例如组合索引的引导列的选择问题）。在总结索引扫描类型前，需要再次强调关于索引特点的几个关键点：对于单一列建立的索引，既单一列索引，b-tree中不保存索引列的null值信息对于多个列建立的索引，既组合列索引，b-tree中会连同其他非null值列，保留该列null值记录；对于一条记录中...

2018-11-25 18:23:18 354

转载 Oracle唯一约束中NULL处理

根据NULL的定义，NULL表示的是未知，因此两个NULL比较的结果既不相等，也不不等，结果仍然是未知。根据这个定义，多个NULL值的存在应该不违反唯一约束。 CREATE TABLE TESTAA (ID NUMBER)SELECT * FROM TESTAA;ALTER TABLE TESTAA ADD UNIQUE (ID);INSERT INTO TESTAA VALU...

2018-11-25 18:22:09 3449

转载 Oracle 表空间和数据文件之间的关系

首先，你需要明白的一点是：数据库的物理结构是由数据库的操作系统文件所决定，每一个Oracle数据库是由三种类型的文件组成：数据文件、日志文件和控制文件。数据库的文件为数据库信息提供真正的物理存储。每一个Oracle数据库有一个或多个物理的数据文件（data file）。一个数据库的数据文件包含全部数据库数据。逻辑数据库结构（如表、索引等）的数据物理地存储在数据库的数据文件中。数据文件通常为*....

2018-11-18 16:00:44 1586

转载浅析物化视图与查询重写(Enable query rewrite)

查询重写是指当对物化视图的基表进行查询时，Oracle会自动判断能否通过查询物化视图来得到结果，如果可以，则避免了聚集或连接操作，而直接从已经计算好的物化视图中读取数据通过如下实验说明，物化视图给我们带来的性能提高，以及查询重写的好处 1 执行一段普通的连接查询，并查看执行计划以及统计信息 SQL> alter system flush buffer_cache;...

2018-11-15 14:22:25 1122

转载 oracle完全删除实例

问题描述：　　重建oracle库实例，因此要删除数据库实例问题解决：　　利用自用自带的dbca库管理，实现图形化删除实例 01、登录安装oracle数据库的linux打开xshell企业版的Xmanager，观察启用窗口默认0.0[oracle@lab-100 ~]$ export DISPLAY=172.24.0.1:0.0 //linux主机图形化需要展示的目...

2018-11-14 20:26:30 4979

转载 oracle-数据库的各种-锁-详解

数据库是一个多用户使用的共享资源。当多个用户并发地存取数据时，在数据库中就会产生多个事务同时存取同一数据的情况。若对并发操作不加控制就可能会读取和存储不正确的数据，破坏数据库的一致性。如果是单用户的系统，那完全没有必要这个锁，就是因为有多用户并发操作，我们为了确保资源的安全性（也就是Oracle的数据完整性和一致性）才引申出这个锁出来。Oracle 利用其锁机制来实现事务间的数据并发访问及数据...

2018-11-14 17:17:02 636