- 博客(62)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 带你了解mysql的索引
3.1.1匹配最左前缀原理最左匹配就是最左边优先；创建组合索引时，要根据业务要求，where子句中使用最频繁的一列放在最左边。 组合索引的查找是先根据第一个字段查，然后再根据第二个字段查，或者只根据第一个字段查，但是不能跳过第一个字段，直接从第二个字段开始查，这就是所谓的最左前缀原理。例：在字段 id,cert_num,test_id上创建一个联合索引，索引顺序会首先按照id字段排序，然后再按照cert_num字段排序，最后是test_id字段。/========================
2021-07-10 18:06:08
174
2
原创 mysql的逻辑架构和事务
1.1 mysql逻辑架构最上层的服务并不是mysql所独有的,大多数基于网络的客户端/服务器的工具或者服务都有类似的架构.比如连接处理、授权认证、安全等等。第二层架构是mysql比较有意思的部分。大多数mysql的核心服务功能都在这一层，包括查询解析、分析、优化、缓存以及所有的内置函数（例如，日期、时间、数学和加密函数），所有跨存储引擎的功能都在这一层实现：存储过程、触发器、视图等。第三层包含了存储引擎。存储引擎负责Mysql中数据的存储和提取。存储引擎API包含几十个底层函数，用于执
2021-06-27 11:37:52
203
原创 oracle如何拆分以特定分隔的字段为多行
最近同事遇到一个问题,需要把一个字段内容按照;分隔成多行,通过度娘和查资料终于解决了这个问题,下来就来絮叨一下.刚开始查到的都是replace、substr和instr连用replace语法:replace(字符串,要被替换的字符,替换后的字符)substr语法:substr函数格式 (俗称：字符截取函数)格式1： substr(string string, int a, int b);格式2：substr(string string, int a) ;解析： ...
2021-01-09 18:54:06
4808
8
原创 replace和regexp_replace替换字符串
replace(字符串,要被替换的字符,替换后的字符)如果替换后的内容为空，则变成删除作用了replace(字符串,要被替换的字符)regexp_replace函数REGEXP_REPLACE(source, pattern, replace_str)source： 对应字段pattern: 正则表达式replace_str：替换成什么regexp_replace函数是replace函数的扩展函数，用于通过正则表达式来进行匹配替换，默认情况下，每次匹配到的正则..
2020-12-25 23:56:24
10295
原创 配置plsql环境变量和远程连接数据库
前提是把环境变量都配置好:为了防止数据库乱码:Path: 然后在C:\app\MrChang\product\11.2.0\dbhome_1\NETWORK\ADMIN的tnsnames.ora添加远程连接数据库的实例就可以了连接成功:Plsql里面的配置没有变还是plsq里面那两个,就可以连接:Oracle主目录名: C:\UserC:\Users\MrChang\Desktop\PLSQL\instantclient_11_2Oci库:..
2020-12-15 22:25:54
2900
原创 sql面试题
最近盆友给分享了几道sql的面试题,然后就写了下sql#表一:create table user_app(userid VARCHAR(20),appname VARCHAR(50),usernum BIGINT, #使用次数visit VARCHAR(20)); #访问天#表二:create table `user`(userid VARCHAR(20),city VARCHAR(50),sal BIGINT,job VARCHAR(20)); #上一份工作行业首先需要
2020-12-10 22:14:09
135
原创 hadoop集群namenode启动失败
启动hadoop集群报错:Call From NODE01/192.168.8.101 to NODE01:8485 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused;namenode启动失败start-dfs.sh启动的集群，journalnode.
2020-12-04 14:54:45
956
5
原创 level和minus的使用
-- level是从0开始的,它必须是和connect by一起使用的(个人理解相当于一个伪列)SELECT LAST_DAY(ADD_MONTHS(TO_DATE('2020-07-31', 'yyyy-mm-dd'), 1 - LEVEL)) AS YDRQ from DUALCONNECT BY LEVEL < 4--minus 是比较两个表中 a minus b 是在a中有b里面没有的insert into t_A (id, name, age, sex) va...
2020-11-26 10:19:52
338
原创 sql语句中的日期型数据相减时，如何只用年份和月份相减，得到相差月数？
sql语句中的日期型数据相减时，如何只用年份和月份相减，得到相差月数？Oracle的话直接有months_between函数但是直接用的话会有小数select Months_Between(a.D1,a.D2) c from AAA a;select Months_Between(to_date(TO_CHAR(a.D1, 'YYYY-MM'), 'YYYY-MM'), to_date(TO_CHAR(a.D2, 'YYYY-MM'), 'YY...
2020-08-23 14:03:32
4263
原创 hive、hadoop面试题
有如下hive记录表records，记录车辆的过车信息：create table records( id string, //记录编号 indate string, //过车记录时间 plate_no string, //车辆号牌 device_id int, //经过的设备编号)partitioned by(month string,day string)row format delimited fields terminated by '\t' stored as ORC;1...
2020-07-19 19:19:48
395
原创 sql拆分字符串 + 字符串指定字符个数统计
mysql字符串str 长度函数CHAR_LENGTH(str) 返回值为字符串str 的长度，长度的单位为字符。一个多字节字符算作一个单字符。对于一个包含五个二字节字符集, LENGTH()返回值为 10,而CHAR_LENGTH()的返回值为5。直接举个例子吧:(自己弄得数据)可以看到name是张三的work段里面包含、和汉字字符串先看一下length和CHAR_LENGTH 的区别:SELECT LENGTH(`work`) FROM stuSELECT CHAR_L.
2020-07-04 18:42:28
3352
2
原创 oracle解决表空间不足问题
ORA-00604: 递归sql级别1出现错误ORA-01654:索引SYS.I_COL1 无法通过 128 (在表空间SYSTEM中) 扩展这种情况是表空间不够需要查看表空间的容量,和表空间所对应的数据文件连上数据查看表空间情况:SELECT UPPER(F.TABLESPACE_NAME) "表空间名", D.TOT_GROOTTE_MB "表空间大小(M)", D.TOT_GROOTTE_MB - F.TOTAL_BYTES "已使用空间(M)", TO_CHAR(ROUND((D
2020-07-04 16:37:59
5294
2
原创 查看oracle数据库编码格式
查看oracle 数据库编码格式:SELECT value$ FROM sys.props$ WHERE name = 'NLS_CHARACTERSET' ;-- 查询oracle 相关参数查看nls_database_parameters系统配置NLS_DATABASE_PARAMETERS:显示数据库当前NLS参数取值，包括数据库字符集取值select * from nls_database_parameters;SELECT * FROM PROPS$;修改nls_data
2020-07-04 15:57:12
7599
2
原创 idea 设置日志级别
首先在pom文件中加入 log4j的maven依赖<dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>${log4j.version}</version></dependency>在src下创建一个 resource(mark directory as resource root),然后
2020-06-27 19:14:23
7624
2
原创 一次hive笔试题
题目一：selectt1.uid,t1.发过多少日记,t2.获得多少点赞from(selectuid，count(*) as 发过多少日记from T1group by uid)t1left join(selectuid,sum(like_uid) as 获得多少点赞from T1 join T2on T1.log_id =T2.log_idgroup_by uid)t2on tt1.uid=tt2.uid题目二：1.selectidfrom(sel
2020-05-11 21:18:05
487
原创 sql各种join详解
话不多说直接来图stu表stu2表left joinjoin之后得到的是stu表和stu2表的共有部分selectstu.id,stu.name,stu.age,stu.workfrom stuleft join stu2on stu.id = stu2.id发现lef tjoin之后都是stu表里面的数据，前提是 select 左表.字段如果是 select 右表....
2020-04-14 15:44:24
270
转载 sql常用的7个优化方案
1、注意通配符中Like的使用以下写法会造成全表的扫描，例如：select id,name from userinfo where name like ‘%name%’或者select id,name from userinfo where name like ‘%name’下面的写法执行效率快很多，因为它使用了索引select id,name from userinfo where ...
2020-04-13 20:42:10
400
原创 Flink运行jar包时报错
Flink运行jar包是报错查看Flinkweb 日志造成的原因是 jar里面的flink版本和虚拟机里面的版本不一致造成,把代码里面的Flink版本改成与Flink一直就可以了执行查看flink版本的命令 flink -v因为我的flink版本是1.7是老版本 安装包理会自带 相应的hadoop jar包如果是1.9版本的flink 还需要自己下载hadoop jar包 从 f...
2020-02-26 13:01:15
2442
原创 数仓增量更新数据
数仓 资源层 增量 更新数据select * from 库2.表1union allselect a.* from 库1(原始数据层).表1 aleft outer join 库2(资源层).表1 bon a.id = b.id where b.id is null;然后根据分区字段 加载入新的分区insert overwrite table 资源库.资源表(PARTITION(l...
2020-02-25 10:10:12
838
4
原创 oracle之执行计划
sql调优就是通过各种手段和方法是优化器选择最佳执行计划，以最小的资源消耗获取到想要的数据。①使用SET AUTOT ON 查看执行计划②使用set autot trace查看执行计划3.1.2 使用EXPLAIN PLAN FOR 查看执行计划查看高级(ADVANCED)执行计划3.1.3 查看带有 A-TIME 的执行计划alter session set statistics_level=all;或者在sql语句中添加hint:/*+ gather_plan_statistics */
2022-06-28 23:03:38
2172
原创 DB2操作手册
1.1 数据库的启停启动数据库： db2start关闭数据库： db2stop（在关闭前先执行db2 force application all(关闭所有正在执行的连接)）或者直接执行db2stop force(不是优先选择))# --有时候db2 force application all关闭不了一些active的连接时可以使用db2stop force1.2 数据库的创建及删除创建数据库： db2 "create database db_name using codeset UTF-
2022-05-01 20:19:24
7354
原创 MYSQL查询过程
客户发送一条查询(sql语句)给服务器; 服务器先检查查询缓存,如果命中了缓存,则立刻返回存储在缓存中的结果,否则进入下一阶段; 服务器端进行sql解析、预处理，再由优化器生成对应的执行计划； MYSQL根据优化器生成的执行计划，调用存储引擎的API来执行查询； 最后将结果返回客户端 ...
2022-04-26 18:56:40
1206
原创 hive中的join
1.1.JOIN语句HIVE 支持通常的SQL JOIN语句,但是只支持等值连接;hive目前还不支持在ON 子句中使用OR；1.1.1.INNER JOIN内连接(INNER JOIN),只有进行连接的两个表中都存在与连接标准相匹配的数据才会被保留下来。eg：SELECT A.FIELDS, B.FIELDS FROM TABLE_A A JOIN TBALE_B B ON A.KEY = B.KEY --这个例子中，只有A表和B表的交集才会被保留下来；1.1.2.LEFT O
2022-03-27 21:49:53
2955
原创 2021-10-24(connect by递归)
create table a_test( parentid varchar2(10), subid varchar2(10));insert into a_test values ( '1', '2' );insert into a_test values ( '1', '3' );insert into a_test values ( '2', '4' );insert into a_test values ( '2', '5' );insert into a_test value...
2021-10-24 23:47:27
104
原创 sql常用函数大全
sql函数大全:1.日期和字符转换函数用法：（to_char,to_date，to_number）使用to_date函数将字符转换成日期。使用to_char函数对日期的转换，并也可以对数字转换。使用to_number函数将字符转换成数字格式：必须包含在单引号中且大小写敏感；可以包含任意的有效的日期格式；日期之间用逗号隔开。注意：（1）Dual 是一个‘伪表’作用于用来测试函数和表达式；（2）sysdate 格式化当前系统日期和时间2.日期函数调试：1.Months_between //两个日
2021-04-19 20:17:25
12048
原创 hive之udf
hive之udf1.什么是udfUDF（User-Defined Functions）即是用户自定义的hive函数。hive自带的函数并不能完全满足业务的需求，这时就需要我们自定义函数了。官网参考地址：LanguageManual UDF2.udf的分类udf:输入一条数据输出一条数据,相当于substr()函数;udaf:输入多条输出一条，相当于聚合函数，count（）；udtf：输出一条，输出多条，如lateral view 与 explode3.pom依赖<properties
2021-04-12 23:53:48
3124
原创 oracle自动备份脚本之exp和expdp
#oracle自动备份脚本，删除30天之前的文件#exp:空表导不出来#首先设置环境变量export ORACLE_BASE=路径export ORACLE_HOME=路径export ORACLE_SID=实例名export PATH=$PATH:$ORACLE_HOME/binexport NLS_LANG=American_America.AL32UTF8 DATE_TIME=$(date '+%Y%m%d')#BASE_PWD=$(cd "$(dirname "$0")";p...
2021-04-06 10:16:11
748
原创 linux之sftp
sftp命令sftp命令全称是Secure File Transfer Protocol。是一款交互式的文件传输程序，sftp命令的运行和使用方式与ftp命令相似，但是，sftp命令对传输的所有信息使用ssh加密，它还支持公钥认证和压缩等功能。语法格式sftp [参数] [IP或主机名]常用参数：-B指定传输文件时缓冲区的大小-Pport，制定连接的端口号-l使用ssh协议版本1-b指定批处理文件-C使用压缩-o指定ssh选项-F指定s
2021-03-28 20:59:20
575
2
原创 shell之定时器Crontab
shell之定时器Crontabcron介绍我们经常使用的是crontab命令是cron table的简写，它是cron的配置文件，也可以叫它作业列表，我们可以在以下文件夹内找到相关配置文件。/var/spool/cron/ 目录下存放的是每个用户包括root的crontab任务，每个任务以创建者的名字命名/etc/crontab 这个文件负责调度各种管理和维护任务。/etc/cron.d/ 这个目录用来存放任何要执行的crontab文件或脚本。我们还可以把脚本放在/etc/cron.hour
2021-03-28 20:52:24
594
3
原创 shell
shell脚本在说什么是shell脚本之前，先说说什么是shell。shell是外壳的意思，就是操作系统的外壳。我们可以通过shell命令来操作和控制操作系统，比如Linux中的Shell命令就包括ls、cd、pwd等等。总结来说，Shell是一个命令解释器，它通过接受用户输入的Shell命令来启动、暂停、停止程序的运行或对计算机进行控制。shell 是一个应用程序，它连接了用户和 Linux 内核，让用户能够更加高效、安全、低成本地使用 Linux 内核，这就是 Shell 的本质。shell
2021-03-06 20:54:27
764
原创 解决oracle数据库监听起不来的问题
oracle监听报错:LSNRCTL for Linux: Version 11.2.0.4.0 - Production on 26-JAN-2021 14:38:36Copyright (c) 1991, 2013, Oracle. All rights reserved.Connecting to (DESCRIPTION=(ADDRESS=(PROTOCOL=IPC)(KEY=EXTPROC1521)))TNS-12541: TNS:no listenerTNS-12560: TN..
2021-01-26 21:49:50
1473
原创 java连接oracle数据库
首先需要把oracle的驱动放到idea里面(oracle的驱动在product\11.2.0\dbhome_1\jdbc\lib这个目录下)在src同级目录建立一个lib,然后把oracle的驱动发到lib目录下面下一步需要点击Project Structure这样就可以连接oracle了,下面附上代码public class ConnectOracle { public static void main( String[] args ) { //1.
2021-01-15 17:23:54
320
转载 Oracle 11g 安装教程
Oracle11g下载首先，需要到 Oracle 官方网站下载Oracle数据库。Oracle11g 官网下载地址：点击下载下载的时候注意选对版本，因为我们是要在 Windows1064 位电脑上进行安装，所以选择 Windows X64 的版本，如下图：Oracle11g安装步骤Oracle11g下载完成后，解压到一个空的文件夹，然后双击setup.exe文件，就可以开始安装Oracle数据库了。执行安装程序后会出现如下的命令提示行。 ...
2021-01-07 22:32:36
266
原创 lunix环境安装好oracle启动的时候报错；ORA-01078: failure in processing system parameters
lunix安装好Oracle，启动的时候却报错：ORA-01078: failure in processing system parametersLRM-00109: could not open parameter file '/orahome/app/oracle/product/11.2.0/dbhome_1/dbs/initorcl.ora'查找文件这个initorcl.ora文件是不存在的解决方法：将$ORACLE_BASE/admin/数据库名称/pfile目录下的i
2020-09-20 20:41:26
266
原创 lunix创建用户
lunix创建用户:sudo useradd 用户名设置用户密码sudo passwd 密码(密码不小于8位)输入密码时光标不会动,也不会显密码,需要重新输入密码cat /etc/passwd可以查看所有用户的信息看第三个参数:500以上bai的,就是后面建的用户了.其它则为系统的用户.或者用cat /etc/passwd |cut -f 1 -d :用户管理命令useradd 注：添加用户adduser 注：添加用户passwd 注：为用户设置密码user
2020-09-20 16:50:19
508
原创 rar压缩工具在lunix下安装和使用
linux中默认的tar命令用于解压压缩文件，但是tar命令不支持rar文件的解压和压缩，需要安装rar解压工具，实现rar命令解压rar压缩包。1.下载rarlab软件官网下载页面：https://www.rarlab.com/download.htmrar工具软件下载地址(RAR 5.50 for Linux x64)：https://www.rarlab.com/rar/rarlinux-x64-5.5.0.tar.gz...
2020-08-20 14:07:02
1694
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人