- 博客(138)
- 收藏
- 关注
原创 hadoop的三大核心组件:hdfs+mapreduce+yarn
Tez比mapreduce快10倍,spark比mapreduce快100倍,但数据量小的时候没有优势。sqoop是ETL工具,所谓的ETL就是对数据进行清洗,转换,抽取这些工作。mapreduce读磁盘,spark读内存,所以spark更快。Oozie,azkaban是作业流调度系统(调度工具)mapreduce:负责计算(分布式并行编程模型)(把数据从mysql——业务数据库,拿到hdfs)yarn:负责资源的调度分配。hdfs:分布式存储系统。Flume是日志采集工具。
2024-07-14 14:46:25
111
原创 牛客网SQL160
2. 注意时间相关的函数,如果想当成数字取用要注意是不是带“-”的,小细节问题,如果带“-”,你和数字直接去比较肯定不一样。1. date_format中%Y和%y好像不一样;比较的时候一般用between and比较多。结果都是2021-09-25的格式。
2023-10-13 14:46:40
382
原创 牛客网SQL159
不然分析函数内部要排序,有自己的排序标准,你外面又要排序,多个排序标准,容易乱,一排序排错,就容易导致分析函数得到的结果也是错的。既涉及到分析函数(分组partition by,排序order by)最好把分析函数用完之后,得到要的东西之后,再单独order by一下。
2023-09-28 12:42:23
275
原创 牛客网SQL158
题目表达很有歧义,近30的这个概念没有描述清楚,看了题解里才知道是max(start_time) 前的30天,而且其实按照他给出的解释,10.31的前30天是10.2-10.31,实际上并不是30天,而是29天。
2023-09-20 11:05:43
127
原创 牛客网SQL157
select a.video_id 视频id,b.tag 类别标签,select 类别标签,sum(播放进度)/count(*) 平均播放进度。select 视频id,类别标签,播放时长/视频时长 播放进度。(format(平均播放进度*100,2),'%')b.duration 视频时长。order by 平均播放进度 desc。group by 类别标签。select 类别标签,
2023-09-19 11:02:39
298
原创 牛客网SQL156
要用left join,然后最后count时选择count的对象很重要,要count(c.video_id)方法二注意不能用where ,否则2002年完播率为0会直接被过滤掉,最后的结果都没有2002。
2023-09-18 17:24:15
274
原创 oracle中dml指令
这就是因为在两个窗口同时对同一张表进行操作,且update是dml可回滚指令,不像create,alter,truncate,drop这种ddl指令。比如对一个表的数据进行更新,查一下也确实更新了,没有保存,在另一个窗口查看会显示原来的数据,也不能对这个表进行更新。否则不能在另一个窗口同步数据或者进行其他操作。只要操作不管保不保存,都会立刻生效,不能撤回。在一个窗口对A进行dml操作,必须保存。
2023-08-21 16:34:35
58
原创 Oracle用命令导入表
3.输入授权命令 GRANT DBA TO scott;1.win+R 在cmd里面输入sqlplus。2.输入用户名system 密码 123456。5.再打开一个新的cmd窗口 输入命令。Oracle用命令导入表。4.关闭sqlplus。
2023-08-10 19:41:02
168
原创 SQL UNION 操作符
请注意,UNION 内部的每个 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时,每个 SELECT 语句中的列的顺序必须相同。UNION ALL 命令和 UNION 命令几乎是等效的,不过 UNION ALL 命令会列出所有的值。默认地,UNION 操作符选取不同的值。如果允许重复的值,请使用 UNION ALL。UNION 结果集中的列名总是等于 UNION 中第一个 SELECT 语句中的列名。UNION 操作符用于合并两个或多个 SELECT 语句的结果集。
2023-08-01 14:50:36
438
原创 union和union all
请注意,UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时,每条 SELECT 语句中的列的顺序必须相同。是一个计算机函数,用于合并两个或多个 SELECT 语句的结果集。
2023-08-01 14:40:36
485
转载 MySQL中NULL和空字符串的区别
有点复杂,大致浏览即可,暂时不用深究。以后涉及到这个地方的时候要具有敏感性。MySQL中NULL和空字符串的区别。
2023-07-31 21:23:32
53
原创 除......之外,不等于
SQL语句中的not in用法是一种常见的条件查询方式,它可以用于在查询结果中排除某些特定的值。not in语句通常与in语句相对应,in语句用于查询某些特定的值,而not in语句则用于查询除了这些特定值以外的所有值。=(其实是<>不等于的另外一种写法)
2023-07-31 19:37:59
175
原创 date日期相关操作汇总
insert时date字段插入形式为:to_date('2021-10-01 10:00:00','yyyy-mm-dd hh24:mi:ss')语法:where year(date)='2021' and month(date)='08';语法:where date_format(date,'%Y-%m')='2021-08';二、要求插入数据的date字段形式为:2021-10-01 10:00:00,问如何插入。语法:where date like '2021-08%';
2023-07-31 15:42:02
98
原创 统计2021年10月每个退货率不大于0.5的商品各项指标
这两个代码唯一的区别就是mysql支持ifnull,oracle不支持ifnull,oracle可以用coalesce,这个mysql也支持。
2023-07-30 14:11:29
269
原创 minus(Oracle)集合减运算符
Oracle 中没有table2.column_name,所以哪怕是用join模拟minus,在Oracle中还是要做一些改动,我是用的把table2所有字段都列出来,且均为空(不能随便选一个字段判断其为空,因为不能保证原本是否有空值,即是否有:不是因为左连接而产生的空值,而是原本在某一处就存在空值,这样数据会被误判。但是mysql可以使用join来模拟minus。minus集合减运算符,即两个集合进行相减。mysql不支持minus运算符。举例:显示表格中第3-5行的内容。
2023-07-29 17:26:06
1370
原创 order by
也可以用这种写法:order by 1(按照第1列进行排序),order by 1,2(按照第1列,第二列进行排序)order by:用于对结果集按照一个列或者多个列进行排序。升序:asc,降序:desc,默认按照升序对记录进行排序。
2023-07-28 09:00:45
123
原创 limit(mysql),rownum(Oracle)
但Oracle可以通过rownum来限制返回的结果集的行数,rownum并不是用户添加的字段,而是oracle系统自动添加的。Oracle数据库不支持mysql中limit功能。
2023-07-27 19:41:27
554
原创 substr
题:求出'SDR#SGSJ#SHGSF%##' 里面第二个# 和第三个#之间的内容。我们计算的是两个#的位置以及两个#位置的差值,但要截取的是两个#之间的字符串。1.找到第二个#和第三个#所在的位置。特别要注意加1减1的细节!不然就会多打或者少打一个字符。所以就可能会涉及到加1减1。2.然后截取这两位置之间。第2步用substr函数。第1步用instr函数。
2023-07-26 21:04:11
141
原创 length,replace
思路:首先将字符串中的1replace成null,然后将2个字符串的length相减即可。题:求出10101100里面有几个1。
2023-07-26 20:30:08
58
原创 instr字符查找函数(oracle用instr来代替like)
此参数可选,如果省略默认为1. 字符串索引从1开始。如果此参数为正,从左到右开始检索,如果此参数为负,从右到左检索,返回要查找的字符串在源字符串中的开始索引。此参数可选,如果省略,默认为 1。如果String2在String1中没有找到,instr函数返回0。如果String1或String2为Null,则返回Null。string2:要在string1中查找的字符串。string1:源字符串,要在此字符串中查找。instr函数:字符查找函数。要截取的字符串在源字符串中的。一个字符串在另一个字符串中。
2023-07-26 19:56:42
767
原创 数据结构KMP算法中课本上的next数组和nextval数组求解方法
next数组的求解方法是:第一位的next值为0,第二位的next值为1,后面求解每一位的next值时,根据前一位进行比较。首先将前一位与其next值对应的内容进行比较,如果相等,则该位的next值就是前一位的next值加上1;如果不等,向前继续寻找next值对应的内容来与前一位进行比较,直到找到(某个位上内容的)(next值对应的内容)与前一位相等为止,则(这个位对应的值)加上1即为需求的nex...
2018-10-14 20:40:34
6064
1
原创 HPU-并查集
A - The Suspects https://vjudge.net/contest/247051#problem/ASevere acute respiratory syndrome (SARS), an atypical pneumonia of unknown aetiology, was recognized as a global threat in mid-March 200...
2018-08-15 17:44:57
231
HPU-并查集
D - 还是畅通工程 https://vjudge.net/contest/247051#problem/D某省调查乡村交通状况,得到的统计表中列出了任意两村庄间的距离。省政府“畅通工程”的目标是使全省任何两个村庄间都可以实现公路交通(但不一定有直接的公路相连,只要能间接通过公路可达即可),并要求铺设的公路总长度为最小。请计算最小的公路总长度。 Input测试输入包含若干测试用例。...
2018-08-15 10:36:16
178
原创 HPU-并查集
B - 畅通工程 https://vjudge.net/contest/247051#problem/B某省调查城镇交通状况,得到现有城镇道路统计表,表中列出了每条道路直接连通的城镇。省政府“畅通工程”的目标是使全省任何两个城镇间都可以实现交通(但不一定有直接的道路相连,只要互相间接通过道路可达即可)。问最少还需要建设多少条道路? Input测试输入包含若干测试用例。每个测试用例的...
2018-08-15 10:02:01
187
原创 计算几何-17级暑期集训(判断三个数能不能构成三角形)
G - 三角形 https://cn.vjudge.net/contest/241309#problem/G给定三条边,请你判断一下能不能组成一个三角形。Input输入数据第一行包含一个数M,接下有M行,每行一个实例,包含三个正数A,B,C。其中A,B,C <1000;Output对于每个测试实例,如果三条边长A,B,C能组成三角形的话,输出YES,否则NO。Sa...
2018-08-14 16:34:00
791
原创 最短路代码归纳
djk: djk求单源最短路,邻接矩阵存图 时间复杂度o(n^2)#include <stdio.h>#include <queue>#include <string.h>using namespace std;// <2> djk求单源最短路,邻接矩阵存图 时间复杂度o(n^2)const int N = (int) 1000 ...
2018-08-14 16:33:53
426
原创 数塔
2018HPU暑期集训——动态规划入门C - 数塔https://vjudge.net/contest/244694#problem/C在讲述DP算法的时候,一个经典的例子就是数塔问题,它是这样描述的: 有如下所示的数塔,要求从顶层走到底层,若每一步只能走到相邻的结点,则经过的结点的数字之和最大是多少? 已经告诉你了,这是个DP的题目,你能AC吗?Input输入数据首先包...
2018-08-14 16:33:42
243
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人