自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(77)
  • 收藏
  • 关注

原创 hive--字符串连接函数concat(),concat_ws()

功能:和concat()一样,将多个字符串连接成一个字符串,但是可以一次性指定分隔符~(concat_ws就是concat with separator)语法: concat_ws(string SEP, string A, string B…说明:返回输入字符串连接后的结果,SEP表示各个字符串间的分隔符。语法: concat(string A, string B…说明:返回输入字符串连接后的结果,支持任意个输入字符串。功能:将多个字符串连接成一个字符串。返回值: string。返回值: string。

2024-02-28 09:00:00 565

原创 hive--字符串截取函数substr(),substring()

语法:返回值:string说明:返回字符串Ahiveselectsubstr'abcde'3cdehiveselectsubstring'abcde'3cdehiveselectsubstr'abcde'-1e语法:返回值:string说明:返回字符串A​​​​​​​举例:hiveselectsubstr'abcde'32cdhiveselectsubstring'abcde'32cdhive。

2024-02-28 09:00:00 590

原创 SQL--字符串反转函数 reverse() 简单明了

返回字符串A的反转结果。

2024-02-27 09:42:06 324

原创 SQL数学函数--pow(),abs() 函数 全面且详细

语法:返回值:double说明:返回a的p次幂hiveselect pow24;160语法:返回值:说明:返回数值a的绝对值hiveselect abs(-3939hiveselect abs109109。

2024-02-27 09:39:59 644 3

原创 hive内置函数--floor,ceil,rand三种取整函数

返回一个0到1范围内的随机数。如果指定种子seed,则会返回固定的随机数。返回等于或者小于该double变量的最大的整数。返回等于或者大于该double变量的最小的整数。

2024-02-26 16:51:49 733

原创 SQL语句中的join语句 全面且详细

满外连接:将会返回所有表中符合WHERE语句条件的所有记录。进行连接操作,然后会再启动一个MapReduce job将第一个MapReduce job的输出和表。注意:连接 n个表,至少需要n-1个连接条件。内连接:只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。右外连接:JOIN操作符右边表中符合WHERE子句的所有记录将会被返回。左外连接:JOIN操作符左边表中符合WHERE子句的所有记录将会被返回。多表连接查询,查询老师对应的课程,以及对应的分数,对应的学生。

2024-02-26 16:41:57 566

原创 hive表中的数据导出 多种方法详细说明

基本语法:(hive -f/-e 执行语句或者脚本 > file)3)将查询的结果导出到HDFS上(没有local)2)将查询的结果格式化导出到本地。1)将查询的结果导出到本地。

2024-02-25 11:27:50 511

原创 hive表中导入数据 多种方法详细说明

- 创建 db_myhive_5-- 创建表score intloaddatalocalinpathscore.txt'overwriteintotabletb_scorepartitionmonth'202006'通过方式加载数据createtablescore3liketb_score;

2024-02-25 11:21:15 1190

原创 Linux--shell编程中分区表常用操作 全面且详细

在大数据中,最常用的一种思想就是分治,我们可以把大的文件切割划分成一个个的小的文件,这样每次操作一个小的文件就会很容易了,同样的道理,在hive当中也是支持这种思想的,就是我们可以把大的数据,按照每天,或者每小时进行切分成一个个的小的文件,这样去操作小的文件就会容易得多了。:添加分区之后就可以在hdfs文件系统当中看到表下面多了一个文件夹。

2024-02-24 17:43:02 948

原创 Linux--shell编程中内部表和外部表之间的转换

注意:('EXTERNAL'='TRUE')和('EXTERNAL'='FALSE')为固定写法,区分大小写!

2024-02-24 17:36:54 170

原创 Linux--shell中内部表与外部表的区别

如果数据已经存在HDFS上, 而且这份数据除了你要用, 其他人也要使用, 此时请构建外部表,当构建外部表以后,对数据进行分析处理操作, 得到一张结果表, 这个结果表建议使用内部表。外部表在删除表的时候, 只会删除自己的元数据信息, 不会删除表中的数据。内部表在删除表的时候, 会连带将表的元数据 和 表中数据 全部都删除。创建表的时候, 不需要添加 external关键词。创建表的时候, 需要添加 external 关键词。

2024-02-23 11:13:33 106

原创 shell--输出指定行 多种方法详细说明

head 命令可用于查看文件的的内容,有一个常用的参数 -n 用于显示行数,默认为 10,即显示 10 行的内容。head [参数] [文件]tail 命令可用于查看文件里的的内容显示在屏幕上,并且不断刷新,只要 filename 更新就可以看到最新的文件内容。tail [参数] [文件]AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。Linux sed 命令是利用脚本来处理文本文件。sed 可依照脚本的指令来处理、编辑文本文件。

2024-02-23 11:10:39 1000

原创 hive--外部表常用操作 全面且详细

在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的hdfs目录下,向该目录添加新文件的同时,该表也会读取到该文件(当然文件格式必须跟表定义的一致)。外部表因为是指定其他的hdfs路径的数据加载到表当中来,所以hive表会认为自己不完全独占这份数据,所以删除hive外部表的时候,数据仍然存放在hdfs当中,不会删掉。Load命令用于将外部数据加载到Hive表中loaddatalocalinpathoverwriteinto。

2024-02-22 12:23:38 1441

原创 Hive--内部表常用操作 全面且详细

表示数据将以文本文件的形式存储在Hadoop分布式文件系统(HDFS)中。查看数据库和HDFS,发现删除内部表之后,所有的内容全部删除。注意: 只拷贝指定表的结构, 不拷贝表的数据。: 定义字段与字段之间的分隔符号为 \t。默认的分隔符符号为: \001。

2024-02-22 09:00:00 391

原创 HDFS中常用的Shell命令 全面且详细

安装好hadoop环境之后,可以执行hdfs相关的shell命令对hdfs文件系统进行操作,比如文件的创建、删除、修改文件权限等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、mkdir、rm等。一、ls命令二、mkdir 命令。

2024-02-21 12:30:00 792

原创 Hive--删除数据库

删除一个空数据库,如果数据库下面有数据表,那么就会报错。强制删除数据库,包含数据库下面的表一起删除。

2024-02-21 12:30:00 491

原创 Linux--shell编程中有关while循环的详细内容

以下是一个基本的while循环,测试条件是:如果int小于等于5,那么条件返回真。如果无一匹配模式,使用星号 * 捕获该值,再执行后面的命令。可以用case语句匹配一个值与一个模式,如果匹配成功,执行相匹配的命令。在循环过程中,有时候需要在未达到循环结束条件时强制跳出循环,Shell使用两个命令来实现该功能:break和continue。continue命令与break命令类似,只有一点差别,它不会跳出所有循环,仅仅跳出当前循环。运行代码发现,当输入大于5的数字时,该例中的循环不会结束,语句。

2024-02-20 19:12:45 713

原创 Linux--shell编程中有关数组的详细内容

"数组元素个数为: ${#my_array[*]}""数组元素个数为: ${#my_array[@]}""第一个元素为: ${my_array[0]}""第二个元素为: ${my_array[1]}""第三个元素为: ${my_array[2]}""第四个元素为: ${my_array[3]}""数组的元素为: ${my_array[*]}""数组的元素为: ${my_array[@]}"与大部分编程语言类似,数组元素的下标由0开始。数组的元素为: A B C D。数组的元素为: A B C D。

2024-02-20 19:06:05 598

原创 Linux--shell编程中的for循环

当变量值在列表里,for循环即执行一次所有命令,使用变量名获取列表中的当前取值。:用于指定变量循环的次数,如 i<=100,则只要 i 的值小于等于 100,循环就会继续。每次循环之后,变量该如何变化,如 i=i+1,代表每次循环之后,变量的值都加 1。语法二和其他语言中的 for 循环类似,也就是事先决定循环次数的固定循环。in列表是可选的,如果不用它,for循环使用命令行的位置参数。:在循环开始时,需要给某个变量赋予初始值,如 i=1。4)求1-100的和。#输出从1加到100的和。

2024-02-19 15:09:43 618

原创 Linux--shell编程中的if语句

if 语句语法格式:thencommand1command2...commandNfi1)判断当前系统是否有多个ssh进程,如果有则打印truetest12.sh/bin/bashifgt1thenecho"true"fi2)判断/media/cdrom文件是否存在,若不存在就去创建这个目录test13.sh/bin/bashDIRif!

2024-02-19 14:25:18 1368

原创 Linux中获取字符串长度与获取子字符串

bin/bashstring"jobs"echo${string}# 输出结果: jobsecho${#string}# 输出结果: 4以下实例从字符串第个字符开始截取个字符:/bin/bashstr"敢于亮剑决不后退"echo${str:2:2}# 输出结果为: 亮剑。

2024-02-18 22:43:17 391

原创 Linux中字符串使用单引号与双引号的区别

单引号里的任何字符都会原样输出,单引号字符串中的变量是无效的,单引号字串中不能出现单独一个的单引号(对单引号使用转义符后也不行),但可成对出现,作为字符串拼接使用。str="我很崇拜 \$name"str='我很崇拜 $name'str="我很崇拜 $name"双引号里可以出现转义字符。name='钱学森'我很崇拜 $name。name="钱学森"name="钱学森"

2024-02-18 22:40:48 368

原创 MySQL--coalesce()函数

COALESCE是一个函数, (expression_1, expression_2, ...,expression_n)依次参考各参数表达式,遇到非null值即停止并返回该值。如果所有的表达式都是空值,最终将返回一个空值。,那么无论period是否为null,都将返回success_cnt的真实值(因为success_cnt是。l的时候,返回period的真实值。只有当success_cnt和period。值的时候,将返回1,否则将返回success_cnt的真实值。参数),当success_cnt为。

2024-02-03 12:28:58 190

原创 SQL--IFNULL()、NULLIF()、ISNULL()函数 简单明了的讲解

在MySQL中可以使用IFNULL()、NULLIF()、ISNULL()函数进行流程的控制。

2024-02-03 12:28:41 349

原创 MySQL-- if()函数 简单明了

实例2:在学生表中,将学生编号小于等于3的学生,分为1班,学生编号在4-6的学生,分为2班,学生编号大于等于7的学生,分为3班,最后显示Sid,Sname,所在班级这三列。实例1:在学生表中,将1995年以后出生的学生划分为2班,将1995年(包括1995)之前的学生划分为1班,最后显示Sname,实例3:将学生表和教师结合使用,计算班主任所带的学生数量,大于等于5人以上的显示:5人以上,人数小于5人的显示:5人以下。

2024-02-02 18:57:34 500

原创 MySQL--case语句 简单明了

对于每个股票,它会将所有的卖出(operation='sell')操作的价格(price)相加,并将所有的买入(operation='buy')操作的价格。,多个WHEN子句中的表达式依次执行,如果表达式结果为真,则执行相应THEN关键字后面的表达式或语句,执行完毕之后跳出CASE语句。如果所有WHEN语句都为FALSE,则执行ELSE子句中的语句。,将CASE后的表达式的值与各WHEN子句的表达式值比较,如果相等,则执行THEN后面的表达式或语句,然后跳出CASE语句;否则,返回ELSE后面的表达式。

2024-02-02 12:01:59 757

原创 SQL中having与where的区别 简单明了

having子句与where都是设定条件筛选的语句,有相似之处也有区别。having是在分组后对数据进行过滤。where是在分组前对数据进行过滤。where后面不可以使用聚合。having后面可以使用。

2024-02-01 18:57:02 620

原创 详细解说MySQL中data_sub()函数

DATE_SUB() 函数从日期减去指定的时间间隔。

2024-02-01 18:54:47 1040

原创 MySQL窗口函数--lag()函数

该函数有三个参数:第一个为待查询的参数列名,第二个为向上偏移的位数,第三个参数为超出最上面边界的默认值。查询当前行向上偏移n行对应的结果。查询向上偏移 1 位的年龄、

2024-02-01 12:22:36 293

原创 MySQL窗口函数--lead()函数

该函数有三个参数:第一个为待查询的参数列名,第二个为向下偏移的位数,第三个参数为超出最下面边界的默认值。查询当前行向下偏移n行对应的结果。查询向下偏移 2 位的年龄。LEAD()函数图示。

2024-01-31 23:49:31 364

原创 窗口函数rows between 、range between的区分

移动窗口,顾名思义,“窗口”(也就是操作数据的范围)不是固定的,而是随着设定条件逐行移动的。在over后面的子句中,使用rows加“范围关键字”可以设置移动窗口,语法如下:其中,“范围起始行”和“范围终止行”使用特定关键字表示,常用的特定关键字如下。• n preceding:当前行的前n行。• n following:当前行的后n行。• current row:当前行。• unbounded preceding:第1行。• unbounded following:最后1行。

2024-01-30 20:07:09 369

原创 MySQL前百分之N问题--percent_rank()函数

PERCENT_RANK()函数用于将每行按照(rank - 1) / (rows - 1)进行计算,用以求MySQL中前百分之N问题。其中,rank为RANK()函数产生的序号,rows为当前窗口的记录总行数。PERCENT_RANK()函数返回介于 0 和 1 之间的小数值。

2024-01-29 21:12:14 374

原创 MySQL-窗口函数 简单易懂

(2)<窗口函数>后面的over关键字括号里的内容有两部分:一个是partition by,表示按某列分组;(3)因为窗口函数通常是对where或者group by子句处理后的结果进行操作的,所以窗口函数原则上只能写在select子句中。• 如何用窗口函数解决排名问题、Top N问题、前百分之N问题、累计问题、每组内比较问题、连续问题。再如,公司对各月发放的工资累计求和,医院要经常统计累计患者数,这类问题就是累计问题。再如,要分析复购用户有多少,这类问题属于前百分之N的问题。一种是专用窗口函数,比如用于。

2024-01-28 17:06:52 537

原创 MySQL-round()四舍五入取整函数

ROUND() 函数将数字四舍五入到指定的小数位数。

2024-01-28 16:56:01 406

原创 MongoDB-数据库文档操作(2)

find() 方法可以传入多个键 (key),每个键 (key) 以逗号隔开,即常规 SQL 的 AND 条件。然后查看 stu1 ,命令和结果如图1所示(因为我们没有设置。文档数据在 MongoDB 中的查询和删除。

2024-01-16 22:22:36 687

原创 MongoDB-数据库文档操作(1)

文档的数据结构和 JSON 基本一样,所有存储在集合中的数据都是 BSON 格式。BSON 是一种类 JSON 的一种二进制形式的存储格式,简称: Binary JSON。这时用 save() 方法来更新修改一下 person3 的数据就比较方便。由于信息有误,上面 birthday 的格式错了,该怎么去修改这个字段的值呢?更新文档主要会用到 update() 方法和 save() 方法。update() 方法仅适用于修改某条数据中的某个键值;文档数据在 MongoDB 中的插入和更新。

2024-01-16 22:06:17 1013

原创 MySQL中判断字段的字符数

用于返回字符串的长度,长度单位为字符不管汉字,数字或是字母都算是一个字符包括也算是一个字符。

2024-01-16 00:56:02 581

原创 C++版-学生考勤系统 不能运行私信骂我

有问题私信问我,也可以查看C语言的相关代码注释,可以帮助你更好理解C++版。若想查看C语言版,请移步主页。

2023-12-21 11:29:51 370

原创 C语言版-学生考勤系统 不能运行私信骂我

若想查看C++版,请移步主页查看。代码都有注释,也可以私信问我。

2023-12-21 11:26:43 432

原创 使用Redis构建简易社交网站(3)-状态与信息流

pipeline:将多条命令按照先后顺序放进一个队列中,一般配合execute一同使用,原子性(atomic)地执行队列里的命令。本文目的:实现获取主页时间线和状态推送功能。(完整代码附在文章末尾)zrevrange:按分值递减的顺序返回有序集合中指定区间内的成员。zadd:将成员加入到有序集合中,并确保其在正确的位置上。zrange:返回有序集合中指定区间内的成员。hgetall:返回哈希表中所有的域-值对。,通过下标即可获取对应命令的执行结果。hget:从哈希中获取指定域的值。

2023-11-30 09:23:07 176

课程试卷库.zip

课程试卷库.zip

2023-12-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除