SYBY-CSDN博客

原创 sql窗口函数的作用、分类与使用

LAST_VALUE()的括号中需要填写一个表中存在的字段。举个栗子：计算得出部门id为50或60且薪资大于5000的员工，且得出部门中薪资最多的一个人。RANGE BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING) AS '部门中薪资最多的一个人' FROM employees WHERE salary > 5000 AND department_id IN('60' , '50');

2022-11-03 22:16:00 960 1

原创 Spring一些注解的作用

首先，在项目中引用lombok.Data，@Data该注解通常用在实体bean上，不需要写出set和get方法，但是具备实体bean所具备的方法，简化编程。@JsonFormat注解是一个时间格式化注解，将数据库中的data类型的时间格式化为yyyy-MM-dd HH:mm:ss。如果@RequsetMapping注解，只写一个参数的化，默认是给value赋值，直接加servlet的名称。这里的value属性是一个字符串类型的数组，表示请求映射可以匹配多个请求地址所对应的请求。为了方便，首先通过导包。

2022-09-28 18:15:32 226

原创 Linux系统下的hadoop常用命令

选项： - f选项将在文件增长时输出附加数据，如在Unix中一样。

2022-09-28 11:10:20 1860

原创 hive的删库、表和装载数据

①：为了保证HDFS上有文件地址，首先mkdir文件地址，加-p可以创建多级目录。判断数据库是否存在，存在了删除。如果数据库不为空，强制删除加上cascade。最后，加载HDFS上的数据到表中，或者加载HDFS上的数据覆盖到表中数据。将数据上传到HDFS上后，导入hive表的操作。判断表是否存在，存在了删除表以及表结构。判断表是否存在，存了，即删除表的数据。序列化和反序列化根据自己需求设置。其次，上传文件到HDFS上。...

2022-08-31 17:25:40 911

原创关于parseByte()与getBytes()方法的举例说明

注意点：该方法传入的String必须是十进制的数字，包括第一个字符为ascll字符减号’-‘(‘u002D’)或是加号’+'(‘u002D’)来表示正和负的数字。parseByte(String s)方法用于返回与给定String表示形式相对应的字节值，换句话说，我们可以说此方法用于将字符串值转换为字节值。根据Java.lang.Byte.paraByte()的源码可知，传入字符串s，以10为基底转换为Byte。，使用指定的字符集将字符串编码为 byte 序列，并将结果存储到一个新的 byte 数组中。..

2022-08-15 17:38:44 373

原创 kafka-flink-mysql的流程

*//弃用的驱动 dataSource . setDriverClassName("com.mysql.cj.jdbc.Driver");dataSource . setPassword("自己的密码");} }/*log . info("获取数据库连接");//连接数据库 connection = DatabasesUtil . getConnection();//关闭自动提交 connection . setAutoCommit(false);...

2022-08-04 11:13:52 876

原创数仓项目踩坑记录与解决方法总结

记录在学习数仓项目时，运行程序所出现的问题，与解决方法。问题1 ：超出虚拟内存限制 beyond the ‘VIRTUAL’ memory limit报错内容：Container [pid=17246,containerID=container_1653382813166_0005_01_000002] is running 562797056B beyond the 'VIRTUAL' memory limit. Current usage: 422.6 MB of 1 GB physical me

2022-07-26 10:06:44 1182

原创 shell判断文件是否存在，判断文件大小是否为0

使用-f，-d，-e分别判断普通文件是否存在，目录是否存在，某东西是否存在，不限定为文件使用-s判断文件大小是否为0，以下代码表示如果$filename所表示的文件大小为0，则执行echo语句，并退出脚本。128为常用退出码，代表信号产生。其他常见退出码，可以。...

2022-07-18 17:18:48 3851

原创 python中%s和%r的区别

%s和%r都可以用来转换字符串%s -> str()%r -> repr()具体区别如下：区别总结：str直接了告诉用户string是什么，而repr较为规范的表示string

2022-07-08 11:30:40 878

原创数仓项目的集群脚本

hadoop的群起群停脚本zookeeper的群起群停脚本kafka的群起群停脚本用户行为日志采集端的Flume群起群停脚本用户行为日志采集端的Flume配置Flume的source,channel和sink分别使用如下类型：1.taildir source 2.kafka channel 3.未配置sink用户行为日志消费端的群起群停脚本用户行为日志消费端的Flume配置Flume的source,channel和sink分别使用如下类型：1.kafka sourc

2022-07-01 20:48:39 272

原创 Hive的复杂数据类型与举例

array建表定义：array < string>取值：arr[0]如何通过sql构造array：array(),collect_set()map建表定义：map 取值：map[‘key’]如何通过sql构造map：map(key1,value1,key2,value2,…),str_to_map(text[,delimiter1,delimiter2])struct建表定义：struct < id:int,name:string>取值：struct.id或者stru......

2022-07-01 12:52:01 1199

原创 SQL第二高的薪水,ifnull的使用

题目来源：LeetCode编写一个 SQL 查询，获取并返回 Employee 表中第二高的薪水。如果不存在第二高的薪水，查询应该返回 null 。1、题目分析获取第二高的薪水，需要涉及去重distinct，排序order by和limit限制结果个数select distinct salary from Employee order by salary desc limit 1,1)但题目中还要求，若不存在第二高的薪水，返回Null，则需要使用ifnull(, null)判断ifnul

2022-05-21 11:38:08 313

原创 SQL按日期分组销售产品，使用group_concat和separator

题目来源：LeetCode编写一个 SQL 查询来查找每个日期、销售的不同产品的数量及其名称。每个日期的销售产品名称应按词典序排列，并用逗号隔开。返回按 sell_date 排序的结果表。1：题目分析①根据”按 sell_date 排序的结果表“，以及”查找每个日期、销售的不同产品的数量及其名称“，可以判断出需要对sell_date进行分组与排序，同时需要计算每个销售不同产品的数量。select sell_date, count(distinct product) as num_sold,p

2022-05-20 22:03:15 1865 1

原创 SQL计算特殊奖金，使用case-when-then-end和mod(a,b))

题目来源：LeetCode写出一个SQL 查询语句，计算每个雇员的奖金。如果一个雇员的id是奇数并且他的名字不是以’M’开头，那么他的奖金是他工资的100%，否则奖金为0。1、题目分析①：看到是什么，否则是什么，想到SQL的分支结构语句如：if 表达式1 then 操作1elseif 表达式2 then 操作2else 操作3end ifcase 表达式when 值1 then 结果1(语句1;)when 值2 then 结果2(语句2;)else 结果3(语句3;)end②

2022-05-19 13:07:10 624 1

原创 Hive的排序语句

Hive的全局排序（Order By）1、在Hive中使用Order By的话，reduce的个数始终默认为1，无法通过set mapreduce.job.reduces=num;来设置reduce的个数，并且排序速度较慢。Hive的分区排序1、当有大规模数据集，且不强制要求全局排序，以及数据分区排序规则时，可以只使用Sort By关键词。通过设置reduce的个数为num：set mapreduce.job.reduces=num;再通过Sort By，在每个reducer内产生一个排

2022-05-12 15:18:17 486

原创 TypeError: unhashable type: ‘numpy.ndarray‘错误解决

报错位置assert all([action_i in ACTION_MEANING.keys() for action_i in agents_action]), \ "Invalid action found in the list of sampled actions {}" \ ". Valid actions are {}".format(agents_action, ACTION_MEANING.keys())经检查，发现传给agents_

2022-04-17 14:53:25 8130 2

原创 RuntimeError: No CUDA GPUs are available报错解决

当程序中存在时，torch._C._cuda_init()报错RuntimeError: No CUDA GPUs are available。首先考虑两点：1、torch是否是gpu版本2、在下方语句所在文件，添加cuda检测****.to(device)cuda检测torch.cuda.device_count()torch.cuda.is_available()torch.cuda.device_count()3、继续百度...

2022-04-14 09:45:09 9256 6

原创 Hive的数据导入、导出

1.数据的导入1.1装载数据向表中装载数据load data [local] inpath '/opt/module/datas/test.txt' [overwrite] | into table 具体表 [partition (partcol1=val1,…)];local:表示从本地加载数据到hive表；否则从HDFS加载数据到hive表overwrite:表示覆盖表中已有数据，否则表示追加into table:表示加载到哪张表加载HDFS文件到hive中，需要先将文件上传到HDFS中

2022-04-06 20:45:23 1702

原创 Hive本质、外部表、分区表优点与DDL语句

1、什么是Hive?Hive是基于Hadoop的一个数据仓库工具，将结构化的数据文件映射为一张表，提供与SQL类似的查询功能。1.1本质将HQL转换成MR程序Hive处理的数据存储在HDFS上，分析数据由MR实现，执行程序在YARN上。优点：适合处理对实时性要求不高的大数据。缺点：不适合迭代算法、数据挖掘。1.2Hive框架的驱动器具有哪些？（1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树(AST)，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比

2022-04-06 14:52:34 2491

原创 SQL的约束作用，创建与删除

为提高检索效率，如非查过全部列，最好使用select *。1.约束概述1.1 为什么需要约束？什么是约束？1)为了保证数据的完整性，防止错误和无效信息的输入输出。2)约束是对表中字段的强制规定。1.2 约束的分类：角度1：约束的字段的个数单列约束 vs 多列约束角度2：约束的作用范围列级约束:声明此约束声明在对应字段的后面表级约束：在表中所有字段都声明完，在所有字段的后面声明的约束角度3：约束的作用或功能① not null (非空约束)② UNIQUE 唯一约束，用来限制某个字段

2022-04-01 11:54:38 6277

原创 Git工具提交文件过程记录

本篇用于记录自己Git工具的提交文件使用首先具备GitGit下载安装过程很简单，除了PATH建议选择第二个，可以省去配置环境步骤。1.首先在github创建仓库登录github：去new一个Repositories2.本地操作本地操作，与文件连接生成ssh密钥输入ssh-keygen -t rsa -C "邮箱地址"命令行，之后回车，直到出现下面方框从上图第二个横线的路径中去找id_rsa.pub文件，将生成的密钥复制到github的点击Add SSH key在bush框中输

2022-03-30 15:02:20 1017

原创 SQL的执行顺序以及ON、WHERE、HAVING的区别

1、SQL99语句完整结构：SELECT...,...,...(存在聚合函数)FROM...（LEFT / RIGHT）JOIN ...ON 多表的连接条件(LEFT / RIGHT)JOIN ...ONWHERE ...(WHERE子句不能使用聚合函数)GROUP BY ...,...HAVING （HAVING子句可以包含聚合函数的过滤条件也可以不包含）ORDER BY ...,...(ASC / DESC)LIMIT ...,...;2、SQL语句的执行顺序FROM …,…-&g

2022-03-29 16:42:26 1598

原创 xsync同步脚本的使用（自用记录）

1、首先需要具备rsync脚本.什么是rsync脚本和xsync脚本？rsync本身是同步，主要对差异文件做更新。xsync是对rsync的二次封装。借助rsync脚本实现循环复制文件到所有节点的相同目录下，省去了每次同步脚本时输入文件位置和不同目标用户的相同目录。yum -y install rsync2.其次编写xsync集群分发脚本注意：脚本最好放在全局环境变量的路径下。#!/bin/bashif [ $# -lt 1 ]then echo Not Enough

2022-03-13 17:18:15 1342

转载 matplotlib，seaborn画图可用的十六进制颜色

颜色收集来源，色块参考 "aliceblue": "#f0f8ff", "antiquewhite": "#faebd7", "aqua": "#00ffff", "aquamarine": "#7fffd4", "azure": "#f0ffff", "beige": "#f5f5dc", "bisque": "#ffe4c4", "black": "#000000", "blanchedalmond": "#ffebcd", "b

2021-09-28 20:03:35 963

原创针对（java:10: 错误: 需要 ‘.class‘）报错改正得记录

Test1.java:10: 错误: 需要 ‘.class’String j1 = (t2 > 9)? char(t2 - 10 + ‘A’) + “” : t2 + “” ;^Test1.java:10: 错误: 需要’;’String j1 = (t2 > 9)? char(t2 - 10 + ‘A’) + “” : t2 + “” ;^Test1.java:10: 错误: 不是语句String j1 = (t2 > 9)? char(t2 - 10 + ‘A’)

2021-09-05 21:50:07 803

原创基础dos指令，创建删除等

从默认盘转入其他盘：C:\Users\Serenity>d:或C:\Users\Serenity>f:进入d盘，检查d盘目录：（C:\Users\孙>d:D:>dir）创建文件夹：D:>md java，在java内创建内嵌的两个文件夹（D:\java>md class1\class2）在java内创建两个在java内并列的文件夹(D:\java>md t1,t2)进入class2文件夹：方式1（D:\java>cd class1，D:\java\c

2021-08-21 12:20:25 183

原创 LSTM原理的理解

文章目录一、LSTM是什么二、实现的主要流程1.sigmoid函数的使用2.LSTM的门（gate）Forget gate(遗忘门)Input gate(输入门)Output gate(输出门)总结参考一、LSTM是什么长短时记忆(LSTM)体系结构的设计是为了使信息在能够在需要之前的很长一段时间内都很容易记住。这个名字指的是一个网络的激活对应于短期记忆，而权重对应于长期记忆。如果这些激活可以长时间保存信息，那么它们就是长短时记忆。二、实现的主要流程1.sigmoid函数的使用有sigmoi.

2021-06-23 17:30:00 421

原创针对AMESim安装中遇到的问题

针对AMESim安装中遇到的问题写在前面由于我之前安装了AMESim，但由于种种原因导致无法正常使用。后参考B站Jankin_GG的安装视频，按部就班，但还是遇到了如下问题，Simcenter Amesim model test initialization failed解决方法我发现后台进程lms和rlm文件没有运行，手动运行rlm，可以解决这个问题。可能是之前移动LMS_RLM_Server文件夹导致rlm和lms文件无法在后台进程自动运行（为移动文件夹删了一些东西）。为了让rlm和lms文件

2021-05-26 11:35:04 5894 2

SYBYy6的博客