![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
文章平均质量分 50
SYBY
这个作者很懒,什么都没留下…
展开
-
Spring一些注解的作用
首先,在项目中引用lombok.Data,@Data该注解通常用在实体bean上,不需要写出set和get方法,但是具备实体bean所具备的方法,简化编程。@JsonFormat注解是一个时间格式化注解,将数据库中的data类型的时间格式化为yyyy-MM-dd HH:mm:ss。如果@RequsetMapping注解,只写一个参数的化,默认是给value赋值,直接加servlet的名称。这里的value属性是一个字符串类型的数组,表示请求映射可以匹配多个请求地址所对应的请求。为了方便,首先通过导包。原创 2022-09-28 18:15:32 · 172 阅读 · 0 评论 -
数仓项目的集群脚本
hadoop的群起群停脚本zookeeper的群起群停脚本kafka的群起群停脚本用户行为日志采集端的Flume群起群停脚本用户行为日志采集端的Flume配置Flume的source,channel和sink分别使用如下类型:1.taildir source 2.kafka channel 3.未配置sink用户行为日志消费端的群起群停脚本用户行为日志消费端的Flume配置Flume的source,channel和sink分别使用如下类型:1.kafka sourc原创 2022-07-01 20:48:39 · 245 阅读 · 0 评论 -
Hive的复杂数据类型与举例
array建表定义:array < string>取值:arr[0]如何通过sql构造array:array(),collect_set()map建表定义:map 取值:map[‘key’]如何通过sql构造map:map(key1,value1,key2,value2,…),str_to_map(text[,delimiter1,delimiter2])struct建表定义:struct < id:int,name:string>取值:struct.id或者stru......原创 2022-07-01 12:52:01 · 1149 阅读 · 0 评论 -
SQL第二高的薪水,ifnull的使用
题目来源:LeetCode编写一个 SQL 查询,获取并返回 Employee 表中第二高的薪水 。如果不存在第二高的薪水,查询应该返回 null 。1、题目分析获取第二高的薪水,需要涉及去重distinct,排序order by和limit限制结果个数select distinct salary from Employee order by salary desc limit 1,1)但题目中还要求,若不存在第二高的薪水,返回Null,则需要使用ifnull(, null)判断ifnul原创 2022-05-21 11:38:08 · 272 阅读 · 0 评论 -
SQL按日期分组销售产品,使用group_concat和separator
题目来源:LeetCode编写一个 SQL 查询来查找每个日期、销售的不同产品的数量及其名称。每个日期的销售产品名称应按词典序排列,并用逗号隔开。返回按 sell_date 排序的结果表。1:题目分析①根据”按 sell_date 排序的结果表“,以及”查找每个日期、销售的不同产品的数量及其名称“,可以判断出需要对sell_date进行分组与排序,同时需要计算每个销售不同产品的数量。select sell_date, count(distinct product) as num_sold,p原创 2022-05-20 22:03:15 · 1764 阅读 · 1 评论 -
SQL计算特殊奖金,使用case-when-then-end和mod(a,b))
题目来源:LeetCode写出一个SQL 查询语句,计算每个雇员的奖金。如果一个雇员的id是奇数并且他的名字不是以’M’开头,那么他的奖金是他工资的100%,否则奖金为0。1、题目分析①:看到是什么,否则是什么,想到SQL的分支结构语句如:if 表达式1 then 操作1elseif 表达式2 then 操作2else 操作3end ifcase 表达式when 值1 then 结果1(语句1;)when 值2 then 结果2(语句2;)else 结果3(语句3;)end②原创 2022-05-19 13:07:10 · 554 阅读 · 1 评论 -
Hive的排序语句
Hive的全局排序(Order By)1、在Hive中使用Order By的话,reduce的个数始终默认为1,无法通过set mapreduce.job.reduces=num;来设置reduce的个数,并且排序速度较慢。Hive的分区排序1、当有大规模数据集,且不强制要求全局排序,以及数据分区排序规则时,可以只使用Sort By关键词。通过设置reduce的个数为num:set mapreduce.job.reduces=num;再通过Sort By,在每个reducer内产生一个排原创 2022-05-12 15:18:17 · 461 阅读 · 0 评论 -
TypeError: unhashable type: ‘numpy.ndarray‘错误解决
报错位置assert all([action_i in ACTION_MEANING.keys() for action_i in agents_action]), \ "Invalid action found in the list of sampled actions {}" \ ". Valid actions are {}".format(agents_action, ACTION_MEANING.keys())经检查,发现传给agents_原创 2022-04-17 14:53:25 · 8019 阅读 · 2 评论 -
RuntimeError: No CUDA GPUs are available报错解决
当程序中存在时,torch._C._cuda_init()报错RuntimeError: No CUDA GPUs are available。首先考虑两点:1、torch是否是gpu版本2、在下方语句所在文件,添加cuda检测****.to(device)cuda检测torch.cuda.device_count()torch.cuda.is_available()torch.cuda.device_count()3、继续百度...原创 2022-04-14 09:45:09 · 8996 阅读 · 6 评论 -
Hive本质、外部表、分区表优点与DDL语句
1、什么是Hive?Hive是基于Hadoop的一个数据仓库工具,将结构化的数据文件映射为一张表,提供与SQL类似的查询功能。1.1本质将HQL转换成MR程序Hive处理的数据存储在HDFS上,分析数据由MR实现,执行程序在YARN上。优点:适合处理对实时性要求不高的大数据。缺点:不适合迭代算法、数据挖掘。1.2Hive框架的驱动器具有哪些?(1)解析器(SQL Parser):将SQL字符串转换成抽象语法树(AST),这一步一般都用第三方工具库完成,比如antlr;对AST进行语法分析,比原创 2022-04-06 14:52:34 · 2424 阅读 · 0 评论 -
Hive的数据导入、导出
1.数据的导入1.1装载数据向表中装载数据load data [local] inpath '/opt/module/datas/test.txt' [overwrite] | into table 具体表 [partition (partcol1=val1,…)];local:表示从本地加载数据到hive表;否则从HDFS加载数据到hive表overwrite:表示覆盖表中已有数据,否则表示追加into table:表示加载到哪张表加载HDFS文件到hive中,需要先将文件上传到HDFS中原创 2022-04-06 20:45:23 · 1653 阅读 · 0 评论 -
Git工具提交文件过程记录
本篇用于记录自己Git工具的提交文件使用首先具备GitGit下载安装过程很简单,除了PATH建议选择第二个,可以省去配置环境步骤。1.首先在github创建仓库登录github:去new一个Repositories2.本地操作本地操作,与文件连接生成ssh密钥输入ssh-keygen -t rsa -C "邮箱地址"命令行,之后回车,直到出现下面方框从上图第二个横线的路径中去找id_rsa.pub文件,将生成的密钥复制到github的点击Add SSH key在bush框中输原创 2022-03-30 15:02:20 · 985 阅读 · 0 评论 -
xsync同步脚本的使用(自用记录)
1、首先需要具备rsync脚本.什么是rsync脚本和xsync脚本?rsync本身是同步,主要对差异文件做更新。xsync是对rsync的二次封装。借助rsync脚本实现循环复制文件到所有节点的相同目录下,省去了每次同步脚本时输入文件位置和不同目标用户的相同目录。yum -y install rsync2.其次编写xsync集群分发脚本注意: 脚本最好放在全局环境变量的路径下。#!/bin/bashif [ $# -lt 1 ]then echo Not Enough原创 2022-03-13 17:18:15 · 1299 阅读 · 0 评论 -
matplotlib,seaborn画图可用的十六进制颜色
颜色收集来源,色块参考 "aliceblue": "#f0f8ff", "antiquewhite": "#faebd7", "aqua": "#00ffff", "aquamarine": "#7fffd4", "azure": "#f0ffff", "beige": "#f5f5dc", "bisque": "#ffe4c4", "black": "#000000", "blanchedalmond": "#ffebcd", "b转载 2021-09-28 20:03:35 · 856 阅读 · 0 评论 -
LSTM原理的理解
文章目录一、LSTM是什么二、实现的主要流程1.sigmoid函数的使用2.LSTM的门(gate)Forget gate(遗忘门)Input gate(输入门)Output gate(输出门)总结参考一、LSTM是什么长短时记忆(LSTM)体系结构的设计是为了使信息在能够在需要之前的很长一段时间内都很容易记住。这个名字指的是一个网络的激活对应于短期记忆,而权重对应于长期记忆。如果这些激活可以长时间保存信息,那么它们就是长短时记忆。二、实现的主要流程1.sigmoid函数的使用有sigmoi.原创 2021-06-23 17:30:00 · 384 阅读 · 0 评论 -
针对AMESim安装中遇到的问题
针对AMESim安装中遇到的问题写在前面由于我之前安装了AMESim,但由于种种原因导致无法正常使用。后参考B站Jankin_GG的安装视频,按部就班,但还是遇到了如下问题,Simcenter Amesim model test initialization failed解决方法我发现后台进程lms和rlm文件没有运行,手动运行rlm,可以解决这个问题。可能是之前移动LMS_RLM_Server文件夹导致rlm和lms文件无法在后台进程自动运行(为移动文件夹删了一些东西)。为了让rlm和lms文件原创 2021-05-26 11:35:04 · 5346 阅读 · 2 评论 -
利用anaconda安装seaborn库,但提示报错:ModuleNotFoundError: No module named ‘seaborn‘
之前我利用anaconda利用pip install seaborn和matplotlib(输入完默认安装位置),但是怎么都运行不起来,在网上找了很多方法都没解决,由于之前遇到过类似问题,就想到了更改interpreter。举简单例子:首先输入好代码:import numpy as npimport seaborn as snsimport matplotlib.pyplot as pltimport pandas as pddf = pd.DataFrame({'x': np.arange原创 2021-01-13 17:12:32 · 5645 阅读 · 1 评论 -
如何使用anaconda安装pytorch
如何使用anaconda安装pytorch使用anaconda直接从网上下载其他安装方法使用anaconda直接从网上下载第一步:打开anaconda navigator第二步:在Environments栏,选择create第三步:点击create后,弹出对话框create new environment,输入创建环境名称,建议用pytorch命名,方便寻找。选择自己的python版本,以下图片是我安装时的操作。第四步:单击create会自动下载一下包第五步:打开anaconda pro原创 2020-11-26 20:10:36 · 2486 阅读 · 1 评论