- 博客(107)
- 收藏
- 关注
RSS订阅原创 layernorm笔记
每个样本（每个句子里面自己所有的词）自己算均值和方差，不需要存一个全局的均值和方差，因为是对每个样本做的norm。理论算矩阵中阴影面积中的方差和均值，实际算整个矩阵中的方差和均值阴影部分的长度为小批量中的句子长度，用0补全。预测时，如果预测样本的长度超过训练样本的最大长度，使用训练的均值和方差效果可能不是那么好。layer norm对每个句子的每个词做归一化。layer norm对每一个批次算均值和方差。batchnorm对每一个特征算均值和方差。矩阵中阴影部分的面积算方差和均值。在算均值和方差的上面。
2024-10-07 21:39:39
382
原创 【论文】Deep learning 笔记
深度学习由多个处理层组成的计算机模型以多层抽象的方式去学习数据的表达。使用反向传播（BP）算法，可以发现在大型数据集中的复杂结构。
2023-10-12 01:09:03
82
原创 数据导入hudi报错，错将字段写到hdfs路径上
数据导入hudi报错，错将字段写到hdfs路径上。如：Error trying to save partition metadata (this is okay, as long as atleast 1 of these succced), file:/qiche/hudi_table/冬天续航要打个八折的样子，能接受。高速相对市区还要耗电一些。不过这个车最主要是也就是在市区里面跑，而且...
2023-09-21 01:32:56
442
原创 【Linux】用户管理
在root ALL=(ALL) ALL 下面添加要增加sudo命令的用户。将用户添加至wheel组，Centos里面wheel具有sodo权限。修改/etc/sudoers。当前文件为只读，需要修改权限。
2023-07-29 21:55:45
425
原创 【Linux】配置java
etc/profile 会自动加载/etc/profile.d里面的.sh文件，为了方便管理，可以单独创建一个环境变量的文件 my_env.sh。环境变量文件里删除后，即使重新加载环境变量，环境变量的值仍存在。由于后续需要安装一些软件需要JAVA_HOME。用yum下载的软件的目录是软连接的。所以需要配置JAVA_HOME。
2023-07-29 20:56:56
459
原创 【Python】logging模块笔记
可以从数据库，配置文件读入，只要将输出接口的格式变成字典（json,xml)场景：输出格式和添加一些公共信息。
2023-07-29 01:26:38
562
1
原创 【SpringBoot】测试笔记
Wxtendwith (SpringExtension.class)作为@Springboottest和其他@..测试注释已经用它做了注解。，检索顺序为从当前包逐级向上找被@SpringBootApplication 或者 @SpringBootConfiguration注释的类。在SpringBoot2.2.0以前是JUnit4，在SpringBoot之后是JUnit5。面向整个业务功能，推荐使用。面向难以测试的边界功能。如果您使用的是JUnit 5，则不需要添加等效的代码。面向方法，测试成本较大。
2023-07-12 16:06:42
881
原创 【电影推荐系统】基于内容的推荐算法
根据电影标签进行相似推荐。基于UGC的推荐+IF-IDF优化。将标签内容进行提取，得到电影的内容特征向量，进而可以通过求取相似度矩阵；为了避免热门标签对特征提取的影响，通过 TF-IDF 算法对标签的权重进行调整，从而尽可能地接近用户偏好；
2023-07-06 16:15:48
564
原创 【电影推荐系统】实时推荐
sim(q,r)表示电影 q 与电影 r 的相似度，设定最小相似度为 0.6，当电影 q 和 电影 r 相似度低于 0.6 的阈值，则视为两者不相关并忽略；incount 表示 RK 中与电影 q 相似的、且本身评分较高（>=3）的电影个数；用户对电影的偏好随着时间的推移总是会发生变化的。2 备选电影(与评分电影的相似的电影)和评分过的电影，根据电影形似度矩阵计算相似度；recount 表示 RK 中与电影 q 相似的、且本身评分较低（<3）的电影个数；表示用户 u 对电影 r 的评分；
2023-07-06 16:13:00
570
原创 【电影推荐系统】统计性算法
从 MongoDB 中加载数据，将【电影平均评分统计】、【电影评分个数统计】、【最近电影评分个数统计】三个统计算法进行运行实现，并将计算结果回写到 MongoDB 中。在计算完整个电影的平均得分之后，将影片集合与电影类型做笛卡尔积，然后过滤掉电影类型不符合的条目。根据提供的所有电影类别，分别计算每种类型的电影集合中评分最高的10 个电影。根据历史数据中所有用户对电影的评分，周期性的计算每个电影的平均得分。根据评分，按月为单位计算最近时间的月份里面评分数最多的电影集合。自定义时间戳=>年月格式UDF。
2023-07-06 16:02:43
508
原创 【Linux】csv，xlsx乱码，解决linux和windows之间文件乱码
csv，xlsx乱码，解决linux和windows之间文件乱码，libiconv安装
2023-07-06 15:45:42
2442
3
原创 【热部署】springboot-devtools
spring-boot-devtools热部署是对修改的类和配置文件进行重新加载，所以在重新加载的过程中会看到项目启动的过程，其本质上只是对修改类和配置文件的重新加载，所以速度极快。Control+shift+Alt+/ 选择 Registry 选中打勾 “compiler.automake.allow.when.app.running”spring-boot-devtools 对于前端使用模板引擎的项目，能够自动禁用缓存，在页面修改后，只需要刷新浏览器器页面即可。
2023-06-30 01:37:35
767
原创 【OpenAI】API调用测试总结
您尝试读取环境变量 “OPENAI_API_KEY” 时，返回None或引发KeyError。重启一下python编辑器，如果还不行可以重启一下电脑。测试调用两次，如果输入接口不一样，则说明调用成功。
2023-05-15 23:44:25
2499
1
原创 【Spark】介绍 快速入门
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。HadoopHadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架作为Hadoop分布式文件系统，HDFS处于Hadoop生态圈的最下层，存储着所有的 数 据 ， 支 持 着Hadoop的 所 有 服 务。它 的 理 论 基 础 源 于Google的这篇论文，它是GFS的开源实现。MapReduce是一种编程模型，Hadoop根据。
2023-04-11 00:22:51
371
原创 【Scala】异常 隐式转换 泛型
1）我们将可疑代码封装在try块中。在try块之后使用了一个catch处理程序来捕获异常。如果发生任何异常，catch处理程序将处理它，程序将不会异常终止。2Scala的异常的工作机制和Java一样，但是Scala没有“checked（编译期）”异常即Scala没有编译异常这个概念，异常都是在运行的时候捕获处理。3）异常捕捉的机制与其他语言中一样，如果有异常发生，catch子句是按次序捕捉的。因此，在catch。
2023-04-08 20:48:35
478
2
原创 【Scala】模式匹配
Scala中的模式匹配类似于Java中的switch语法模式匹配语法中，采用match关键字声明，每个分支采用case关键字进行声明，当需要匹配时，会从第一个case分支开始，如果匹配成功，那么执行对应的逻辑代码，如果匹配不成功，继续执行下一个分支进行判断。如果所有case都不匹配，那么会执行case _分支，类似于Java中default语句。1）如果所有case都不匹配，那么会执行case _分支，类似于Java中default语句，
2023-04-08 20:32:53
898
1
山东省高考相关数据集（2020-2022）
2023-07-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人