![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
fizzer_
这个作者很懒,什么都没留下…
展开
-
可视化分析torch.optim.lr_scheduler中的不同学习率方法
pytorch的在学习率的调整上提供了很多自定义的函数可供使用,让我们一起来可视化看看呗说明:pytorch版本为准备过程class model(nn.Module): def __init__(self): super().__init__() self.conv1 = nn.Conv2d(in_channels=3, out_channels=3, kernel_size=3) def forward(self, x): pa原创 2020-10-22 16:27:07 · 915 阅读 · 0 评论 -
pairwise相似度计算
gensim 相似度计算做了一个比赛,其中为了更好的构建负样本,需要计算不同句子之间的相似性,句子大概有100w+,中间踩了很多坑,记录一下。暴力计算最简单的idea是预分配一个100w x 100w的矩阵,一个个算就好了import numpy as npnp.zeros([1000000,1000000],dtype=np.float16)原因是numpy中的每个 float32 类型数据都占用 4 个字节,因此需要的总内存为1000000 * 1000000 * 4 / 1024原创 2020-07-05 17:08:03 · 1559 阅读 · 0 评论 -
KDD Cup 2020 Challenges for Modern E-Commerce Platform: Multimodalities Recall - 开源收集
开源整理TPO1 帮发:Recall賽道第一名、主要微調並emsemble can, visual-bert架構, negative sample則是根據 tf-idf選相近的query進行 https://github.com/steven95421/KDD_WinnieTheBestTOP8 https://github.com/miziha-zp/KDD2020_mutilmodalitiesTOP12 https://github.com/chengsyuan/KDD-Multimodali原创 2020-06-16 17:49:26 · 914 阅读 · 0 评论 -
Python内存不够怎么办!!!pandas.read_csv中的那些有用参数
最近因为各种事情用Python处理文件,经常遇到文件太大,内存不够的问题,在此整理了以下几种办法。pandas 读文件失败–》分块处理有些时候使用pd.read_csv函数读文件会非常尴尬,读到一半内存就不够了,这时候可以使用其提供的分块读取的功能不想看我废话可以直接-》pd.read_csv函数官方文档chunksize 参数(int, optional)使用chunksize后pd.read_csv将会返回一个可以迭代的TextFileReader对象。chunksize的值代表了每次迭代原创 2020-05-19 11:18:57 · 5631 阅读 · 0 评论 -
PAKDD2020:阿里巴巴算法大赛中的得与失
有幸和两位大佬共同参加了PAKDD2020后面有大佬带着结果还好吧~比赛过程中我主要负责EDA,也做了很多很多的分析,可惜最大的败笔在于几乎没把分析运用到实际建模过程中备注在数据分析的过程中为了便于分析,采用多label做标签(0为好盘;1为距离错误日期0-10天的坏盘,2为距离错误日期10-20天的坏盘,3为距离错误日期20-30天的坏盘,4为距离错误日期30-45天的坏盘,5为距离错...原创 2020-04-29 17:04:55 · 712 阅读 · 4 评论