- 博客(8)
- 收藏
- 关注
RSS订阅原创 Pytorch：找到对应的层，并在不同层设置不同的学习率
在使用一些预训练模型的过程中，通常要对“预训练模型”，“自己自定义的层”设置不同的学习率。那么如何去设置不同的学习率呢？0. 准备为了接下来可视化的方便，推荐使用pip install torch-summary安装 torch-summary 这个包，可以用来可视化网络。1. 找到对应的层pytorch的模型是基于类构建的，目前找到的最好方法是直接 print对应的模型，这里我们使用resnet50举例import torchvisionmodel = torchvision.models.
2020-12-14 11:28:39
758
原创 可视化分析torch.optim.lr_scheduler中的不同学习率方法
pytorch的在学习率的调整上提供了很多自定义的函数可供使用，让我们一起来可视化看看呗说明：pytorch版本为准备过程class model(nn.Module): def __init__(self): super().__init__() self.conv1 = nn.Conv2d(in_channels=3, out_channels=3, kernel_size=3) def forward(self, x): pa
2020-10-22 16:27:07
915
原创 如何在DataFrame的特定cell中插入一个列表list
如何在DataFrame的特定cell中插入一个列表list?#创建一个listdf = pd.DataFrame({'A': [12, 23], 'B': [23, 34]})df A B0 12 231 23 34如果我们想在某个位置插入一个list，让它变成 A B0 [1,2，3] 231 23 34使用iloc和iat直接插入会报错>>> df.iloc[0,0]=[1,2,3]Trace
2020-07-08 12:53:07
7547
5
原创 pairwise相似度计算
gensim 相似度计算做了一个比赛，其中为了更好的构建负样本，需要计算不同句子之间的相似性，句子大概有100w+，中间踩了很多坑，记录一下。暴力计算最简单的idea是预分配一个100w x 100w的矩阵，一个个算就好了import numpy as npnp.zeros([1000000,1000000],dtype=np.float16)原因是numpy中的每个 float32 类型数据都占用 4 个字节，因此需要的总内存为1000000 * 1000000 * 4 / 1024
2020-07-05 17:08:03
1558
原创 KDD Cup 2020 Challenges for Modern E-Commerce Platform: Multimodalities Recall - 开源收集
开源整理TPO1 帮发：Recall賽道第一名、主要微調並emsemble can, visual-bert架構， negative sample則是根據 tf-idf選相近的query進行 https://github.com/steven95421/KDD_WinnieTheBestTOP8 https://github.com/miziha-zp/KDD2020_mutilmodalitiesTOP12 https://github.com/chengsyuan/KDD-Multimodali
2020-06-16 17:49:26
914
原创 Python内存不够怎么办！！！pandas.read_csv中的那些有用参数
最近因为各种事情用Python处理文件，经常遇到文件太大，内存不够的问题，在此整理了以下几种办法。pandas 读文件失败–》分块处理有些时候使用pd.read_csv函数读文件会非常尴尬，读到一半内存就不够了，这时候可以使用其提供的分块读取的功能不想看我废话可以直接-》pd.read_csv函数官方文档chunksize 参数(int, optional)使用chunksize后pd.read_csv将会返回一个可以迭代的TextFileReader对象。chunksize的值代表了每次迭代
2020-05-19 11:18:57
5628
原创 PAKDD2020：阿里巴巴算法大赛中的得与失
有幸和两位大佬共同参加了PAKDD2020后面有大佬带着结果还好吧～比赛过程中我主要负责EDA，也做了很多很多的分析，可惜最大的败笔在于几乎没把分析运用到实际建模过程中备注在数据分析的过程中为了便于分析，采用多label做标签（0为好盘；1为距离错误日期0-10天的坏盘，2为距离错误日期10-20天的坏盘，3为距离错误日期20-30天的坏盘，4为距离错误日期30-45天的坏盘，5为距离错...
2020-04-29 17:04:55
711
4
原创 2020中国高校计算机大赛·华为云大数据挑战赛热身赛--EDA
慢慢看，慢慢写~数据集格式数据集存放格式读数据的时候根据日期，路口，方向的不同有不同的文件，数据集涉及4周（2019.1.12 – 2019.2.8）28天的数据；其中01-14日缺失wuhe_zhangheng路口四个方向的信息，其他的日期都完整包括6个路口的信息。# 4周（2019.1.12 – 2019.2.8）28天的数据| -- 01-12 # | -- chongzh...
2020-04-18 11:51:41
2748
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人