Conference Date (update at 2020.07.28) Medical ImageIEEE Transactions on Medical ImagingIF = 6.685(2020)IPMIVenue: Rønne at the island of Bornholm, DenmarkConference Dates: June 27 - June 2, 2021Paper registration: 29 November 2020Submission of full papers: 6 December 2020ISBIVenue: Ni
url open error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed Python3 在下载数据集的时候需要多验证一次证书，会导致以下错误：URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:748)>解决办法：import sslssl._create_default_https_context = ssl._cr...
极大极小搜索算法 minimax search minimax search设计象棋等AI模型时常常需要使用博弈论的思想，minimax search就是一种基于当前状态推测出使我方最有利而对方最不利的行动，在实际模型中需要考虑状态函数，树的深度，时间成本等等因素，这里只讲一个最简单的例子说明minmax search的计算过程。假设根据当前局面我们得到一个下图所示的博弈树：从上往下，单数层是我方行动，双数层是对方行动，我方行动需要选择...
论文阅读 Multi-Task Deep Neural Networks for Natural Language Understanding 这是今年arXiv上Microsoft Research的一篇文本embedding的文章，原文在Multi-task DNN。这篇文章的思路很简单，在BERT的基础上，用multi-task learning对embedding layer进行fine-tuned，但在GLEU benchmark上的实验结果非常好，九个NLU任务中八个的表现都有提升，benchmark提升了足足2.2%。M...
tensorflow笔记 cross entropy loss 交叉熵损失函数是模型中非常常见的一种损失函数，tensorflow中一个计算交叉熵的函数：tf.nn.sigmoid_cross_entropy_with_logits，也可以调用keras中的函数： tf.keras.backend.binary_crossentropy，两者有一些不同。先来看看tf自带的sigmoid_cross_entropy_with_logits：tf.nn.si...
联邦学习论文阅读：Variational Federated Multi-Task Learning 这篇文章是探索联邦学习的框架下的多任务学习，稍后会整理一下之前的那篇multi task learningto be continued
调参笔记：神经网络收敛问题 最近网络一直有收敛的问题，怀疑是梯度在训练的时候爆炸或归零导致分类器对evaluate集全0或全1预测。This blog gives a quick step to check the model:https://blog.slavv.com/37-reasons-why-your-neural-network-is-not-working-4020854bd607...
联邦学习论文阅读：Secure Federated Matrix Factorization 这是六月刚刚挂上arXiv的文章，杨老师学生的工作摘要这篇文章提出了联邦化的矩阵分解算法，作者发现传梯度也会泄露信息，所以利用同态加密来进一步保证用户数据的隐私性。框架基本框架和federated collaborative filtering那篇文章是一样的：一个标准的横向联邦框架，user vector保留在本地训练，只上传加密后的更新梯度，服务器进行汇总，然后训练product ve...
联邦学习论文阅读：Fair Resource Allocation in Federated Learning arXiv上刚刚挂的一篇文章Fair Resource Allocation in Federated Learning，作者是CMU的AP Virginia Smith组的，搜了一下主页，居然是一个超级年轻的小姐姐~Motivation之前横向联邦学习一般都是follow google的FedAvg算法，将所有用户（或者随机一部分）更新的梯度取个平均作为中心模型的更新参数。显然，这种做法虽然...
联邦学习相关资料 联邦学习相关的博客，论文以及PPT，持续更新个人能力有限，欢迎补充~Blog Google16年解释联邦学习用于输入预测应用的blog：Federated Learning: Collaborative Machine Learning without Centralized Training Data, 2016 杨强老师18年解释联邦学习概念的blog：CCCF专栏 | 联邦学习...
联邦学习论文阅读：Asynchronous Federated Optimization 这是UIUC的一篇刚刚挂在arXiv上的文章：Asynchronous Federated Optimization。我对边缘计算和异步算法不太了解，直观的理解是作为一个user，我上传的梯度参数是延迟的，也就是说central server当前已经更新过这次的梯度了，并且已经开始计算下一次甚至下下次的global gradient了，那么我这次的参数实际上是混在其他用户下一次更新的数据中的。...
深度学习笔记 简单神经网络反向传播的推导 最近手推了一下神经网络梯度更新中的参数偏导，做一个笔记。模型我们考虑一个非常简单的神经网络，输入embedding后只通过一个全连接层，然后就softmax输出预测值Created with Raphaël 2.2.0Input X: 1xnEmbedding Layer Z1 = WX: 1xNActivation Layer (Relu) Z2 = relu(Z1): 1xNFully ...
推荐模型评价指标 AUC 推荐中常用的模型评价指标有准确率，召回率，F1-score和AUC。1. 什么是AUCAUC指标是一个[0,1]之间的实数，代表如果随机挑选一个正样本和一个负样本，分类算法将这个正样本排在负样本前面的概率。值越大，表示分类算法更有可能将正样本排在前面，也即算法准确性越好。2. AUC的计算方法绘制ROC曲线，ROC曲线下面的面积就是AUC的值假设总共有（m+n）个样本，其中正样本有m个...
tensorflow笔记 tf.metrics.accuracy tf.metrics.accuracy用于计算模型输出的准确率tf.metrics.accuracy( labels, predictions, weights=None, metrics_collections=None, updates_collections=None, name=None)return accuracy, update...
python笔记 shuffle和permutation 函数shuffle与permutation都可以打乱数组元素顺序，区别在shuffle直接在原来的数组上进行操作，而permutation不直接在原来的数组上进行操作，会返回一个新的打乱顺序的数组。import numpy as npa = np.arange(4)print('a:', a)b = np.random.shuffle(a)print('a:',a)print('b:...
python笔记 list和array python中的list和array是常用两种数据类型。list中的数据类不必相同的，而array中的类型必须全部相同。list中保存的是数据存放的地址，也就是指针。import numpy as npimport pandas as pda = [1,2,3]b = np.array([1,2,3])c = pd.DataFrame(a)d = pd.DataFrame(b)pri...
tensorflow笔记 协调器tf.train.Coordinator 原理TensorFlow中有两个函数管理Session中的多线程：Coordinator和 QueueRunner。同一个Session中可以创建多个线程，但所有线程必须能被同步终止，异常必须能被正确捕获并报告。当会话终止的时候， 队列必须能被正确地关闭。Coordinator用来管理在Session中的多个线程，可以用来同时停止多个工作线程，同时报告异常，当程序捕捉到这个异常后之后就会终止...
tensorflow笔记 string_input_producer, slice_input_producer tensorflow将读取数据分为了两个步骤，先读入文件名队列，再读入内存队列进行运算。为了减少GPU的等待时间，提高计算速度，tensorflow使用两个线程来分别处理这两个步骤。tf有三个函数string_input_producer, slice_input_producer, input_producer用于建立文件名队列。函数参数如下所示，除了tensor list是必须外，其余都可以...
关注
