u013250861的博客

随着计算机算力的提升，机器学习作为海量数据的分析处理技术，已经广泛服务于人类社会。然而，机器学习技术的发展过程中面临两大挑战：- 一是数据安全难以得到保障，隐私数据泄露问题亟待解决；- 二是网络安全隔离和行业隐私，不同行业、部门之间存在数据壁垒，导致数据形成“孤岛”无法安全共享 ，而仅凭各部门独立数据训练的机器学习模型性能无法达到全局最优化。为了解决以上问题，谷歌提出联邦学习（FL，federated learning）技术，其通过将机器学习的数据存储和模型训练阶段转移至本地用户，仅与中心服务

- Midjourney Prompt Tool: https://prompt.noonshot.com/midjourney- Awesome ChatGPT Prompts: https://prompts.chat/- All Things AI: https://allthingsai.com/Glass | The First Digital Notebook Designed for Doctors

验证集来自训练集的再划分，因此验证集与训练集最好是不交叠的，这样选择模型的时候，才可以避免被数据交叠的因素干扰。同时，验证集在训练过程中还可以监督模型是否发生过拟合，当验证集随着迭代次数增加，反而训练结果表现越来越差时，就表示发生了过拟合，应当停止迭代，所以验证集也可以用来判断何时停止训练。首先用训练集训练出模型，然后用验证集验证模型，根据情况不断调整模型，选出其中最优的模型，之后记录最好的模型的超参数，最后用测试集评估最终的模型。1.三种集合的概念。数据集在训练模型时一般被划分为训练集、验证集、测试集。

1] 三星: Suvorov, R., Logacheva, E., Mashikhin, A., Remizova, A., Ashukha, A., Silvestrov, A., Kong, N., Goka, H., Park, K. and Lempitsky, V., 2022.这个列表里的论文哪些你认同，哪些你觉得不应该入选最佳的，还有哪些重要论文遗漏？（DALL·E的复现，只有一些技术报告，未找到正规论文）上还有很多论文的短视频和文字解读、代码链接等。总结的论文列表，总体比较靠谱。

Tilberg等人构建了包含活性悬崖（activity cliff，即分子结构的微小差异导致活性的巨大差异的现象）的数据集，并评估了机器学习模型预测这些现实但具有挑战性的集合的活性的能力。CNN和GNN的出现导致了学习分子表征的出现。正如本综述的第一部分所提到的，最近的结果表明，使用指纹表征的更传统的ML方法提供了与更复杂的技术相当的性能，有时甚至更优。当面对以前从未见过的新型配体和结合位点时，看看这些方法是如何发挥作用的，这将是很有趣的，也有可能将这些方法与现有的基于物理和经验的方法相结合。

稀疏性（Sparsity），指的是模型具有非常大的容量，但只有模型的用于给定的任务、样本或标记的某些部分被激活。这样，能够显著增加模型容量和能力，而不必成比例增加计算量。2017年，谷歌引入了稀疏门控的专家混合层（Sparsely-Gated Mixture-of-Experts Layer，MoE），该层在各种转换基准测试中显示出更好的结果，同时使用的计算比以前最先进的密集 LSTM 模型少10倍。2021年，谷歌的 Switch Transformers 将 MoE 风格的架构与 Transformer

一、机器学习模型复杂度二、深度学习模型复杂度通常，一个神经网络模型的复杂度用2个指标来描述：模型的参数(Parameters)数量，Params：模型的参数量。模型的计算量：FLOPs：FLoating point OPerations，前向推理的计算量。MAC：Memory Access Cost。MACC(MADD)：multiply-accumulate operations：先乘起来再加起来的运算次数。1、时间复杂度（计算量）时间复杂度（计算量）：计算量指的需要进

“算法”一词在这两年应该是出尽风头，它神秘、高深，它代表着高工资。经历过今年互联网校招的同学都知道投递算法岗的人数是有多火爆，算法岗的薪资有多高。于是有很多人对这个岗位感兴趣想了解算法岗的工作一般是做什么的？有些是其他专业的，想知道怎样转行找算法岗的工作。还有些人质疑凭什么算法岗可以拿这么高工资。写这篇文章不是为了回答以上问题，因为我也无法回答，我只是以自己有限的实习经历和算法竞赛经验写下这篇文章说说自己对算法岗职务的一些认识，以及希望可以和大家交流交流。一些相关问题参考：做算法工程师是什么样的工作体验

众包释义：指的是一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式外包给非特定的（而且通常是大型的）大众志愿者的做法。百度数据众包平台淘金云-数据标注

吴恩达老师曾经说过，看一篇论文的关键，是复现作者的算法。然而，很多论文根本就复现不了，这是为什么呢？一、数据关系因为作者使用的数据比较私密，一般人拿不到，这种情况下，即使作者提供了源代码，但是读者却拿不到数据，也就没法复现算法。这种情况在国内学术界很普遍，数据别人没有，这就好像一位奥数老师，自己出了一道奥数题，自己解答出来，然后把解题过程写了论文，这类论文往往说服力不够，故事性不够强。二、硬件原因深度学习的很多算法，是靠大力出奇迹的方法做出来的。比如谷歌、facebook的一些算法，依靠强大.

范数是衡量某个向量空间(或矩阵)中的每个向量的长度或大小。∥x∥p:=(∑i=1n∣xi∣p)1p\left \| x\right \|_p := \left( \sum_{i=1}^{n}\left|x_i\right|^p\right)^{\frac{1}{p}}∥x∥p​:=(i=1∑n​∣xi​∣p)p1​L0范数：向量中非0的元素的个数。L0 范数是 ∣∣x∣∣0=xi(xi不等于0)代表非0数字的个数||\textbf{x}||_0 = x_i (x_i不等于0)代表非0数字的个数∣∣x∣

机器学习：文本相似度计算方法【欧氏距离、余弦距离、皮尔逊相关系数、杰卡德相似系数、KL散度】

一、分类模型1、0-1损失函数(zero-one Loss Function)：无法优化L(y,f(x))={1,y≠f(x)0,y=f(x)L(y, f(x)) = \begin{cases} 1, & {y \neq f(x) } \\ 0, & {y = f(x)} \end{cases}L(y,f(x))={1,0,​y​=f(x)y=f(x)​当预测错误时，损失函数为1，当预测正确时，损失函数值为0。该损失函数不考虑预测值和真实值的误差程度。只要错误，就是1。该损失

自然语言处理(NLP)顶级会议：ACLEMNLPNAACLICLRNIPSColing

Anaconda环境

一、人工智能-概述学习目标了解人工智能在现实生活中的应用知道人工智能发展必备三要素知道人工智能和机器学习、深度学习三者之间的关系1 人工智能应用场景2 人工智能小案例案例一：参考链接：https://quickdraw.withgoogle.com案例二：参考链接：https://pjreddie.com/darknet/yolo/案例三：查看更多：https://deepdreamgenerator.com/3 人工智能发展必备三要素：数据算法计算力C

一、 Matplotlib简介学习目标目标了解什么是matplotlib为什么要学习matplotlibmatplotlib简单图形的绘制1 什么是Matplotlib是专门用于开发2D图表(包括3D图表)以渐进、交互式方式实现数据可视化2 为什么要学习Matplotlib可视化是在整个数据挖掘的关键辅助工具，可以清晰的理解数据，从而调整我们的分析方法。能将数据进行可视化,更直观的呈现使数据更加客观、更具说服力例如下面两个图为数字展示和图形展示：3

一、人工智能、机器学习、深度学习关系人工智能和机器学习，深度学习的关系机器学习是人工智能的一个实现途径深度学习是机器学习的一个方法发展而来

强化学习是一种对目标导向的学习与决策问题进行理解和自动化处理的计算方法。它强调智能体通过与环境的直接互动来学习，而不需要可效仿的监督信号或对周围环境的完全建模，因而与其他的计算方法相比具有不同的范式。强化学习使用马尔可夫决策过程的形式化框架，使用状态，动作和收益定义学习型智能体与环境的互动过程。这个框架力图简单地表示人工智能问题的若干重要特征，这些特征包含了对因果关系的认知，对不确定性的认知，以及对显式目标存在性的认知。价值与价值函数是强化学习方法的重要特征，价值函数对于策略空间的有效搜索来说十分重

人工智能-机器学习-深度学习：Anomaly Detection

一、LDA算法的优缺点LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。什么意思呢？ 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。当然在实际应用中，我们的数据是多个类别的，我们的原始数据一般也是超过二维的，投影后的也一般不是直线，而是一个低维的超平面。1

人工智能-深度学习-生成模型：GAN经典模型–＞EBGAN

人工智能-深度学习-生成模型：GAN经典模型–＞InfoGAN

一、Early Stopping二、Regularization(正则化)Regularization在Deep Learning 模型优化中的作用并不是很显著。1、L1 正则化2、L2 正则化三、DropoutDropout中文含义：退出。其指的就是在神经网络的训练过程中提出的一种防止过拟合的策略。策略旨在训练过程中按照一定的概率（一般情况下：隐藏层采样概率为0.5，输入层采样概率为0.8）随机删除网络中的神经元（输出层除外）。如下为标准的神经网络：Dropout后的神经网络：