使用TensorFlow调参的那些日子一去不回

最新推荐文章于 2023-03-20 12:00:58 发布

IT农民工1

最新推荐文章于 2023-03-20 12:00:58 发布

阅读量254

点赞数

加入AI行业拿到高薪仅仅是职业生涯的开始。现阶段AI人才结构在不断升级，这也意味着如果目前仍然停留在调用一些函数库，则在未来1-2年内很大概率上会失去核心竞争力的。几年前如果熟练使用TensorFlow，同时掌握基本的AI算法就可以很容易找到一份高薪的工作，但现在不一样了，AI岗位的要求越来越高，对知识的深度也提出了更高的要求。

如果现在一个面试官让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议.... 这些要求一点都不过分。相反，连这些基本内容都有些吃力，就需要重新审视一下自己的核心技术壁垒了。

目前AI人才竞争越来越激烈，调参侠的时代已慢慢过去，这些事情其实根本不需要AI工程师来做，未来的研发工程师就可以承担这些了！

我相信不少人曾经遇到过以下的情况或者困惑：

从事AI行业多年，但技术上总感觉不够深入，而且很难再有提升；
对每个技术点了解，但不具备体系化的认知，无法把它们串起来；
停留在使用模型/工具上，很难基于业务场景来提出新的模型；

对于机器学习背后的优化理论、前沿的技术不够深入；
计划从事尖端的科研、研究工作、申请AI领域研究生、博士生；
打算进入最顶尖的AI公司比如Google，Facebook，Amazon，阿里，头条等；

为了迎合时代的需求，贪心学院（国内唯一体系化AI学院）目前推出了 两门高端的AI训练营，分别是《机器学习高阶训练营》和《自然语言处理高阶训练营》。 需要一定的AI基础，是为 进阶人士量身定做的一套训练营 ， 也是全网唯一高端的训练营，采用 全程直播授课 模式，近距离接触顶级讲师。

根据以往的经验，很大部分学员都是国内外顶尖公司的AI从业者、还有一部分是大学里从事AI的研究生、博士生，这里不乏来自斯坦福、UCSD、USC、哥大、HKUST、爱丁堡等世界名府的学生；在这里，你不仅可以享受到通往顶尖人才的快乐、也可以结识志同道合的AI从业者以及未来的科学家。

那这样的训练营到底是怎么样的呢？下面以 《机器学习高阶训练营》 为例。《自然语言处理高阶训练营》的内容可以 添加业界最专业的AI职业规划师 来咨询，我们的 咨询师也是顶级AI公司出来的哦 ~

课程大纲

第一阶段机器学习基础与凸优化

本阶段主要目的是讲解必要的算法理论以及凸优化技术，为后续的课程打下基础。凸优化的重要性不言而喻，如果想具备改造模型的能力，对于凸优化的理解是必不可少的！

【核心知识点】

- KNN，Weighted KNN、近似KNN

- KD树，近似KD树、哈希算法、LSH

- 岭回归、LASSO、ElasticNet

- 正则： L1, L2, L-inifity Norm

- LR、GD、SGD、小批量SGD

- 凸集，凸函数、判定凸函数

- LP、QP、ILP、SDP问题

- Duality，Strong Duality、 KKT条件

- 带条件/无条件优化问题、Projected GD

- 平滑函数、Convergence Analysis

【部分案例讲解】

- 基于QP的股票投资组合策略设计

- 基于LP的短文本相似度计算

- 基于KNN的图像识别

第二阶段 SVM与集成模型

本阶段主要目的是深入理解SVM以及核函数部分的知识点。为了理解清楚SVM的Dual转换，需要掌握第一部分里的Duality理论。另外，重点介绍Bagging和Boosting模型，以及所涉及到的几项有趣的理论。

【核心知识点】

- Max-Margin与线性SVM构建

- Slack Variable以及条件的松弛

- SVM的Dual、Kernelized SVM

- Kernel Functions, Mercer'定理

- Kernelized LR/KNN/K-Means/PCA

- Bagging, Boosting, Stacking

- 信息论与决策树

- 随机森林，完全随机森林

- 基于残差的提升树训练思想

- GBDT与XGBoost

- 集成不同类型的模型

- VC理论， PAC Learning

【部分案例讲解】

- 基于XGBoost的金融风控模型

- 基于PCA和Kernel SVM的人脸识别.

- 基于Kernal PCA和Linear SVM的人脸识别

第三阶段无监督学习与序列模型

本阶段主要目的是学习无监督算法和经典的序列模型。重点讲解EM算法以及GMM，K-means的关系，同时花几次课程时间来仔细讲解CRF的细节：从无向图模型、Potential函数、Log-Linear Model、逻辑回归、HMM、MEMM、Label Bias、Linear CRF、Inference，最后到Non-Linear CRF。

【核心知识点】

- K-means、GMM以及EM

- 层次聚类，DCSCAN，Spectral聚类算法

- 隐变量与隐变量模型、Partition函数

- 条件独立、D-Separation、Markov性质

- HMM以及基于Viterbi的Decoding

- Forward/Backward算法

- 基于EM算法的参数估计

- 有向图与无向图模型区别

- Log-Linear Model，逻辑回归，特征函数

- MEMM与Label Bias问题

- Linear CRF以及参数估计

【部分案例讲解】

- 基于HMM和GMM的语音识别

- 基于聚类分析的用户群体分析

- 基于CRF的命名实体识别

第四阶段深度学习

本阶段主要讲解深度学习理论以及常见的模型。这里包括BP算法、卷积神经网络、RNN/LSTM、BERT、XLNet、ALBERT以及各类深度学习图模型。另外，也会涉及到深度相关的优化以及调参技术。

【核心知识点】

- 神经网络与激活函数

- BP算法、卷积层、Pooling层、全连接层

- 卷积神经网络、常用的CNN结构

- Dropout与Batch Normalization

- SGD、Adam、Adagrad算法

- RNN与梯度消失、LSTM与GRU

- Seq2Seq模型与注意力机制

- Word2Vec, Elmo, Bert, XLNet

- 深度学习中的调参技术

- 深度学习与图嵌入（Graph Embedding）

- Translating Embedding (TransE)

- Node2Vec

- Graph Convolutional Network

- Graph Neural Network

- Dynamic Graph Embedding

【部分案例讲解】

- 基于Seq2Seq和注意力机制的机器翻译

- 基于TransE和GCN的知识图谱推理

- 基于CNN的人脸关键点检测

第五阶段推荐系统与在线学习

推荐系统一直是机器学习领域的核心，所以在本阶段重点来学习推荐系统领域主流的算法以及在线学习的技术、包括如何使用增强学习来做推荐系统。在线学习算法很深具有很漂亮的理论基础，在本阶段你都会一一体会到！

【核心知识点】

- 基于内容和协同过滤的推荐算法

- 矩阵分解，带条件的矩阵分解

- 基于内容的Gradient Tree

- 基于深度学习的推荐算法

- 冷启动问题的处理

- Exploration vs Exploitation

- Multi-armed Bandit

- UCB1 algorithm，EXP3 algorithm

- Adversarial Bandit model

- Contexulalized Bandit、LinUCB

【部分案例讲解】

- 使用GB Tree做基于 interaction 与 content的广告推荐

- 使用深度神经网络做基于interaction 与 content的推荐

- LinUCB做新闻推荐, 最大化rewards

第六阶段贝叶斯模型

本阶段重点讲解贝叶斯模型。贝叶斯派区别于频率派，主要的任务是估计后验概率的方式来做预测。我们重点讲解主题模型以及不同的算法包括吉布采样、变分法、SGLD等，以及如何把贝叶斯的框架结合在深度学习模型里使用，这就会衍生出Bayesian LSTM的模型。贝叶斯部分的学习需要一定的门槛，但我们会让每个人听懂所有细节！

【核心知识点】

- 主题模型（LDA) 以及生成过程

- Dirichlet/Multinomial Distribution

- 蒙特卡洛与MCMC

- Metropolis Hasting与Gibbs Sampling

- 使用Collapsed Gibbs Sampler求解LDA

- Mean-field variational Inference

- 使用VI求解LDA

- Stochastic Optimization与贝叶斯估计

- 利用SLGD和SVI求解LDA

- 基于分布式计算的贝叶斯模型求解

- 随机过程与无参模型（non-parametric)

- Chinese Retarant Process

- Stick Breaking Process

- Stochastic Block Model与MMSB

- 基于SGLD与SVI的MMSB求解

- Bayesian Deep Learning模型

- Deep Generative Model

【部分案例讲解】

- 基于Bayesian LSTM的文本分析

- 使用无参主题模型做文本分类

- 基于贝叶斯模型实现小数量的图像识别

第七阶段增强学习与其他前沿主题

本阶段重点讲解增强学习以及前沿的内容，包括增强学习在文本领域的应用，GAN, VAE，图片和文本的Disentangling，深度学习领域可解释性问题、Adversial Learning, Fair Learning等最前沿的主题。这一阶段的安排也会根据学员的兴趣点做局部的调整。

【核心知识点】

- Policy Learning、 Deep RL

- Variational Autoencoder(VAE)与求解

- 隐变量的Disentangling

- 图像的生成以及Disentangling

- 文本的生成以及Disentangling

- Generative Adversial Network(GAN)

- CycleGan

- 深度学习的可解释性

- Deconvolution与图像特征的解释

- Layer-wise Propagation

- Adversial Machine Learning

- Purturbation Analysis

- Fair Learning

【部分案例讲解】

- 基于GAN的图像生成

- 基于VAE的文本Style Transfer

- 可视化机器翻译系统

部分项目作业

课程设计紧密围绕学术界最新进展以及工业界的需求，涵盖了所有核心知识点，并且结合了大量实战项目，培养学员的动手能力，解决问题能力。

项目1：人脸识别

基于Kernel PCA的思路, 实现 Kernel LDA(Linear Discriminant Analysis). 使用Kernel LDA进行人脸识别

项目2：语音识别

基于HMM和GMM从零搭建一个语音识别系统，这个语音识别系统可用于IOT的场景中来识别各类命令。在项目中也需要使用常见的语音的特征如MFCC。

项目3：实时视频人脸美化

在基于CNN人脸关键点检测的基础上, 实现一个人脸美化的算法, 给一副照片中的人脸加上墨镜。

项目4： 机器翻译

从零搭建一个中英机器翻译系统。项目中需要使用LSTM以及注意力机制，并结合Bert等词向量技术。

项目5： 推荐系统

使用Gradient Boost Machine预测用户点击广告的概率CTR, 用于广告推荐系统。

项目6：情感分析

基于LDA模型做改造并应用在情感分析。在此项目中需要完成：1. 改造原始的LDA模型。2. 对于改造后的模型做求解 3. 实现模型并识别文本中的情感。

项目7：打乒乓球

使用Policy Gradient 的思路, 实现基于深度神经网络的强化学习系统, 让系统能够在乒乓球游戏中战胜机器。

项目8：文本风格迁移

基于VAE搭建一个文本风格迁移模型。对于给定的一句话，按照一定的风格去改造文本。

授课讲解

直播授课，现场推导演示

区别于劣质的PPT讲解，导师全程现场推导，让你在学习中有清晰的思路，深刻的理解算法模型背后推导的每个细节。更重要的是可以清晰地看到各种模型之间的关系！帮助你打通六脉！

640?wx_fmt=jpeg

▲源自：CRF与Log-Linear模型讲解

640?wx_fmt=jpeg

▲源自：CRF与Log-Linear模型讲解

640?wx_fmt=jpeg

▲源自：Convex Optimization 讲解

640?wx_fmt=jpeg

▲源自：Convergence Analysis 讲解

不管你在学习过程中遇到多少阻碍，你都可以通过以下4种方式解决：

1、直接在线问导师；

2、记录到共享文档中，每日固定时间的直播答疑；

3、学习社群中全职助教，24h随时提问答疑

4、共同的问题在Review Session里面做讲解

注：每次答疑，班主任都会进行记录，以便学员实时查阅。

课程适合谁？

对机器学习算法有基础了解，具备编程能力；
对数据结构与算法比较熟悉；
想申请国外名校AI相关专业的硕士/博士；
已从事AI领域工作，想要升职加薪；
想从事顶级AI公司；

课程安排

高强度学习，魔鬼式训练

采用直播的授课方式， 一周4-5次的 直播教学 ， 包括2次的main lectures, 1-2次的discussion session (讲解某一个实战、必备基础、案例或者技术上的延伸）， 1次的paper reading session (每周会assign一篇必备论文，并且直播解读)。教学模式上也参考了美国顶级院校的教学体系。以下为其中一周的课程安排，供参考。