- 博客(135)
- 收藏
- 关注
RSS订阅原创 Transformer-XL：超长上下文依赖
解决的问题Transformer的自注意力机制可以让长距离的单词直接联系，可以很容易地学习到句子之间的长距离依赖。但是在将Transformer应用在语言模型时，核心的问题在于如何将任意长度的context编码成固定长度的上下文变量。普遍的做法是将整个语料库划分成较短的片段，在每个片段上训练模型。但是这么做很有几个问题：最大可能依赖长度不会超过片段的长度语料库按照固定长度而不是按照语义或...
2019-07-07 05:51:37
2690
原创 企业面试应对策略
面试应对策略招聘/应聘三部曲企业：我想要这样的人，你是这样的吗？我能给你什么？应聘者：我是怎样的人/我要怎样的工作；我是你最好的选择；你能满足我的要求吗？企业对员工资质的描述：KSIOKnowledge & Skill专业技能：专业知识，岗位知识以及运用工具操作设备的熟练程度Ability & Others绩效成绩：对工作的态度，解决问题的能力，软实力...
2019-05-18 12:13:44
658
原创 EM算法详细推导（启发性）
EM算法期望最大化算法，是寻找具有潜在变量地概率模型地最大似然解的一种通用的方法。下面介绍一般形式的EM算法的推导过程。我们把所有的观测变量联合起来记作X={x1,x2,...,xN}X=\{x_1, x_2, ..., x_N\}X={x1,x2,...,xN}，将所有的隐含变量记作Z={z1,z2,xN}Z=\{z_1, z_2, x_N\}Z={z1,z2,xN}。这里只考虑...
2019-05-08 18:14:30
1141
1
原创 七个习惯之二：以终为始
心灵之旅假设你正在前往殡仪馆的路上，要去参加一位至亲的丧礼。抵达之后，居然发现亲朋好友齐聚一堂，是为了向你告别？也许这是许久之后的事，但姑且假定，这时，亲族代表、友人、同事或社团伙伴，即将上台追述你的生平。现在请认真想一想：你希望人们对你以及你的生活有什么样的评价？你是个称职的丈夫、妻子、父母、子女或亲友吗？你是个令人怀念的同事或伙伴吗？你希望他们怎样评价你的人格？你希望他...
2019-05-05 03:14:54
2654
原创 人际关系的本质
个人独立不代表真正的成功，圆满人生还须追求公众的成功。不过，群体的互赖须以个人真正的独立为先决条件，想要抄近路是办不到的。良好人际关系的基础是自制与自知之明。爱人之前，必须先爱自己，了解自我才懂得分寸，也才能真正爱护自己。独立是互赖的基础，缺乏独立人格，却以为玩弄人际关系的技巧，纵使得逞一时，也不过是运气罢了。维系人与人之间的情谊，最要紧的不在于言语或行为，而在于本性。言不由衷、虚伪造作的表面功...
2019-05-05 02:54:47
1655
原创 七个习惯之七：不断更新
人生最值得的投资就是磨练自己，因为生活与服务人群都得靠自己，这是最珍贵的工具。工作本身并不能带来经济上的安全感，具备良好的思考、学习、创造与适应能力，才能立于不败之地。拥有财富，并不代表经济独立，拥有创造财富的能力才真正可靠。自我提升和完善的四个层面 习惯七是个人产能。它保护并优化你所拥有的最重要的资产——你自己。它从四个层面更新你的天性，那就是：身体、精神、智力、社会/情感。从根本上讲...
2019-05-05 02:51:49
4165
原创 七个习惯之六：统合综效
统合综效地基本心态是：如果以为具有相当聪明才智的人跟我意见不同，那么对方的主张必定有我尚未体会的奥妙，值得加以理解。与人合作最重要的是，重视不同个体的不同心理、情绪与智能，以及个人眼中所见到的不同世界。假如两个人意见相同，其中一人必属多余，与所见略同的人沟通，毫无益处，要有分歧才有收获。统合综效就是整体大于部分之和，也就是说各个部分之间的关系也是整体的一个组成部分，但又不仅仅是一个组成部分，而是...
2019-05-05 02:51:24
7553
原创 七个习惯之五：知彼解己
人们总是喜欢匆匆忙忙地下结论，以善意地建议快刀斩乱麻地解决问题。不愿意花时间去诊断，深入了解一下问题地症结。若用一句话归纳我在人际关系方面学到的一个重要的原则，那就是：知彼解己——首先寻求去了解对方，然后再争取让对方了解自己。这一原则是进行有效人际交流的关键。你真的听懂了吗？如果你想和我交往，想对我有影响力，你首先要了解我，而做到这一点不能只靠技巧。如果我觉察你在使用某种技巧，就会有受骗和被操...
2019-05-05 02:50:57
1311
原创 七个习惯之四：双赢思维
人际交往的六种模式利人利己（双赢）这种模式会促使人不断地在所有的人际交往中寻找双边利益。双赢就是双方有福同享，皆大欢喜，这种结果会让所有人都愿意接受决定，完成计划。双赢者把生活看作一个合作的舞台，而不是一个角斗场。一般人看事情多用二分法：非强即弱，非胜即败。其实世界足够大，人人都有足够的立足空间，他们之得不必就视为自己之失。不论你是总裁还是门卫，只要已经从独立自主过渡到相互依赖的阶段，你就开始...
2019-05-05 02:49:47
6762
1
原创 小冰创作歌曲的机制
如何让机器自动生成音乐。一段音乐包括多个音轨，比如吉他、鼓点、贝斯、人生等，这些音轨如何编排使音乐整体和谐是一个比较大的挑战。另外，影响歌曲质量的和弦进行和节奏模式这两个关键因素,如何将它们引入到音乐生成过程同样需要研究。论文提出了一种端到端的旋律与编排生成的框架——小冰Band，它能够生成一段包含若干乐器伴奏的旋律。具体来说，论文提出了Chord based Rhythm and Melody ...
2019-05-01 13:39:48
664
2
原创 小冰聊天机制综述
心理学研究表明，快乐和有意义的谈话常常是相伴而生的。因此，在社交媒体时代，越来越多的人被数字化连接，社交聊天机器人已成为一种重要的互动方式，这并不令人意外。与早期的聊天机器人不同，小冰是一款社交聊天机器人，旨在满足用户的沟通、情感和社交归属感需求，并具有同理心、个性和技能，集情商和智商于一身，以预期的CPS为衡量标准，优化用户的长期参与度。小冰的整体结构包括三部分：用户体验层、对话引擎层和数据层...
2019-04-27 00:34:18
2055
原创 七个习惯之三：要事第一
习惯三：要事第一积极主动的习惯告诉我们：“你是创造者，你掌控自己的人生”，这个习惯地基础事人类特有地四大天赋，即想象力、良知、独立意识以及最为重要地自我意识。以终为始事关于第一次的创造或者智力上的创造的习惯，这个习惯同我们的基本思维定式和对自己的最高期望值、价值观密切相关，其原则基础是想象力和良知两大天赋。习惯三要事第一则是关于第二次的创造或者体力上的创造的习惯，是对前面两种习惯的实施、执行和自...
2019-04-23 00:59:57
3336
原创 七个习惯之一：积极主动
《高效能人士的七个习惯》——积极主动在刺激和回应之间，人有选择的权利。选择的自由包括人类的四种天赋：自我意识：思考自我思维过程的能力想象力：超越当前现实而在头脑中进行创造的能力良知：明辨是非，坚持行为原则，判断思想、言行正确与否的能力独立意志：基于自我意识、不受外力影响而自行其是的能力积极主动的定义积极主动不仅指行事的态度，还意味着为人一定要对自己的人生负责。个人行为取决于自身的...
2019-04-22 00:56:20
5856
原创 高效能人士的七个习惯
人生有三个桶：Now、Soon、LatterNow的桶中装的是当下的事情。一年之内的目标：希望工作能寻找到12个新的客户尝试越野将直通车的活动交接到其他老师手中，为橘子园3年以上的学员提供转轨咨询。Soon的桶中装的是重要的事情。未来3-5年内的目标：把直通车注册成一个社会企业，5年内，不管女儿的哪个城市，都能在那个城市生活一段时间Latter的桶中装的是使命。一生要...
2019-04-20 18:10:52
1502
原创 小冰创作诗歌机制详解
论文：Image Inspired Poetry Generation in XiaoIce解读论文内容 这篇论文介绍了微软小冰从一张图片生成一首现代诗的过程模型。简单来说，这个过程就是给定一个图像，首先从图像中提取几个表示对象和感知到的情感的关键字，然后根据这些关键词与人类诗歌的关联，将它们扩展到相关的新的关键词，接着每个关键词作为每行诗的核心，使用双向语言模型逐步向左右拓展生成整句。这个...
2019-04-18 17:36:49
2838
原创 论文：Get To The Point Summarization with Pointer-Generator Networks解读
论文：Get To The Point: Summarization with Pointer-Generator Networks解读Abstract类型的文本摘要存在的问题：容易产生不准确的事实；倾向于重复相同的内容。注：如上面所示，作为基线的seq2seq+Attention这样的纯粹的生成式模型存在1.无法生成OOV词汇；2.歪曲事实两个问题。Pointer Generato...
2019-04-04 16:05:07
1010
原创 《The Evolved Transformer》论文笔记
Google Brain-The Evolved Transformer论文创新点： 使用神经架构搜索的方法，为 seq2seq 任务找到了一种比Transformer更好的前馈网络架构。架构搜索是基于Transformer进行演进，最终得到的Evolved Transformer 的新架构在四个成熟的语言任务（WMT 2014 英德、WMT 2014 英法、WMT 2014 英捷及十亿...
2019-03-28 18:44:52
2402
原创 Word2Vector之详解Skip-gram
word2vector——skip-gram 谷歌2013年提出的word2vector是目前最常用的词嵌入模型之一。Word2Vector实际上是一种浅层的神经网络模型，它有两种网络结构，分别时CBOW（Continues Bag of Words）和Skip-gram，这篇文章主要是介绍Skip-gram。 Skip-gram的主要目标是根据当前词来预测上下文中各个词的生成概率。比如说...
2018-11-05 12:21:29
2624
1
原创 详解注意力机制（Attention）——Global/Local/Self Attention
详解注意力（Attention）机制 注意力机制在使用encoder-decoder结构进行神经机器翻译（NMT）的过程中被提出来，并且迅速的被应用到相似的任务上，比如根据图片生成一段描述性语句、梗概一段文字的内容。从一个高的层次看，允许decoder从多个上下文向量（context vector）中选取需要的部分，使得Encoder只能将上下文信息压缩到固定长度的向量中这个束缚中解放出来，进...
2018-10-25 21:13:28
29880
原创 使用本地安装PyTorch 1.0 (preview)
最近想要学习pytorch，Pytorch官网上的教程有些需要最新的1.0（preview）版本。搭建环境的过程中使用了conda、pip方式安装，都因为网络原因无法顺利安装，因此尝试通过anaconda本地安装下载好的pytorch 1.0（preview）安装包。下载安装包访问以下网址，根据当前的python版本点击合适的安装包即可下载。https://anaconda.org/py...
2018-10-21 16:12:19
14506
3
原创 端到端的机器学习项目
端到端的机器学习项目主要步骤： Frame the problem and look at the big picture Get the data Explore the data to gain insight Prepare the data to better expose the underlying data patterns to Machine L...
2018-08-25 11:36:57
457
原创 Scikit-Learn报错Error message: fit_transform() takes 2 positional arguments but 3 were given的解决方法
代码num_attribs = list(housing_num)cat_attribs = ["ocean_proximity"]num_pipeline = Pipeline([ ('selector', DataFrameSelector(num_attribs)), ('imputer', Imputer(strategy="median")),...
2018-08-24 21:24:31
16638
6
原创 Scikit-Learn学习笔记——高斯混合模型(GMM)应用：分类、密度估计、生成模型
高斯混合模型 k-means聚类模型非常简单并且易于理解，但是他的简单性也为实际应用带来了挑战。特别是实际应用中，k-means的非概率性和它仅根据到簇中心点的距离来指派将导致性能低下。高斯混合模型可以看作是k-means的一个扩展，但它也是一种非常强大的聚类评估工具。k-means算法的缺陷 在实际聚类的过程中，两个簇往往会存在重合部分。k-means算法对于重合部分的...
2018-08-22 17:15:29
64715
2
原创 Scikit-Learn学习笔记——k-means聚类：图像识别、色彩压缩
k-means聚类 k-means是一种无监督学习模型——聚类算法的一种算法。k-means算法可以在不带标签的多维数据集中寻找确定数量的簇。 最优的聚类结果需要符合一下两个假设 “簇中心点“是属于该簇的所有数据点坐标的算术平均值 一个簇的每个点到该簇中心点的距离，比到其他簇中心点的距离短。 #简单演示k-means算法%matplotlib in...
2018-08-22 12:57:18
13495
1
原创 Scikit-Learn学习笔记——主要成分分析(PCA)应用：可视化、噪音过滤、人脸识别
主要成分分析（PCA） 主要成分分析(PCA)可能是应用最广泛的无监督算法之一。虽然PCA是一种非常基础的降维算法，但它仍然是非常有用的工具，尤其适用于数据可视化、噪音过滤、特征抽取和特征工程等领域。由于PCA用途广泛、可解释性强，所以可以有效应用于大量情景和科学中。对于任意高维的数据集，可以从PCA开始，可视化点间的关系、理解数据中的主要变量。PCA并不是一个对每个高维数据集都有效的算法...
2018-08-21 21:06:44
6280
原创 Scikit-Learn学习笔记——用随机森林识别手写数字
用随机森林识别手写数字from sklearn.datasets import load_digitsdigits = load_digits()#显示前几个数字图像fig = plt.figure(figsize=(6,6))fig.subplots_adjust(left=0, right=1, bottom=0, top=1, hspace=0.05, wspace=0.0...
2018-08-21 17:42:53
4742
2
原创 Scikit-Learn学习笔记——决策树和随机森林
决策树和随机森林 随机森林是一种无参数的集成算法，通过集成多个比较简单的评估器形成累积效果。这种集成方法的学习效果经常出人意料，往往能超过各个组成部分的总和：也就是说，若干个评估器的多数投票的最终效果往往优于单个评估器投票的结果。决策树 随机森林的基础是决策树。决策树采用非常直观的方式对事物进行分类和打标签：你只需要问一系列问题就可以进行分类。二叉树分支方法可以非常有效的...
2018-08-21 16:50:04
2774
原创 Scikit-Learn学习笔记——SVM应用：人脸识别
SVM应用——人脸识别#下载数据from sklearn.datasets import fetch_lfw_peoplefaces = fetch_lfw_people(min_faces_per_person=60)print(faces.target_names)print(faces.images.shape)#输出结果['Ariel Sharon' 'Colin P...
2018-08-21 13:21:23
6814
2
原创 Scikit-Learn学习笔记——支持向量机(SVM)
支持向量机 支持向量机（SVM）是非常强大、灵活的有监督学习算法，既可以用于分类，也可用于回归。在贝叶斯分类器中我们首先对每个类进行了随机分布的假设，然后用生成的模型估计新数据点的标签，这属于生成分类方法。而SVM属于判别分类方法：不再为每类数据建模，而是用一条分割线（二维空间中的直线或者曲线）或者流体（多维空间中的曲线、曲面等概念的推广）将各种类型分割开。支持向量机：边界最大化...
2018-08-21 11:40:19
2762
1
原创 Scikit-Learn学习笔记——线性回归（基函数回归、岭回归正则化、Lasso正则化）
线性回归 如果说朴素贝叶斯是解决分类任务的好起点，那么线性回归模型就是解决回归任务的好起点。简单的线性回归#简单线性回归import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns;sns.set()rng = np.random.Random...
2018-08-20 22:37:58
3989
3
原创 Scikit-Learn学习笔记——朴素贝叶斯
朴素贝叶斯 朴素贝叶斯模型是一组非常简单快速的分类方法啊，通常适用于维度非常高的数据集。因为运行速度快，而且可调参数少，因此非常适合为分类问题提供快速粗糙的基本方案。之所以成为“朴素”或“朴素贝叶斯”，是因为如果对每一种标签的生成模型（用于计算每个标签的P(特征|Li)P(特征|Li)P(特征|L_i)进行非常简单的假设，就能找到每种类型生成模型的近似解，然后就可以使用贝叶斯分类。...
2018-08-20 19:44:57
1138
原创 Scikit-Learn学习笔记——特征工程
特征工程 工程中的数据挖掘用到的数据很少拥有干净的特征矩阵——很多特征的取值是非数值的，这些特征不能直接被计算机直接用于计算。因此，机器学习实践中更重要的步骤之一是特征工程——找到与问题有关的任何信息，把它们转换成特征矩阵的数值。分类特征 一种常见的非数值特征是分类数据。例如，浏览房屋数据的时候，除了看到“房价”（price）和“面积”（square）之类的数值特征，还会...
2018-08-20 19:25:23
371
原创 Scikit-Learn学习笔记——模型验证与超参数网格搜索
超参数与模型验证 模型验证就是在选择模型和超参数之后，通过对训练数据进行学习，对比模型对已知数据的预测值与实际值的差异。模型验证的正确方法是使用留出集评估模型性能，即先从训练模型中的数据中留出一部分，然后用这部分留出来的数据检验模型性能。 但是，使用留出集使得模型失去了一部分训练机会，解决这个问题的方法是交叉验证,也就是做一组拟合，让数据的每个子集既是训练集，又是验证集。...
2018-08-20 17:25:00
1504
原创 Scikit-Learn学习笔记——手写数字（MNIST）探索
手写数字（MNIST）探索#加载并可视化手写数字import matplotlib.pyplot as pltfrom sklearn.datasets import load_digitsdigits = load_digits()digits.images.shapefig, axes = plt.subplots(10,10, figsize=(8, 8),subplo...
2018-08-19 21:35:52
4977
原创 Scikit-Learn学习笔记——学会调用sklearn评估器API
sklearn初探 机器学习的本质就是借助数学模型理解数据。当我们给模型装上可以适应观测数据的可调参数时，学习就开始了，此时的程序被认为具有从数据中“学习”的能力。一旦模型可以拟合旧的观测数据，那么它们就可以预测并解释新的观测数据。 目前，python有不少可以实现各种机器学习算法的程序库。Scikit-Learn是最流行的程序包之一，它为各种常见机器学习算法提供了高效版本。Sc...
2018-08-19 20:12:15
2387
原创 数据科学家访谈录——如何锻炼数据科学技能
如何锻炼数据科学技能对数据科学的理解在未来，有关数据科学的很多虚假浮华描述终将散去，但数据科学终于会作为商业世界中不可磨灭的一部分存在下来。数据科学自有其规律和底蕴，是一个结合了应用数学、计算机科学、商业资讯和新产品开发的综合职位，最后一项目前在数据科学的比例越来越大。我觉得一名出色的数据科学家应该像瑞士军刀一样多才多艺，能够在诸多领域都有作为，并且在一两个领域内拥有深邃的真知灼见...
2018-08-18 17:29:34
572
1
原创 数据科学家访谈录——数据科学中软件工程的重要性
数据科学中软件工程的重要性如果回到大学，会做什么我希望当时的我可以花更多的时间去做实实在在的事情，建立网站或者完成一些项目。如果你总是习惯在白板上写画示意图，你就会越来越害怕编程。我觉得反复琢磨研究一个原型产品会对你的编程能力有很大的提高。同时我也希望自己当时可以写更多的程序，因为当我一开始移居到硅谷的时候， 拙劣的编程技术实在是我前进道路上一大绊脚石。如何认识出色的数据...
2018-08-18 15:46:54
509
1
原创 数据科学家访谈录——从天体物理到数据科学
从天体物理到数据科学团队工程开发的经验公众对于科学有一种很“浪漫”的想法就是：你跳进一个课题里，然后在苦思冥想五个月之后，你会有一个“尤里卡”时刻，然后你搞定了这个问题。但是实际情况是：你的程序会有很多bug，你会犯下很多错误，并且你需要以团队的方式工作，这也就意味着你必须要能够高效的工作，你必须知道如何获取目前项目的分支加以编辑，你必须知道如何上传你修改好的代码，你必须知道如何写...
2018-08-18 13:53:50
497
原创 数据科学家访谈录——软件工匠学堂、软件工程及产品
软件工匠学堂、软件工程及产品访谈人介绍 Kevin是Uber的数据科学家主管，他在那里领导一个小团队来收集和分析Uber遍布全球的商业网络中产生的各种数据，并用他们的结论来指导未来的产品开发以及提供更好的用户体验。对数据科学家及其存在意义的理解对于任何人，只要他有黑客般的思考能力和足够的灵活性，他就一定能胜任一名数据科学家数据科学这领域大致包含两个概念，其中一个概...
2018-08-18 11:46:59
266
原创 数据科学家访谈录——均方误差根无法解决所有社会难题
均方误差根无法解决所有社会难题数据科学家一项容易被忽视的能力其实大部分数据科学家所做工作中的一大部分都不是数据整理或者建模或编程，而是一旦你做出了一个结果，你必须要想办法将结果解读给那些完全不具备看懂这个图所必需的技能的人听，例如那些商业决定或者工程决策的重要人物。解读结果是很重要的。你可以用文字去解读它，也可以用可视化的图表去完成，抑或是做一个演示系统去展示你的结果。这项能力并需...
2018-08-18 10:30:46
255
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人