TensorFlow实现案例汇集:代码+笔记

这是使用 TensorFlow 实现流行的机器学习算法的教程汇集。本汇集的目标是让读者可以轻松通过案例深入 TensorFlow。 这些案例适合那些想要清晰简明的 TensorFlow 实现案例的初学者。本教程还包含了笔记和带有注解的代码。 项目地址:https://github.com/...

2018-08-29 13:41:05

阅读数:201

评论数:0

深度学习对话系统理论--数据集和评价指标介绍

对话系统常用评价指标 当前对话系统之所以还没有取得突破性的进展,很大程度上是因为没有一个可以准确表示回答效果好坏的评价标准。对话系统中大都使用机器翻译、摘要生成领域提出来的评价指标,但是很明显对话系统的场景和需求与他们是存在差别的,这也是当前模型效果不是很好的原因之一。从对话系统不同的层次角度来...

2018-08-26 18:57:06

阅读数:139

评论数:0

GAN 生成对抗网络 与 DCGAN 深度卷积生成对抗网络

PS;再看这篇文章前,先要了解什么是判别模型、生成模型。 再看看如下问题,,, 1. GAN对噪声z的分布有要求吗?常用哪些分布? 一般没有特别要求,常用有高斯分布、均匀分布。噪声的维数至少要达到数据流形的内在维数,才能产生足够的diversity,mnist大概是6维,CelebA大概是2...

2018-08-19 19:08:42

阅读数:282

评论数:0

依存句法分析与语义依存分析

依存句法分析   依存语法 (Dependency Parsing, DP) 通过分析语言单位内成分之间的依存关系揭示其句法结构。 直观来讲,依存句法分析识别句子中的“主谓宾”、“定状补”这些语法成分,并分析各成分之间的关系。 例如,句子 国务院总理李克强调研上海外高桥时提出,支持上海积极探...

2018-08-18 10:58:52

阅读数:356

评论数:0

使用CNN进行文本分类 - python3实现

nlp文本分类,可以使用全连接神经网络文本分类,rnn文本分类。CNN在文本分类中发展很快, 本例使用tensorflow布置,构造一个CNN文本分类器,相应的使用方法和scikit-learn一样仅仅需要三步(模型实体化,模型训练,模型预测)  相应代码如下(文件名为:TextCNNClass...

2018-08-16 15:45:16

阅读数:575

评论数:0

RNN - LSTM 梳理 及 python3 实现

RNN循环神经网络,在“时间序列”,“可变长序列到序列” 或“在上下文模型”中有着非常广泛的应用。现在论文中说到RNN,基本上说的就是LSTM,同时也有GRU用了比LSTM更少的gate和参数,可以达到类似的效果。 本文主要是介绍RNN,LSTM的原理,及举一个程序的例子来说明如何用TF实现LS...

2018-08-16 12:43:17

阅读数:406

评论数:1

《Spark 官方文档》机器学习库指南

MLlib是Spark的机器学习库(MLlib)。旨在简化机器学习的工程实践工作,并方便扩展到更大规模。MLlib由一些通用的学习算法和工具组成,包括分类、回归、聚类、协同过滤、降维等,同时还包括底层的优化原语和高层的管道API。 MLllib目前分为两个代码包: spark.mllib 包含...

2018-08-15 11:22:13

阅读数:239

评论数:0

机器学习、tensorflow 常用优化方法原理

在ML/DL中,有许多优化方法可以选择,只有清楚了它们的原理才能更好地选择。 1、SGD 随机梯度下降是最经典的方法,其思想如下图所示: 首先求出m个样本的Loss的和,求这个和对于神经网络参数theta的梯度,并将该梯度除以样本数m,得到平均梯度。然后,利用反向梯度来更新参数theta...

2018-08-09 15:36:53

阅读数:443

评论数:0

用户画像原理、技术选型及架构实现

这篇文章在宏观上很好地描述了用户画像的主要内容。(文章内的图片来源于不同帖子,侵删) 一、 什么是用户画像         用户画像是指根据用户的属性、偏好、生活习惯、行为等信息,抽象出来的标签化用户模型。通俗说就是给用户打标签,而标签是通过对用户信息分析而来的高度精炼的特征标识。通过打标签可...

2018-07-22 12:35:26

阅读数:2981

评论数:0

条件随机场CRF 梳理

条件随机域(场)(conditional random fields,简称 CRF,或CRFs),是一种判别式概率模型,是随机场的一种,常用于标注或分析序列资料,如自然语言文字或是生物序列。 如同马尔可夫随机场,条件随机场为具有无向的图模型,图中的顶点代表随机变量,顶点间的连线代表随机变量间的相...

2018-07-08 15:36:18

阅读数:299

评论数:0

一线互联网常见的14个Java面试题,你颤抖了吗

1. synchronized和reentrantlock异同相同点都实现了多线程同步和内存可见性语义都是可重入锁不同点实现机制不同 synchronized通过java对象头锁标记和Monitor对象实现 reentrantlock通过CAS、ASQ(AbstractQueuedSynchron...

2018-06-28 11:34:04

阅读数:188

评论数:0

推荐系统 - LDA模型 - python3 实现

#-*- coding:utf-8 -*- import logging import logging.config import configparser as ConfigParser # python 3 # import ConfigParser # python 2 import num...

2018-06-25 21:38:47

阅读数:368

评论数:0

word2vec 词向量 - Python3 实现

Word2vec,是为一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络,用来训练以重新建构语言学之词文本。网络以词表现,并且需猜测相邻位置的输入词,在word2vec中词袋模型假设下,词的顺序是不重要的。训练完成之后,word2vec模型可用来映射每个词到一个向量,可用来表示词对词之间的...

2018-06-18 18:30:54

阅读数:469

评论数:0

特征选择常用方法整理

特征选择 在实际工程中,对于特征变量的选取,往往是基于业务经验,也就是所谓你的先验知识。 现在数据的特征维度很多,而能作为训练集的样本量却往往远小于特征数量(如基因测序、文本分类)。 特征选择的好处:便于理解和可视化数据,降低计算及存储压力,对抗维度灾难以提高模型预测准确率等等。 特征选择...

2018-06-14 19:36:12

阅读数:1096

评论数:0

XGBoost参数调优指南整理

简介 如果你的预测模型表现得有些不尽如人意,那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法,可以处理各种不规则的数据。  构造一个使用XGBoost的模型十分简单。但是,提高这个模型的表现就有些困难(至少我觉得十分纠结)。这个算法使用了好几...

2018-06-13 20:49:29

阅读数:129

评论数:0

今日头条推荐算法原理 - 梳理

PS:腾讯新闻和今日头条,我每天都会对比着用,喜欢腾讯新闻的细致和头条的粗暴。 算法分发已经是信息平台、搜索引擎、浏览器、社交软件等几乎所有软件的标配,但同时,算法也开始面临质疑、挑战和误解。   今日头条的推荐算法,从 2012 年 9 月第一版开发运行至今,已经经过四次大的调整和修改...

2018-06-11 12:29:12

阅读数:548

评论数:0

推荐系统之协同过滤算法 - Python3 实现

推荐算法具有非常多的应用场景和商业价值,因此对推荐算法值得好好研究。推荐算法种类很多,目前应用最广泛的是协同过滤类别的推荐算法。 1. 推荐算法概述 推荐算法是非常古老的,在机器学习还没有兴起的时候就有需求和应用了。概括来说,可以分为以下5种: 1)基于内容的推荐:这一类一般依赖于自然语言处...

2018-06-06 22:33:50

阅读数:552

评论数:0

搭建Storm集群

1. 机器准备我准备了3台机器 , 其充当的角色分别是nimbus :  10.101.214.71zookeeper:  10.101.214.71, 10.101.214.73 , 10.101.214.74supervisor :  10.101.214.73 , 10.101.214.74...

2018-06-06 20:15:35

阅读数:83

评论数:0

TensorFlow分布式全套(原理,部署,实例)

TF的实现分为了单机实现和分布式实现,在分布式实现中,需要实现的是对client,master,worker process不在同一台机器上时的支持。数据量很大的情况下,单机跑深度学习程序,过于耗时,所以需要TensorFlow分布式并行。该实例是TF的经典入门实例手写字体识别MNIST基于分布式...

2018-06-04 13:53:28

阅读数:282

评论数:0

随机采样方法整理

随机模拟也可叫做蒙特卡罗模拟(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代,和原子弹制造的曼哈顿计划密切相关,当时的几个大牛,包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis, 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的...

2018-05-31 17:59:05

阅读数:170

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭