- 博客(87)
- 收藏
- 关注
RSS订阅转载 如何在使用TensorFlow Estimator API时自定义分布式训练
TensorFlow’s Estimator API provides an easy, high-level API to train machine learning models. You can use the train(), evaluate() or predict() methods on a Estimator. However, most often, training is ...
2019-01-07 18:54:29
3198
翻译 tensorflow － 创建用户自定义Estimators
tf官网创建用户自定义estimator1.Pre-made vs. custom(预定义和自定义)如下图所示，预定义的Estimator是tf.estimator.Estimator类的子类，而自定义Estimators是tf.estimator.Estimator的一个实例：Figure1. Pre-made and custom Estimators are all Estimato...
2019-01-06 23:22:58
860
转载 分布式tensorflow中变量和graph如何分配
Distributed TensorFlow allows us to share parts of a TensorFlow graph between multiple processes, possibly each on a different machine.Why might we want to do this? The classic use case is to harnes...
2018-12-20 00:56:55
592
原创 distributed tensorflow - tensorflow dev summit 2017
https://www.youtube.com/watch?v=la_M6bCV91M
2018-12-18 23:52:52
766
原创 分布式TensorFlow － 基于keras和kubernetes的分布式tensorflow训练
(TensorFlow @ O’Reilly AI Conference, San Francisco '18)整理自google tensorflow2018年9月参加的TensorFlow @ O’Reilly AI Conference，介绍的分布式tensorflow《Distributed TensorFlow training using Keras and Kubernetes》，...
2018-12-16 21:16:43
2102
转载 分布式深度学习技术－AllReduce
Hello, I am Yuichiro Ueno. I participated in a summer internship program at PFN in 2017, and I currently work as a part-time engineer. I am an undergraduate student at Tokyo Institute of Technology, a...
2018-12-15 18:23:08
18260
3
翻译 分布式深度学习part1:神经网络的分布式训练
这篇文章是关于神经网络分布式训练的三部系列文章中的第一篇。在第1部中，我们将了解如何通过GPU上的分布式计算显著地加速深度学习模型的训练，并讨论一些挑战并调查当前关于该主题的研究。 我们还将考虑神经网络的分布式训练是否适用于特定用例。介绍在大型数据集上训练的现代神经网络架构可以在各种领域获得令人印象深刻的性能表现，从语音和图像识别，到自然语言处理，再到欺诈检测和推荐系统等行业关注的应用。 但...
2018-12-13 23:54:25
13013
1
原创 tensorflow的架构
tensorflow设计用于支持大规模分布式训练和预测，同时也足够灵活支持新模型和系统级优化。tensorflow是一种跨平台库，不同级别的用户级别代码（python c++ client）通过C API和核心的运行代码隔离。说明：client实现用户定义数据流图(dataflow graph)，并通过tf.session来执行；Distributed Master通过Se...
2018-12-12 22:10:34
1080
转载 tensorflow的graph和session基础
TensorFlow 使用数据流图将计算表示为独立的指令之间的依赖关系。这可生成低级别的编程模型，在该模型中，您首先定义数据流图，然后创建 TensorFlow 会话，以便在一组本地和远程设备上运行图的各个部分。为什么使用数据流图？数据流是一种用于并行计算的常用编程模型。在数据流图中，节点表示计算单元，边缘表示计算使用或产生的数据。例如，在 TensorFlow 图中，tf.matmul 操...
2018-12-11 00:16:08
6016
3
原创 tensoflow学模型-wide&deep(2) 官方代码分析
github上提供的应用代码关于wide&deep的作用，参加翻译的google一篇博客。数据集训练数据是Census Income Data Set该数据集包含48000条样本，其中属性有年龄(age)、职业(occupation)、教育(education)和收入(income)等，收入是二元标签，要不>50k要不<=50k。数据集大概分为32000条训练样
2018-12-07 23:30:31
2552
原创 整理goolge blog：tensorflow feature columns简介
在现实世界中，有很多非数字型的特征，比如地址、经纬度、姓名等如下图所示：Figure 1. 非数字特征.为什么要处理成数字呢，因为在DNN中，每个神经元上执行的其实都是输入数据和权重的矩阵乘法和加法操作，因此我们必须将特征转换为一个数字或者数字的vector。以product_class表示产品分类特征为例，包含三个分类类型：kitchenware —— 厨房用品electronics...
2018-12-06 21:31:21
1479
原创 深度学习中的embedding
分类输入数据(Categorical Input Data)分类数据是指表示来自有限选择集的一个或多个离散项的输入特征。 例如，它可以是用户观看的电影集，文档中的单词集或人的职业。分类数据通过稀疏张量(sparse tensors)表示最有效，稀疏张量是具有非常少的非零元素的张量。 例如，如果我们正在构建电影推荐模型，我们可以为每个可能的电影分配一个唯一的ID，然后通过用户观看过的电影的稀疏张...
2018-12-03 23:14:47
71669
4
翻译 tensoflow学模型-wide&deep(1)——google AI博客
人脑是一种复杂的学习机器，通过记住日常事件（“麻雀可以飞”和“鸽子可以飞”）形成规则，并将这些学习推广到适用于我们以前从未见过的事物（“有翅膀的动物可以飞”））。 也许更强大的是，记忆也允许我们进一步提炼我们的通用规则如一些特例（“企鹅不能飞”）。 当我们探索如何推进机器智能时，我们问自己这个问题 - 我们可以通过结合记忆（memorization）和泛化（generalization）的力量来教...
2018-12-01 16:07:10
682
翻译 为什么要使用Embedding Layers
为什么我们要开始使用embedding layer在介绍embedding的概念可能非常陌生。 例如，除了“将正整数（索引）转换为固定大小的稠密向量”之外，Keras文档没有提供任何解释。 快速谷歌搜索可能不会让你更进一步，因为这些类型的文档是第一个弹出的东西。 但是，在某种意义上，Keras的文档描述了所发生的一切。 那么为什么要使用embedding layer呢？ 以下是两个主要原因：...
2018-11-30 23:32:50
7166
翻译 翻译：理解特征工程（3）－文本数据的传统方法
本章作者系列文章第三篇，主要讲的是处理文本数据的特征方法，参见英文原文，简单翻译整理如下，以便自己更好理解。本系列其他译文：整理Understanding Feature Engineering (Part 1) — Continuous Numeric Data整理Understanding Feature Engineering (Part 2) — Categorical Data（...
2018-11-27 22:01:41
779
翻译 翻译：理解特征工程（2）－分类数据
理解特征工程（Part 2） － 分类数据本章作者主要将的是处理离散分类数据的策略，参见英文原文。Introduction(引言)我们在本系列的前一篇文章中介绍了处理结构化连续数值数据的各种特征工程策略。 在本文中，我们将研究另一种类型的结构化数据，它本质上是离散的，通常被称为分类数据。 处理数字数据通常比分类数据更容易，因为我们不必处理与任何属于分类类型的数据属性中的每个类别值有关的语义的...
2018-11-24 15:23:29
4637
原创 翻译：理解特征工程（1）－连续数值数据
理解特征工程Part1-连续数值数据，读英文原文，用中文记录一些关键点，让自己理解更深刻。总述典型的机器学习pipeline端到端的机器学习pipeline如下获取原始数据(raw data)并且在这些数据之上直接构建模型(models)是鲁莽的因为我们不会拿到想要的结果或者表现，并且算法也不足够只能来自动从原始数据中提取有意义的特征(features)。这里主要关注的是上图中的dat...
2018-11-23 22:44:59
2179
原创 mac上用conda安装tensorflow
背景最新想学习了解下火热的tensorflow，于是就想安装一个到本地。从网上也找了下网友的安装博客，但是说到底，东西还是官方的好，网上搜索的只能作为一点参考。 我的环境如下： 操作系统： mac OS 想要安装方式：conda（anaconda和miniconda都行，我安装的是miniconda） python版本：2.7最开始No module named ‘tensorflow’
2017-11-29 17:14:41
3018
原创 spark点点滴滴 —— 开发运行scala程序
概述环境：spark 2.0.1 运行模式：spark on yarn我们用scala语言编写的程序如何在spark集群上提交任务并运行呢，我们知道一个java程序spark提交命令如下：spark-submit --class className --name jobName --master yarn-cluster ./xxx-SNAPSHOT.jar其中clasName是入口main函数
2017-05-08 15:50:27
1516
转载 美团推荐算法实践
前言推荐系统并不是新鲜的事物，在很久之前就存在，但是推荐系统真正进入人们的视野，并且作为一个重要的模块存在于各个互联网公司，还是近几年的事情。随着互联网的深入发展，越来越多的信息在互联网上传播，产生了严重的信息过载。如果不采用一定的手段，用户很难从如此多的信息流中找到对自己有价值的信息。解决信息过载有几种手段：一种是搜索，当用户有了明确的信息需求意图后，将意图转换为几个简短的词或者短语的组合（即qu
2017-05-06 20:54:25
404
原创 scala基础7 —— scala的静态类型（object）
scala语言中是没有static关键字的，也就是说不能将类的方法或者字段声明为static，那如何实现相同的功能呢。scala提供了object关键字来实现同样的功能。
2017-05-06 11:44:35
6901
原创 spark点点滴滴 —— 运行scala任务异常处理
spark版本：2.0.1 最近在用spark提交scala语言写的任务时，提交任务总是失败，异常如下：17/05/05 18:39:23 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirro
2017-05-05 18:38:08
2213
原创 flume ng进击之路 （三） —— 自定义source API开发
概述关于flume ng的简单介绍，可以参考flume ng进击之路 （一）—— 入门，同时flume ng也提供了各种各样的source和sink接口供我们在生成环境中使用，但是在生产环境中，我们常常需要定制的source或者sink来满足我们的要求。好在flume ng提供了开放接口，我们可以根据这些接口，实现自己定制的source或者sink。下面我们来看一下如何实现自定义source框架。实
2017-05-04 12:18:50
7172
1
原创 设计模式 - 桥接模式
概述什么是桥接模式（bridge pattern）呢，在wiki中定义是“decouple an abstraction from its implementation so that the two can vary independently”，即“将抽象和实现解耦以至于让他们之间能够独立变化”。 为什么要将实现和抽象解耦开？这是因为在很多情况下，一个功能它的实现有很多方式，它的应用场景也有很
2017-04-28 14:43:36
511
原创 elasticsearch DSL java api总结
引言DSL，叫“特定领域语言”，是针对某一领域，具有受限表达性的一种计算机程序设计语言。elasticsearch的 query DSL即是针对elasticsearch检索的一种特定语言。 es的DSL在使用java API访问es时候也特别好用，本文我们详细了解下es的DSL java API的使用。 在使用java api检索es时候，我们使用的方式是： QueryB
2017-04-27 11:30:42
8750
原创 java jar包冲突解决方案
引言在使用java语言开发，maven做项目管理时，我们经常遇到一个头疼的问题就是jar包冲突。比如项目中不同的两个依赖A和B，都同时依赖了一个项目C，但是依赖的版本不同，这时候我们就要考虑这两个版本之间是否有冲突，不解决这些冲突，我们的项目虽然能编译成功，但执行的时候总是会报各种异常。 本篇主要介绍shade插件解决jar包冲突问题
2017-04-18 14:06:44
9277
原创 Apache maven shade plugin使用说明
introductionApache maven shade plugin提供把工程的artifact及其依赖打包到一个uber-jar中并能隐藏起来（比如重命名），shade插件仅仅有一个功能就是创建一个shaded包。 那什么是uber-jar呢，uber在德语中是above或over的意思，在这里表示是从单一的jar提升到“over-jar”，即把所有的依赖都定义到一个jar文件里。 好了
2017-04-18 11:41:45
26603
4
转载 微服务可靠性设计
转载说明：这篇文章针对微服务的可靠性设计讲的比较全面，我只摘出了其中几个关键点转载，原文参考链接。在故障隔离，容错，降级，熔断机制，流量控制几个方面详细讲解了微服务的可靠性，不错的参考。背景微服务化之后，系统分布式部署，传统单个流程的本地API调用被拆分成多个微服务之间的跨网络调用，由于引入了网络通信、序列化和反序列化等操作，系统发生故障的概率提高了很多。微服务故障，有些是由于业务自身设计或者编码不
2017-04-18 10:51:26
2549
原创 机器学习数学基础 - 导数和偏导数
概述导数（Derivative）是微积分中的重要基础概念。当函数y=f(x)的自变量x在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，记作f’(x0)或df(x0)/dx。 导数是函数的局部性质。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。如果函数的自变量和取值都是实数的话，函数在某一点的导数就是该函数所
2017-04-05 19:29:58
5094
转载 机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)
回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归
2017-04-05 17:19:28
448
转载 深度学习在搜狗无线搜索广告中的应用
本次分享主要介绍深度学习在搜狗无线搜索广告中有哪些应用场景，以及分享了我们的一些成果，重点讲解了如何实现基于多模型融合的CTR预估，以及模型效果如何评估，最后和大家探讨DL、CTR 预估的特点及未来的一些方向。
2017-04-05 15:14:19
806
转载 微信斑马系统：微信朋友圈广告背后的利器
本文介绍我们即将推出的微信斑马系统，该系统旨在为中小企业和传统行业提供基于微信大数据分析技术的受众分析，精准推广，激活留存和商业智能决策的全套解决方案。
2017-04-04 11:08:53
1041
转载 机器学习算法工程师需要掌握的技能与要踩的坑
今天就说说机器学习这个最近两年计算机领域最火的话题，这不是一篇机器学习的技术文章，只是告诉大家机器学习里面的坑实在是太多，而且很多还没入门或者刚刚入门的朋友们，其实在你们前面是个大坑，如果你励志要在这条路上走下去的话，请做好心理准备。
2017-04-04 09:06:32
863
原创 设计模式 - 适配器模式，装饰模式，代理模式，外观模式（一）
概述适配器模式（adapter pattern），装饰模式（decorator pattern），代理模式（proxy pattern）和外观模式（ facade pattern），都是设计模式中结构型设计模式，而且他们都是对类行为的封装，很容易让人迷惑，因此，放在一起讲解对比，以便让我们更清楚这三种设计模式的特点和实践应用。
2017-04-01 17:06:44
859
原创 聊聊分布式一致性之CAP理论和BASE理论
数据复制在可用性和性能方面给分布式系统带来的巨大好处是不言而喻的，然而数据复制所带来的一致性挑战，也是每一个系统研发人员不得不面对的，那就是一致性（consistency），总得来说，我们无法找到一种能够满足分布式系统所有系统属性的分布式一致性解决方案。因此，如何既保证数据的一致性，同时又不影响系统运行的性能，是每一个分布式系统都需要重点考虑和权衡的。
2017-04-01 15:21:06
574
转载 【转】五分钟理解一致性哈希算法(consistent hashing)
一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。
2017-04-01 14:44:48
493
原创 spark点点滴滴 —— 认识spark sql的DataFrame和DataSet
概述spark的DataFrames和DataSets是spark SQL中的关键概念，相比于RDD，DataFrame更能描述数据类型，因此是spark sql的基础类型，同时在spark 2.0.x及其以后的版本中，spark的机器学习也会逐渐替换成基于DataFrame的api，所有我们有必要了解spark的DataFrame相关概念。 spark sql在spark框架中的位置： 我
2017-03-31 15:59:52
3905
转载 【转】C++ 引用计数技术及智能指针的简单实现
C语言、C++语言没有自动内存回收机制，关于内存的操作的安全性依赖于程序员的自觉。程序员每次new出来的内存块都需要自己使用delete进行释放，流程复杂可能会导致忘记释放内存而造成内存泄漏。而智能指针也致力于解决这种问题，使程序员专注于指针的使用而把内存管理交给智能指针。
2017-03-30 11:42:04
539
转载 【转】图说C++对象模型：对象内存布局详解
前言文章较长，而且内容相对来说比较枯燥，希望对C++对象的内存布局、虚表指针、虚基类指针等有深入了解的朋友可以慢慢看。 本文的结论都在VS2013上得到验证。不同的编译器在内存布局的细节上可能有所不同。 文章如果有解释不清、解释不通或疏漏的地方，恳请指出。何为C++对象模型?引用《深度探索C++对象模型》这本书中的话：有两个概念可以解释C++对象模型：语言中直接支持面向对象程序设计的部分。对于
2017-03-29 17:32:43
429
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人