2017年02月_mishidemudong

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载理解和实现分布式TensorFlow集群完整教程

手把手教你搭建分布式集群，进入生产环境的TensorFlow分布式TensorFlow简介前一篇《分布式TensorFlow集群local server使用详解》我们介绍了分布式TensorFlow的基本概念，现在我们可以动手搭建一个真正的分布式TensorFlow集群。分布式TensorFlow集群由多个服务端进程和客户端进程组成，在某些场景下，服务端和客户端可以写到同一个Pytho

2017-02-28 17:11:30 17705 1

转载分布式TensorFlow集群使用入门

该文档讲述了如何创建一个最简单的tensorflow分布式的服务，利用tensorflow的local server服务，如果运行一个最简单的分布式例子。Local server和分布式服务的接口一样，我们将从local server入手，详细解读分布式机器学习集群的用法。Local server的最简单用法!TensorFlow官方文档提供了local server的

2017-02-28 17:09:09 1099

转载分布式的TensorFlow

该文档讲述了如何创建一个集群的tensorflow服务器，以及如何分配在集群计算图。我们假设你熟悉写作tensorflow程序的基本概念。Hello distributed TensorFlow!演示一个简单的TensorFlow集群，执行以下命令：:# Start a TensorFlow server as a single-process "cluster".$ python

2017-02-28 17:05:18 623

转载白话tensorflow分布式部署和开发

白话tensorflow分布式部署和开发关于tensorflow的分布式训练和部署，官方有个英文的文档介绍，但是写的比较简单，给的例子也比较简单，刚接触分布式深度学习的可能不太容易理解。在网上看到一些资料，总感觉说的不够通俗易懂，不如自己写一个通俗易懂给大家分享一下。1. 单机多GPU训练先简单介绍下单机的多GPU训练，然后再介绍分布式的多机多GPU训练。:单机的多

2017-02-28 17:02:51 820

转载学习TensorFlow，保存学习到的网络结构参数并调用

在深度学习中，不管使用那种学习框架，我们会遇到一个很重要的问题，那就是在训练完之后，如何存储学习到的深度网络的参数？在测试时，如何调用这些网络参数？针对这两个问题，本篇博文主要探索TensorFlow如何解决他们？本篇博文分为三个部分，第一是讲解tensorflow相关的函数，第二是代码例程，第三是运行结果。一 tensorflow相关的函数我们说的这两个功能主要由一个类来完成，class

2017-02-28 13:08:47 1140

转载 Tensorflow学习笔记4：分布式Tensorflow

Tensorflow学习笔记4：分布式Tensorflow简介Tensorflow API提供了Cluster、Server以及Supervisor来支持模型的分布式训练。关于Tensorflow的分布式训练介绍可以参考Distributed Tensorflow。简单的概括说明如下：Tensorflow分布式Cluster由多个Task组成，每个Task对应一个tf.tr

2017-02-27 16:41:58 818

转载 tensorflow学习笔记(十九):分布式Tensorflow

分布式Tensorflow最近在学习怎么分布式Tensorflow训练深度学习模型,看官网教程看的云里雾里,最终结合着其它资料,终于对分布式Tensorflow有了些初步了解.gRPC (google remote procedure call)分布式Tensorflow底层的通信是gRPC gRPC首先是一个RPC,即远程过程调用,通俗的解释是:假设你在本机上执行一段代码num=

2017-02-27 15:03:33 424

转载理解和实现分布式TensorFlow集群完整教程

分布式TensorFlow简介前一篇《分布式TensorFlow集群local server使用详解》我们介绍了分布式TensorFlow的基本概念，现在我们可以动手搭建一个真正的分布式TensorFlow集群。分布式TensorFlow集群由多个服务端进程和客户端进程组成，在某些场景下，服务端和客户端可以写到同一个Python文件并起在同一个进程，但为了简化代码让大家更好理解分布式架构，

2017-02-27 13:58:49 1285

转载白话tensorflow分布式部署和开发

关于tensorflow的分布式训练和部署，官方有个英文的文档介绍，但是写的比较简单，给的例子也比较简单，刚接触分布式深度学习的可能不太容易理解。在网上看到一些资料，总感觉说的不够通俗易懂，不如自己写一个通俗易懂给大家分享一下。如果大家有看不懂的，欢迎留言，我再改文章，改到大学一年级的学生可以看懂的程度。1. 单机多GPU训练先简单介绍下单机的多GPU训练，然后再介

2017-02-27 13:30:40 790

转载 Tensorflow 分布式部署简介

tensorflow-0.8 的一大特性为可以部署在分布式的集群上，本文的内容由Tensorflow的分布式部署手册翻译而来，该手册链接为TensorFlow分布式部署手册分布式TensorFlow本文介绍了如何搭建一个TensorFlow服务器的集群，并将一个计算图部署在该分布式集群上。以下操作建立在你对 TensorFlow的基础操作已经熟练掌握的基础之上。Hello wo

2017-02-27 11:43:20 758

转载 Ubuntu 14.04 安装mysql 5.7

安装msyql1. 升级apt-getapt-get update如果出现说明没有你不是root用户，则需要用sudo命令sudo apt-get update 下面出现权限问题都可以参照这个方法。2. 安装 mysql-client-core-5.7apt-get install MySQL-client-core-5.7

2017-02-24 14:18:21 1188

转载 cuda8.0 出错：/usr/bin/ld: 找不到 -lGL

最近在学习深度学习，在搭建CUDA8.0的时候，出现一个非常不好的问题：出错：/usr/bin/ld: 找不到 -lGLcollect2: error: ld returned 1 exit statusMakefile:275: recipe for target 'nbody' failedmake: *** [nbody] Error 1因为cuda8.0是最新的版本，

2017-02-24 10:09:56 9476 3

转载数据预处理——One-hot编码

网上关于One-hot编码的例子都来自于同一个例子，而且结果来的太抖了。查了半天，终于给搞清楚这个独热编码是怎么回事了，其实挺简单的，这里再做个总结。首先，引出例子：已知三个feature，三个feature分别取值如下：feature1=[“male”, “female”]feature2=[“from Europe”, “from US”, “from Asia”]fe

2017-02-23 11:19:08 1036

转载 NVIDIA GPU 运算能力列表

CUDA GPUs最新信息见：https://developer.nvidia.com/cuda-gpusNVIDIA GPUs power millions of desktops, notebooks, workstations and supercomputers around the world, accelerating computationally-inten

2017-02-23 10:13:49 14999

转载高性能框架gevent和gunicorn在web上的应用及性能测试

WSGI Server有哪些：比如 Flask，webpy，Django、CherryPy 都带着 WSGI server 。当然性能都不好，自带的web server 更多的是测试用途, 发布时则使用生产环境的 WSGI server或者是联合nginx做uwsgi 。诚如那个WSGI的定义所说的，协议定义了一套接口来实现服务器端与应用端通信的规范化（或者说是统一化）。这是怎样

2017-02-22 11:46:10 1468

转载 Gevent程序员指南

gevent程序员指南由Gevent社区编写 gevent是一个基于libev的并发库。它为各种并发和网络相关的任务提供了整洁的API。介绍本指南假定读者有中级Python水平，但不要求有其它更多的知识，不期待读者有并发方面的知识。本指南的目标在于给予你需要的工具来开始使用gevent，帮助你驯服现有的并发问题，并从今开始编写异步应用程序。贡献者按提供贡献的时间先后顺序

2017-02-22 10:27:10 1065

原创 Tensorflow: How to restore a previously saved model (python)

In( and After) TensorFlow version 0.11.0RC1, you can save and restore your model directly by callingtf.train.export_meta_graph and tf.train.import_meta_graph according tohttps://www.tensorflow.o

2017-02-21 17:12:56 1277

转载 tensorflow学习笔记（六）：LSTM 与 GRU

[10.26.2016 更新] [新增内容：今天写代码的时候，如果使用state_is_tuple=True, 那么initial_state = lstm_cell.zero_state(batch_size, dtype=tf.float32)...with tf.Session() as sess: tf.initialize_all_variables().run()

2017-02-21 15:34:36 2536

转载 Python中利用LSTM模型进行时间序列预测分析

时间序列模型时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征。这是一类相对比较复杂的预测建模问题，和回归分析模型的预测不同，时间序列模型是依赖于事件发生的先后顺序的，同样大小的值改变顺序后输入模型产生的结果是不同的。举个栗子：根据过去两年某股票的每天的股价数据推测之后一周的股价变化；根据过去2年某店铺每周想消费人数预测下周来店消费的人数等等RNN

2017-02-20 17:09:49 9812 1

转载 RNN以及LSTM的介绍和公式梳理

目录(?)[+]前言好久没用正儿八经地写博客了，csdn居然也有了markdown的编辑器了，最近花了不少时间看RNN以及LSTM的论文，在组内『夜校』分享过了，再在这里总结一下发出来吧，按照我讲解的思路，理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RNN最近做出了很多非常漂亮的成果，比如Alex Graves的手写文字生成、名声大振的『根据图片生成描述文字』、

2017-02-20 17:01:34 650

转载 python利用LSTM进行时间序列分析预测

关键词：Python、Keras、LSTM、Time-Series-Prediction　　　　关于技术理论部分，可以参考这两篇文章（RNN、LSTM），本文主要从数据、代码角度，利用LSTM进行时间序列预测。时间序列（或称动态数列）是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。时间序列分析的主要目的是根据已有的历史数据对未来进行预测。时间序列构成要素

2017-02-20 16:54:01 10485 2

转载使用TensorFlow的递归神经网络（LSTM）进行序列预测

本篇文章介绍使用TensorFlow的递归神经网络（LSTM）进行序列预测。作者在网上找到的使用LSTM模型的案例都是解决自然语言处理的问题，而没有一个是来预测连续值的。所以呢，这里是基于历史观察数据进行实数序列的预测。传统的神经网络模型并不能解决这种问题，进而开发出递归神经网络模型，递归神经网络模型可以存储历史数据来预测未来的事情。在这个例子里将预测几个函数：正弦函数：sin

2017-02-20 16:03:40 12849 1

转载解读tensorflow之rnn

from: http://lan2720.github.io/2016/07/16/%E8%A7%A3%E8%AF%BBtensorflow%E4%B9%8Brnn/这两天想搞清楚用tensorflow来实现rnn/lstm如何做，但是google了半天，发现tf在rnn方面的实现代码或者教程都太少了，仅有的几个教程讲的又过于简单。没办法，只能亲自动手一步步研究官方给出的代码了。本文研

2017-02-20 14:35:47 1685

转载 alsa/asoundlib.h: No such file or directory

缺少一个库：apt-get install libasound2-devOK!

2017-02-20 13:53:56 1185

转载人人都能用Python写出LSTM-RNN的代码！[你的神经网络学习最佳起步]

0. 前言本文翻译自博客： iamtrask.github.io ，这次翻译已经获得trask本人的同意与支持，在此特别感谢trask。本文属于作者一边学习一边翻译的作品，所以在用词、理论方面难免会出现很多错误，假如您发现错误或者不合适的地方，可以给我留言，谢谢！--- 2016.7.26 UPDATE ---不涉及商业用途无须告知本人即可转载，但请注明出处！原文地址：blog

2017-02-20 10:33:34 438

转载循环神经网络RNN简介

作者：许铁-巡洋舰科技链接：https://www.zhihu.com/question/37082800/answer/126430702来源：知乎著作权归作者所有，转载请联系作者获得授权。最近朋友前小伙伴都已经传播疯了的谷歌翻译，实现了令人惊艳的性能。这里的技术核心，就是RNN- 我们常说的的传说中的循环神经网络。 RNN可以称得上是深度学习未来最有前景的工具之一。你想

2017-02-17 17:22:47 3014

转载 Python强制关闭线程的一种办法（可行已用于项目）

由于经常被Python非Daemon线程阻塞，导致程序无法结束。所以到处找办法解决，但是经常没有找到点上。导致无功而返。今天突发奇想来搜了一下相关的解决方案，竟然被我找到了。首先是百度了一下（懒得开VPN）然后找到了一个网友分享的解决方案： http://www.cnblogs.com/rainduck/archive/2013/03/29/2989810.html 但是

2017-02-17 11:23:16 56638 10

转载错误Tensor is not an element of this graph tensorflow

1、说明：tensorflow使用图来定义计算,在session中来执行图中定义的计算,如果没有显式的说明,那么session就跟默认的图相关联.graph 和 session应该是一一对应的.下面,举例说明,session如果和graph不一一对应的话,会出现error[python] view plain copy import tensorflow as tf

2017-02-16 17:22:38 4634

转载 linux 查看 python 安装路径适合查看命令的安装路径

查看 Python 安装路径 [root@glnode04 ~]# which python

2017-02-16 16:21:18 3905

转载 Python 集合set()添加删除、交集、并集、集合操作详解

创建集合setpython set类是在python的sets模块中，大家现在使用的python2.3中，不需要导入sets模块可以直接创建集合。>>>set('boy')set(['y', 'b', 'o'])集合添加、删除python 集合的添加有两种常用方法，分别是add和update。集合add方法：是把要传入的元素做为一个整个添加到集合中，例如：>>> a =

2017-02-16 09:38:56 7001 1

转载随机打乱数组（包括二维数组）的顺序-python实现

help(random.shuffle)可以将列表随机打乱[python] view plain copy li=range(20) random.shuffle(li) ##########################################help(random.random)

2017-02-15 15:26:36 9117 3

转载详解python的几种标准输出重定向方式

一. 背景在Python中，文件对象sys.stdin、sys.stdout和sys.stderr分别对应解释器的标准输入、标准输出和标准出错流。在程序启动时，这些对象的初值由sys.__stdin__、sys.__stdout__和sys.__stderr__保存，以便用于收尾(finalization)时恢复标准流对象。Windows系统中IDLE(Python GUI)由pyth

2017-02-15 10:46:33 2207

转载 Python GUI - Tkinter LabelFrame

Python GUI - Tkinter LabelFrame: 在一个labelframe一个简单的容器构件。其主要目的是作为一个间隔或复杂的窗口布局容器在一个labelframe一个简单的容器构件。其主要目的是作为一个间隔或复杂的窗口布局容器.该部件有一帧的功能，加上能够显示标签.语法:这里是一个简单的语法来创建这个widget:w =

2017-02-13 17:22:21 7723

原创 Package opencv was not found in the pkg-config search path

From your question I guess you are using Ubuntu (or a derivate).If you use:apt-file search opencv.pcthen you see that you have to install libopencv-dev. After you do so, pkg-config --cflags open

2017-02-09 13:21:56 6595 1

转载 MLP(多层神经网络)与人工神经网络

ANN的特点(1) 高度的并行性人工神经网络是由许多相同的简单处理单元并联组合而成，虽然每个单元的功能简单，但大量简单单元的并行活动，使其对信息的处理能力与效果惊人。(2) 高度的非线性全局作用神经网络系统是由大量简单神经元构成的，每个神经元接受大量其他神经元的输入，通过非线性输入、输出关系，产生输出影响其它神经元。网络就是这样互相制约相互影响，实现从输入状态空间到输出状态空间非线

2017-02-09 10:55:06 8587

转载 ubuntu 提示boot空间不足的问题解决方案

boot空间不足的问题在安装 ubuntu11.10的时候，给/boot文件目录分配空间的时候，是100M，/boot可以单独分成一个区，也可以不单独分，在/（根目录）下也会自动为其创建一个boot目录。顺便提一下，linux分区是树结构的，/为根目录，在其目录下会分各个执行不同工作的目录，所以在分区的时候完全可以只分一个根分区和一个swap（虚拟内存）分区。如果分的细微一点，为/b

2017-02-08 14:40:52 402

转载 python中 try、except、finally 的执行顺序

def test1(): try: print('to do stuff') raise Exception('hehe') print('to return in try') return 'try' except Exception: print('process except') print('to return

2017-02-08 11:40:58 10190 1

转载 TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络

全连接神经网络辅助阅读：TensorFlow中文社区教程 -英文官方教程代码见：full_connect.pyLinear Model加载lesson 1中的数据集将Data降维成一维，将label映射为one-hot encodingdef reformat(dataset, labels):dataset = dataset.reshape((

2017-02-07 17:07:03 462

转载 DevOps：从理念到实施

DevOps：从理念到实施DevOps这个新理念的出现，是为了应对IT环境中普遍面临的一些挑战。开发团队要求的不断满足新的客户需求，并快速实现新的功能。而运营最关心的是“稳定压倒一切”，任何差错都有可能对生产环境中的用户造成直接影响。本文分享了DevOps从理念到实施的工具和方法。敏捷的出现缩小了上图所示的第一个隔阂，也就是商业需求和开发之间的隔阂，有效的加快了产品开发

2017-02-06 13:08:42 1744

转载开发丨深度学习框架太抽象？其实不外乎这五大核心组件

许多初学者觉得深度学习框架抽象，虽然调用了几个函数/方法，计算了几个数学难题，但始终不能理解这些框架的全貌。为了更好地认识深度学习框架，也为了给一些想要自己亲手搭建深度学习框架的朋友提供一些基础性的指导，日前来自苏黎世联邦理工学院计算机科学系的硕士研究生Gokula Krishnan Santhanam在博客上撰文，概括了大部分深度学习框架都会包含的五大核心组件，为我们详细剖析了深

2017-02-05 11:46:29 739