关闭

TensorFlow中,variable_scope和name_scope的不同之处

之前一直很困惑,tf.variable_scope和tf.name_scope都是管理上下文环境的,它们有什么不同?查阅资料时,发现了一段有意思的测试代码import tensorflow as tf def scoping(fn, scope1, scope2, vals): with fn(scope1): a = tf.Variable(vals[0], name='a...
阅读(108) 评论(0)

Google Inception Net 特点总结

Google Inception Net 特点总结不同于普通卷积网络,Google Inception Net具有以下特点,在此总结 - 控制了计算量和参数的同时,获得了好的分类性能 - 去除了最后的全连接层,用全局平均池化层 - 使用Inception Module,提高参数的利用率 - 使用不同大小的卷积核,增加多样性 - 引入辅助分类节点(auxiliary classifiers)...
阅读(161) 评论(0)

用Tensorflow搭建CNN卷积神经网络,实现MNIST手写数字识别

写在前面的话不同于Tensorflow官方教程简略的DEMO,我们自己动手实现以下目标 - 从本地文件系统中加载图片、标签 - 对图片和标签预处理 - 创建batch对象以提供随机批次训练 - 构建网络结构 - 训练神经网络 - 在验证集合上评估准确率 - 保存及加载网络参数模型训练数据请下载 https://pan.baidu.com/s/1cdBnbC 训练集合 train.t...
阅读(602) 评论(0)

spark程序读写protobuf格式数据(java语言)

在spark上,用protobuf替代json格式作为数据序列化存储谷歌的protobuf一般用来将复杂数据结构序列化为二进制数组,非常适合网络传输等领域,其效率和空间占用都优于json格式。这一次,我在用spark做建模时,打算使用protobuf替换原json格式数据,以获得性能提升。在此记录下实现方式,以及如何避过我遇到的坑。我的环境是spark1.5.0 + java7 + protobuf...
阅读(1020) 评论(5)

Spark常见问题解决办法

以下是在学习和使用spark过程中遇到的一些问题,记录下来。 1、首先来说说spark任务运行完后查错最常用的一个命令,那就是把任务运行日志down下来。 程序存在错误,将日志down下来查看具体原因!down日志命令:yarn logs -applicationId app_id 2、Spark性能优化的9大问题及其解决方案 Spark程序优化所需要关注的几个关键点——最主要的是数据序列化...
阅读(2153) 评论(0)

Java实现矩阵加减乘除转制等运算

Java初学,编写矩阵预算程序,当做工具,以便以后写算法时使用。 public class MatrixOperation{ public static int[][] add(int[][] matrix_a, int[][] matrix_b){ int row = matrix_a.length; int col = matr...
阅读(1225) 评论(0)

加密与压缩,霍夫曼编码解码

简介:通过统计一篇文章(或一本书)中每个字符出现的频率(比如字母a出现了100次),对文中出现的每个字符进行编码。这种编码的特点是出现频率越高的字符,其编码长度越短。有了这样的字符、编码对照表,就可以发“密文”啦!举个栗子:早上看到一篇新闻,blablabla内容不重要。如下: Apple Inc. plans to break with its recent pattern of overha...
阅读(1800) 评论(0)

《机器学习》读书笔记,第四章人工神经网络

人工神经网络(Artificial Neural Networks, ANN)提供了一种普遍而实用的方法从样例中学习值为实数、离散值或向量的函数。 像反向传播(BACKPROPAGATION)这样的算法,使用梯度下降来调节网络参数以最佳拟合由输入-输出对组成的训练结合。 ANN学习对于训练数据中的错误健壮性很好,且已被成功地应用到很多领域,例如视觉场景分析(interpreting visua...
阅读(1468) 评论(0)

Python实现人工神经网络(反向传播算法)

注意:本程序使用Python3编写,额外需要安装numpy工具包用于矩阵运算,未测试python2是否可以运行。 本程序实现了《机器学习》书中所述的反向传播算法训练人工神经网络,理论部分请参考我的读书笔记。 在本程序中,目标函数是由一个输入x和两个输出y组成, x是在范围【-3.14, 3.14】之间随机生成的实数,而两个y值分别对应 y1 = sin(x),y2 = 1。...
阅读(3148) 评论(0)

用python,100行完成producer与consumer模型

本程序使用python3编写,可直接运行 程序中定义了两个类,分别是producer和consumer。每个类中的run方法,用于使用者填补实际功能代码。call方法为调度使用,请不要轻易修改。 在主函数中,初始化进程池以及manager对象,后者用于产生进程之间的队列、锁和Event。 主函数先创建多个producer进程,将producer进程们保存如列表producerProcessL...
阅读(810) 评论(0)

Python实现ID3算法决策树

自己写的决策树ID3算法 参照书第三章,核心使用信息增益度量某个属性是否最优,递归生成整棵树。 本程序使用python3.4编写,对每个函数的作用已做注释,对于python2未做测试。 代码如下: #!/usr/bin/env python3 # -*- encoding=utf-8 -*- from math import log2 class DT(object): ...
阅读(324) 评论(0)

《机器学习》读书笔记,第三章决策树学习

决策树学习是应用最广泛的归纳推理算法之一。 它是一种逼近离散值函数的方法,对噪声数据有很好的健壮性且能够学习析取表达式 本章描述了一系列决策树学习算法,包括如ID3、ASSISTANT和C4.5 这些决策树学习方法搜索一个完整表示的假设空间,从而避免了受限假设空间的不足。 决策树学习的归纳偏置是优先选择较小的树 3.1简介: 决策树学习是一种逼近离散值函数的方法,在这种方法中学...
阅读(919) 评论(0)

《机器学习》读书笔记,第二章概念学习和一般到特殊序

本章展示了几种概念学习算法,并讨论了这些算法能收敛到正确假设的条件。这里还分析了归纳学习的本质以及任意程序能从训练数据中泛华的理由。 2.1概念学习: 从有关某个布尔函数的输入输出训练样例中推断出该布尔函数 2.2概念学习任务: 实例的集合、实例集合上的目标函数、候选假设的集合以及训练样例的集合。 术语定义: 实例集合:X 待学习的概念或函数成为目标概念:c ...
阅读(673) 评论(0)

python实现一个朴素贝叶斯分类器

因工作中需要,自己写了一个朴素贝叶斯分类器。 对于未出现的属性,采取了拉普拉斯平滑,避免未出现的属性的概率为零导致整个条件概率都为零的情况出现。 朴素贝叶斯的基本原理网上很容易查到,这里不再叙述,直接附上代码 因工作中需要,自己写了一个朴素贝叶斯分类器。对于未出现的属性,采取了拉普拉斯平滑,避免未出现的属性的概率为零导致整个条件概率都为零的情况出现。 class N...
阅读(431) 评论(0)

《机器学习》读书笔记,第一章引言

机械工程出版社的《机器学习》是一本很不错的入门书籍,这里整理一下我的学习笔记 第一章,引言 1.1机器学习的定义: 对于某类任务T和性能度量P,如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善,那么我们称这个计算机程序在从经验E中学习。 1.2设计一个学习系统: 一般来说,训练样例的分布于测试样例的分布相似时,学习具有最大的可信度。目前多数机器学习理论都...
阅读(484) 评论(0)

一个可以用于在百科搜索大量关键词的python爬虫

因为工作需要,前几天写了一个爬虫,现在把它改良封装得更通用了。 它需要依赖第三方包requests和BeautifuSoup4,请使用pip3安装即可 #################### ## # 一个爬虫,用于在百度百科搜索词条,返回网页内容(以防百度封IP,每秒爬一次) ## #################### import re import requests from bs...
阅读(333) 评论(0)
    个人资料
    • 访问:16812次
    • 积分:155
    • 等级:
    • 排名:千里之外
    • 原创:14篇
    • 转载:1篇
    • 译文:1篇
    • 评论:5条
    最新评论