关闭

9.1 mnist_softmax 交叉熵多分类器

softmax交叉熵多分类器具体含义不再解释,这是一个我们比较常用的一个多分类器.深度学习的一大优点就是特征的自动构建,也正是因为该优点,使得分类器层显得不再那么重要,在Tensorflow的官方源码中,softmax是很常见的一个多分类器.其调用也十分的简单.此处再此单独拿出来介绍,是为了下一步的学习做准备.使用方法 cross_entropy = tf.reduce_mean( t...
阅读(0) 评论(0)

Python自定义:粒子群优化算法

#!usr/bin/env python #-*- coding:utf-8 _*- """ @author:fonttian @file: 粒子群优化算法.py @time: 2017/10/15 """# References from : http://blog.csdn.net/kunshanyuz/article/details/63683145import numpy as np im...
阅读(185) 评论(0)

实战_2017中国数学建模大赛_B题_第二题

简介原问题是给出一个定价策略,证明其相较于原来定价策略的优点.那么首先我们第一题第二问得到了一个 价格-完成率 函数,此时我们需要的是给出一个新的定价函数,并利用遗传算法得到最佳参数.思路 编码–>我们需要编码的是定价函数的参数 评价函数—->将编码输入的定价函数得到价格,然后将价格输入之前得到的 价格-完成率 函数得到完成率 求解的目标应当是最大化完成率 为了控制成本需要对价格进行一定的限制,避免...
阅读(270) 评论(1)

Deap : 遗传算法算法解决 背包问题

特殊自定义评价函数同前def evalKnapsack(individual): weight = 0.0 value = 0.0 for item in individual: weight += items[item][0] value += items[item][1] if len(individual) > MAX_ITEM...
阅读(252) 评论(0)

Deap: 粒子群优化算法

Source Code#!usr/bin/env python #-*- coding:utf-8 _*- """ @author:fonttian @file: Particle Swarm Optimization Basics.py @time: 2017/10/15 """ # ----------------------Modules---------------------- im...
阅读(228) 评论(0)

Deap: python中的遗传算法工具箱

Overview 程序概览官方文档:http://deap.readthedocs.io/en/master/index.html 1. Types : 选择你要解决的问题类型,确定要求解的问题个数,最大值还是最小值 2. Initialization : 初始化基因编码位数,初始值,等基本信息 3. Operators : 操作,设计evaluate函数,在工具箱中注册参数信息:交叉,变异,...
阅读(260) 评论(0)

sklearn中的Pipline(流水线学习器)

简介管道机制实现了对全部步骤的流式化封装和管理(streaming workflows with pipelines)。管道机制(也有人翻译为流水线学习器?这样翻译可能更有利于后面内容的理解)在机器学习算法中得以应用的根源在于,参数集在新数据集(比如测试集)上的重复使用。使用管道机制可以大幅度减少代码量.总的来说这是一个非常实用而有趣的方法注意:管道机制更像是编程技巧的创新,而非算法的创新。 通...
阅读(269) 评论(0)

数据科学-通过数据探索了解我们的特征

简介对于数据科学而言,我们要做的第一件事情,必然是了解我们的数据.而在数据探索期间,pandas和matplotlib 则是我们进行数据探索的利器.本文主要分为三个部分,第一部分是利用pandas进行一些基础的数据分析,第二部分是利用pandas自身功能进行一些有用的数据探索,最重要的是第三部分,利用pandas与matplotlib ,scikit-learn中的工具以及数据与算法本身的一些特性对...
阅读(71) 评论(0)

机器学习实战-数据探索(变量变换、生成)

《机器学习实战-数据探索(1、变量识别;2、单变量分析;3、双变量分析)》机器学习实战-数据探索(缺失值处理)机器学习实战-数据探索(异常值处理) 上面三篇文章介绍了数据探索的前五步,机器学习更多内容可以关注github项目:machine learning 1 变量变换 1.1 什么是变量变换? 在数据建模中,变换是指通过函数替换变量。 例如,通过平方/立方根或对数x替换变量x是一个变换...
阅读(80) 评论(0)

Pandas matplotlib 无法显示中文 Ubuntu16.04

版本Ubuntu16.04 python3.6.2具体步骤 运行代码 #!usr/bin/env python #-*- coding:utf-8 _*- """ @author:fonttian @file: testCN.py @time: 2017/09/26 """from matplotlib.font_manager import FontManager import subproce...
阅读(146) 评论(0)

Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.

之前在运行一个文件时,发生了这个问题,排查了一下是wineModel = LassoCV(cv=10).fit(X, Y) 这行代码组成的.Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so. 英特尔MKL致命错误:不能加载libmkl_avx2。所以还是libmkl_def.so。刚看到这个错误确实吓了我一跳,怎么...
阅读(124) 评论(0)

linux ubuntu 16.04下deb文件的安装以及一些问题的解决

pkg 是Debian Package的简写,是为Debian 专门开发的套件管理系统,方便软件的安装、更新及移除。所有源自Debian的Linux发行版都使用dpkg,例如Ubuntu、Knoppix 等。在安装许多deb文件时,我们都需要使用该命令。 常用的dpkg命令: 1、sudo dpkg -i 安装一个 Debian 软件包,如你手动下载的文件。 2、sudo dpkg -c...
阅读(185) 评论(0)

Hadoop集群扩展子节点

上次发了部署八节点hadoop集群的博客,本来想把master也做为一个datanode,后来感觉不太合适,最后决定还是扩展一个子节点吧。首先是准备新的节点 安装jdkhttp://blog.csdn.net/fontthrone/article/details/77915256 配置sshhttp://blog.csdn.net/fontthrone/article/details/7791663...
阅读(110) 评论(0)

8.2 TensorFlow实现KNN与TensorFlow中的损失函数,优化函数

前言8.1 mnist_soft,TensorFlow构建回归模型中对主要对计算图的概念与公式与计算图的转化进行了介绍,8.2则主要介绍一下TensorFlow中自带的几个算子,与优化函数,损失函数的定义,并以KNN的例子进行整体的串联.加载数据,依旧使用mnist手写数字的数据# 导入数据 from tensorflow.contrib.learn.python.learn.datasets im...
阅读(109) 评论(0)

8.3 TensorFlow BP神经网络构建与超参数的选取

前言之前的8.1 构建回归模型的重点在于计算图概念,8.2则介绍一些在整个流程中更靠后的部分:损失函数,优化函数,以及一些其他常用的函数.而本片中的重点在于构建计算图,与模型的训练与测试BP代码与讲解设置数据之所以对第一次生成的随机数据进行存储主要是为了能够进行后面的超参数的选取# 生成与加载数据 # 构造满足一元二次方程的函数 def Build_Data(): Path_x_data =...
阅读(135) 评论(0)

聊一聊深度学习的weight initialization

转载自:https://zhuanlan.zhihu.com/p/25110150 TLDR (or the take-away) Weight Initialization matters!!! 深度学习中的weight initialization对模型收敛速度和模型质量有重要影响! 在ReLU activation function中推荐使用Xavier Initi...
阅读(121) 评论(0)

聊一聊深度学习的activation function

转载自:https://zhuanlan.zhihu.com/p/25110450 TLDR (or the take-away) 优先使用ReLU (Rectified Linear Unit) 函数作为神经元的activation function: 背景 深度学习的基本原理是基于人工神经网络,信号从一个神经元进入,经过非线性的activation function,传入到...
阅读(125) 评论(0)

Hadoop-2.7.4 八节点分布式集群安装

先感叹一下准备因为之前已经有安装经验了(虚拟机的三节点分布式,按过几次),再加上对Ubuntu还算比较熟悉中间也算少踩了不少坑。因为这次主要是老师要求所以,才打算再自己安装一次apche hadoop版本,其实现在我个人还是更支持CDH搭建大数据开发平台的,但是最近时间略紧,国庆节再弄吧。后来想着之前虚拟机和伪分布式练习语法已经足够了,这次要来就是直接来能工程运用的,于是安装八节点的Hadoop-2...
阅读(407) 评论(0)

SSH免密码登录命令无法生效?直接复制粘贴也可以!

SSH配置主节点登录其他节点时的最后一个命令,按照上一篇写的有时候会无法生效。其实那一行命令只是将主节点的公钥复制到了次节点的公钥文件里而已,如果无法生效的话,直接复制粘贴也可以。我在无法生效时就直接复制粘贴的。比如我主节点的公钥如下ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC3SLSuxswfOzBEiDVp7bge3kAv5YohEctjFcvWwtHglWof...
阅读(180) 评论(0)

Ubuntu16.04 配置SSH无密码登录

确认需要集群的主机名与IP地址,修改主机名字的命令sudo gedit /etc/hostname 如果修改了主机名,请重启,没有则下一步 在每个主机上都下载ssh sudo apt-get install openssh-server 关闭防火墙,sudo ufw disable 生成公钥密钥,ssh-keygen 建立信任连接列表,cat ~/.ssh/id_rsa.pub>>~/.ssh/au...
阅读(163) 评论(0)
116条 共6页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:254119次
    • 积分:3090
    • 等级:
    • 排名:第12017名
    • 原创:94篇
    • 转载:20篇
    • 译文:2篇
    • 评论:35条
    博客专栏
    最新评论