- 博客(78)
- 资源 (20)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 不要再次进行阅读的计算机论文与理由(持续更新中)
这篇博客主要记载一些没有代码实现的计算机论文，并且确保在理论上也不值得读的论文的汇总。《Negative eigenvalues of the hessian in deep neural networks》-根据一作本人回复，连他自己都不能在家里复现，需要使用谷歌特定的脚本以及一堆设备才能复现。《Hessian free optimization methods for machine le...
2019-07-31 18:42:23
1117
原创 神经网络中的病态曲率-Pathological Curve-举例
指的其实是SCHAFFER FUNCTION公式如下：图形如下：[1]单目标优化问题 常用的 测试函数
2019-07-31 15:06:33
1108
原创 病态矩阵-ill condition
病态矩阵在英文中的叫法是矩阵的ill condition.[1]中的一个例子：什么毛病呢？就是这个矩阵，用来构成的空间的特征向量夹角太小了．．我们是生活中在三维中，每个维度和其他维度都是九十度．所以[2]中对病态矩阵的定义是：κ(A)=σmax(A)σmin(A),{\displaystyle \kappa (A)={\frac {\sigma _{\max }(A)}{\sigm...
2019-07-30 23:23:05
3986
原创 scipy实现的共轭梯度法以及相关原理图解
首先整理下两个概念:Definition:given that u,v∈Rnu,v∈R^nu,v∈Rn,then uuu and vvv are said to be mutually orthogonal if(u,v)=uTv=0(u,v)=u^Tv=0(u,v)=uTv=0(where (u,vu,vu,v)is our notation for the scalar product)D...
2019-07-30 21:38:06
2258
原创 Fletcher-Reevers Conjugate Descent和Steepest Descent两种算法中伪代码的区别
本文主要用来比较两个算法到底差别在哪里stepFletcher-Reevers Conjugate DescentSteepest Descent1st1st1st选择初始点x(1)选择初始点x^{(1)}选择初始点x(1),设定ϵ\epsilonϵ,k=1选择初始点x(1)选择初始点x^{(1)}选择初始点x(1),设定ϵ\epsilonϵ,k=12nd2_{n...
2019-07-30 17:00:44
359
原创 最速下降法steepest descent详细解释
----------------------先闲聊几句------------------------------------[1]首次提出了梯度下降法和最速下降法，既然柯西写出来了，所以这两个算法肯定不个一个东西,它们的区别是学习率是否恒定。[4]提出了GoldStein法则Wolfe准则以及Goldstein[5][8]给出了具体的代码实现,[6][7]中给出了手算steepest ...
2019-07-28 18:08:48
9498
4
原创 Armijo-Goldstein法则和Wolfe-power法则图解
本文是对[4]进行更进一步的详解.Armijo-Goldstein法则和wolfe-power法则用于steepest descent算法,并不用于gradient descent算法.######################先说Armijo-Goldstein法则#############################################Armijo-Goldstein法...
2019-07-27 17:52:31
6100
转载 Armijo-Goldstein和wolfe-power的matlab代码实现(转)
###############Goldstein方法#########################建立一个minGS.m的文件,如下:function [x,minf] = minGS(f,XMAX,sigma1,sigma2,alpha,eps) %目标函数：f；%搜索最大值：XMAX；%可接受系数 1：sigma1；%可接受系数 2：sigma2；%增大探索点系数：alpha...
2019-07-27 14:02:29
2955
4
原创 拟牛顿法-DFP算法举例与matlab代码实现(转载＋整理)
算法来自于[1],如下：值得一提的是,[1]中的python代码实现了对Rosenbrock函数的求极值测试.例子来自于[2]:----------------------------------------------------用DFP算法求解：minf(x)=x12+2x22−2x1x2−4x1minf(x)=x_1^2+2x_2^2-2x_1x_2-4x_1minf(x)=x12...
2019-07-26 19:48:47
18793
23
原创 讲清楚什么是线搜索line search
翻译自[1]翻译如下：优化理论中包含两种策略：1.line search2.trust region牛顿法(求函数的解集)和二阶牛顿法(求函数最小值)都是用来寻找线搜索中的梯度方向的，换言之，两种牛顿法是line search的子集。‘下面的Example use就是线搜索的流程。第3-5 step其实就是牛顿法以及反向传播的流程，只不过在line search上进行修改。总结:...
2019-07-25 22:13:24
3612
原创 笔记本长时间不用出现一片黑屏
先说下这个帖不一定适用于所有人的情况，环境:ubuntu18.10笔记本型号:N56vz出现情况下：Ubuntu 18.10 ubuntu ttysubuntu login:解决方一:按下Ctrl+Alt+F7解决方案二:登陆root权限，然后输入pkill Xorg回车即可注销到图形登录界面＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃想重...
2019-07-25 16:14:37
468
转载 总结-各种安全漏洞学习环境集合(转)
在平时工作生活以及学习中，遇到了各种安全漏洞实验环境。本着方便自己方便他人的思想，我简单的将其收集一些。可能不全面，后续还会继续补充，希望能帮助初学安全的人，能为其提供一个好的动手环境。1.upload-labs:一个包含各种上传漏洞的实验环境。2.natas：一个闯关类安全游戏3.DVWA：OWASP十大漏洞实验环境4.vulhub：一个专门的漏洞实验环境，包含各种复杂漏洞情景。5....
2019-07-24 23:19:19
294
转载 spark大数据基础概念
Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。当然，这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到Hbase，设置再从Hba...
2019-07-23 22:57:11
118
转载 spark大数据基本概念整理以及软件下载链接
注意：所谓的hive on spark就是把mapreduce替换为spark而spark on hive仅仅是spark连接hive-------------------------下面是spark下载连接--------------------------spark下载地址https://archive.apache.org/dist/spark/-----------------...
2019-07-23 22:41:45
218
转载 NMN产品调研
安泰NMN9000NMN6000Herbalmax-NMN(假药)基因港ｓｉｇｍａ-Aldrich-NMNbio tech NMNNMN300日本Appleterpene＋NMNProHealth NMN Pro日本ＮＭＮ3600http://qy-keji.com/newphone/5165.html...
2019-07-23 21:30:48
1359
原创 spark聚类调研
https://www.jianshu.com/p/358e43a524bc(没数据集)√https://www.jianshu.com/p/32e895a940a2(这个博客非常好,举出了两个不适用的例子,可以考虑使用dbscan)https://www.oreilly.com.cn/ideas/?p=471(dbscan的spark使用参考这篇文章)http://www.sohu.com...
2019-07-23 20:37:03
247
原创 市面上的hadoop书籍调研
MapReduce设计模式(不看,设计模式在小公司里就是让web工程使用的.)Hadoop与大数据挖掘(张良均写的,不看)Hadoop大数据分析与挖掘实战(张良均写的,不看)Hadoop 2.X HDFS源码剖析(源码类书籍,不看)Hadoop 技术内幕：深入解析Hadoop Common 和HDFS 架构设计与实现原理(源码类书籍,不看)深入云计算-Hadoop源代码分析(源码类书籍,...
2019-07-23 20:35:21
475
原创 互联网公司的行情
听大佬说：同级别被开可能性：算法》数据＝后端》前端＝测试同级别薪酬：算法》数据＝后端》前端》测试算法很容易被开，不管什么原因没落地，都要负责，算法经常干半年产出百分之0或者5单纯会发论文，cvpr一两篇这种在bat已经不吃香了。KPI在公司内一般都是定义为正常工作量的两倍以上，属于完不成的那种，最后开人看领导不顺眼的以及特别不努力的。因为大家都完不成，就可以把员工的精力榨干了。...
2019-07-23 20:15:40
371
原创 wine的相关问题
(python3.6) appleyuchi@ubuntu:Acrobat$ wine Acrobat.exewine: Unhandled exception 0xc06d007e in thread 9 at address 0x320023:0x7b43cb73 (thread 0009), starting debugger…Unhandled exception: 0xc06d007...
2019-07-23 16:39:24
1309
转载 0009:err:listview:LISTVIEW_WindowProc unknown msg 108c问题解决
问题复现：err:listview:LISTVIEW_WindowProc unknown msg 108c wp=ffffffff lp=000000000009:err:listview:LISTVIEW_WindowProc unknown msg 108c wp=ffffffff lp=000000000009:err:listview:LISTVIEW_WindowProc unk...
2019-07-23 16:31:28
592
原创 双系统环境下解决wine的字体为方块的问题
一开始我是这样处理的:ln -s /home/appleyuchi/.local/share/fonts/ /home/appleyuchi/.wine/drive_c/windows/Fontsfc-cahce但是由于我的是win7和win10的双系统，所以最终解决方案如下：因为我的是双系统，所以最终做法是：ln -s /media/appleyuchi/DE10EB0D10EAEC...
2019-07-23 16:00:22
636
原创 直观理解神经网络和梯度下降
来张图吧Repeat{for j=1 to m{theta_i = theta_i - alpha * J’(theta) # 这个就是上面写的更新公式}}好了这个和神经网络的反向传播啥关系呢？上面的J’改成链式法则，就是神经网络里面的反向传播了。...
2019-07-23 08:03:55
541
原创 关于网上cython书籍的调研
Learning Cython Programming[2]中有上面的书籍的链接,总体感觉像是系统编程使用的.Learning Cython Programming - Second Edition亚马逊[1]上评价第二版很不厚道Cython - A guide for Python programmersHigh Performance Python: Practical Perfor...
2019-07-22 22:16:48
481
转载 Rosenbrock函数到底什么用
Rosenbrock函数是一个用来测试最优化算法性能的非凸函数Rosenbrock函数的每个等高线大致呈抛物线形，其全域最小值也位在抛物线形的山谷中（香蕉型山谷）。很容易找到这个山谷，但由于山谷内的值变化不大，要找到全域的最小值相当困难。这个意思就是说,测试优化算法如何的方式是:用优化算法对RosenBrock函数进行测试,看看效果咋样.Reference:[1]...
2019-07-22 19:09:20
5201
原创 牛顿法中为何出现hessian矩阵
牛顿法包含两种用途：1.函数为０时的解2.函数极值时的解对于1有：f′(x0)=f(x0)−0x−x0f'(x_0)=\frac{f(x_0)-0}{x-x_0}f′(x0)=x−x0f(x0)−0对于2有：f′′(xn)=0−f′(xn)xn+1−xnf''(x_n)=\frac{0-f'(x_n)}{x...
2019-07-21 16:02:56
500
转载 fatal error: Python.h: 没有那个文件或目录 解决方法
之所以apt-get install python-dev无效的原因是，可能你用的是python3的，所以需要执行apt-get install python3-dev
2019-07-21 13:10:16
5137
原创 如何计算一个神经网络在使用momentum时的hessian矩阵（论文调研）
根据[4]中的说法，“Though results on the Hessian of individual layers were not included in this study”,似乎每个层都有一个对应的Hessian矩阵。根据[5]中的说法，最后一层的hessian矩阵很好计算，但是如果下一层，那就很不好计算[6]的最后一个公式很有意思，这个公式其实就是hessian矩阵，可能对未...
2019-07-20 22:07:42
598
原创 矩阵行列式的几何意义验证
二阶行列式的几何意义就是由行列式的向量所张成的平行四边形的面积．举例验证如下：三阶行列式的几何意义：一个3×3阶的行列式是其行向量或列向量所张成的平行六面体的有向体积。...
2019-07-17 22:40:02
1219
转载 特征工程值得看的资料
https://www.zhihu.com/question/29316149https://www.cnblogs.com/taceywong/p/5933002.htmlhttps://link.zhihu.com/?target=http%3A//machinelearningmastery.com/discover-feature-engineering-how-to-engineer...
2019-07-17 20:49:56
946
转载 特征向量按照特征值大小进行排序
代码如下：’import sysprint sys.pathimport numpy as npk=35evals=np.array([0,2,5,3,1])evecs=np.array([[1,1],[2,3],[4,5],[7,7],[6,8]])sorted_indices = np.argsort(evals)evals=evals[sorted_indices]...
2019-07-17 20:29:04
5031
转载 用scikit-learn进行LDA降维（转载+注释）
对scikit-learn中LDA类概述 在scikit-learn中， LDA类是sklearn.discriminant_analysis.LinearDiscriminantAnalysis。那既可以用于分类又可以用于降维。当然，应用场景最多的还是降维。和PCA类似，LDA降维基本也不用调参，只需要指定降维到的维数即可。LinearDiscriminantAnalysis类...
2019-07-17 20:19:35
821
原创 sklearn的KNN文档中实例代码的注释
链接是：http://scikit-learn.org/stable/modules/generated/sklearn.neighbors.NearestNeighbors.html#sklearn.neighbors.NearestNeighbors.radius_neighbors_graphExample1.py#-*- encoding:utf-8 -*-import sysr...
2019-07-17 17:17:25
415
原创 sklearn中knn的各种用法总结
knn四种选择autoball treekd treebrute（暴力选择）KNeighborsClassifier（更常用，适用于均匀采样数据）RadiusNeighborsClassifier（非均匀采样数据）权重参数weights选项：uniform（数据的权重全部统一）distance（与距离成反比）自定义维度超过20维使用Ball Tree，20维以下使用KD tr...
2019-07-17 16:07:40
2529
转载 KNN算法与Kd树（转载+代码详细解释）
最近邻法和k-近邻法 下面图片中只有三种豆，有三个豆是未知的种类，如何判定他们的种类？提供一种思路，即：未知的豆离哪种豆最近就认为未知豆和该豆是同一种类。由此，我们引出最近邻算法的定义：为了判定未知样本的类别，以全部训练样本作为代表点，计算未知样本与所有训练样本的距离，并以最近邻者的类别作为决策未知样本类别的唯一依据。但是，最近邻算法明显是存在缺陷的，比如下面的例子：有一个未知形状(图中绿...
2019-07-17 11:32:38
1281
转载 详解 KDTree（转）
简介kd树（k-dimensional树的简称），是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索（如：范围搜索和最近邻搜索）。一个KDTree的例子上图的树就是一棵KDTree，形似二叉搜索树，其实KDTree就是二叉搜索树的变种。这里的K = 3.首先来看下树的组织原则。将每一个元组按0排序（第一项序号为0，第二项序号为1，第三项序号为2），在树的第n...
2019-07-17 10:11:13
1748
转载 kd树相关资料调研
https://blog.csdn.net/pipisorry/article/details/52186307（包含kd树的改良版本）https://blog.csdn.net/app_12062011/article/details/51986805（值得细看！！！）https://blog.csdn.net/qing101hua/article/details/53228668（已经阅读...
2019-07-17 09:42:57
178
转载 ROC和AUC介绍以及如何计算AUC（转载+自己重新排版整理）
ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，对两者的简单介绍见[2]。这篇博文简单介绍ROC和AUC的特点，以及更为深入地，讨论如何作出ROC曲线图以及计算AUC。# ROC曲线需要提前说明的是，我们这里只讨论二值分类器。对于分类器，或者说分类算法，评价指标主要有prec...
2019-07-16 22:10:54
578
转载 哑编码示例解释二
代码如下：# -*- coding: utf-8 -*-import sysreload(sys)sys.setdefaultencoding('utf-8')# @Author: Chi Yu# @Date: 2018-05-12 13:44:14# @Last Modified by: appleyuchi# @Last Modified time: 2019-07...
2019-07-16 21:09:03
327
ngrok-stable-linux-amd64.zip
2019-11-18
VBoxGuestAdditions_5.2.18.iso
2019-04-27
pearson证明卡方检验的原文-1900年
2018-12-07
用于ubuntu16.04下安装mongodb时缺少的库文件
2018-08-08
浙大版《概率论与数理统计》（第四版）第十一章实验数据、实验步骤与实验结果
2018-05-17
virtualbox-5.1_5.1.22-115126~Ubuntu~xenial_amd64.deb
2017-05-21
Visual Assist X 10.6.1823 破解版
2012-02-05
MSP仿真器（支持FET430PIF、FET430UIF、MSP430BSL对MSP430芯片进行编程）
2011-03-28
《半导体集成电路课》朱正涌（第二版）课后习题答案仿真（第四章）
2010-06-18
无warning无error，但不知为何没有输出的代码，求指点~
2015-09-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人