- 博客(48)
- 收藏
- 关注
转载 matlab与常见算法_整数规划_…
原文地址:matlab与常见算法_整数规划_分枝定界算法作者:vince67 如果区别与线性规划的话,整数规划就是求变量取值为整数时候的最优解,首先声明的是整数最优解不能通过简单的线性最优解取整而获得。 整数规划的解决方法有几个比较主流的,分枝定界是在线性规划的基础上理解起来较为简单的算法,蒙特卡洛算法是听起来比较cool的,所以打算准备整
2017-05-05 12:16:15 2533
原创 Topic Model
Generative algorithms传统方法聚焦在数据当前状态的分析,而生成模型试图找到数据编程当前状态的原因。生成模型假设文本可由基于词汇表的不同概率分布的混合产生(Generativealgorithms assume documents can be represented as a mixture ofprobability distributions over the co
2017-05-05 12:16:12 480
原创 向量空间中的相似度度量方法
Similarity in vector SpaceCosine DistanceEuclidean DistanceManhattan DistanceChebyshev DistanceJaccard CoefficientSimilarity in probabilistic space生成模型将文档表示为概率分布。为了比较两个文档的相似性(概率分布的相似性),给出如
2017-05-05 12:16:09 1022
原创 Latent Semantic Indexing
原文假设观察到的看似随机的文本数据是由潜在的语义结构(latent semantic structure)产生的。统计手段是去除噪音,评估潜在语义结构的手段。原文将基于潜在语义结构描述的terms和文本称之为Latent semantic indexing(LSI,用于信息检索的潜在语义)。LSI通过使用奇异值分解技术(singular-value decomposition,SVD)将庞大的t
2017-05-05 12:16:07 1043
原创 Non-negative matrix factorizatio…
Non-negative matrix factorization对整体的感知是建立在对部分的感知的基础之上吗?心理和生理上的证据表明,这种基于部分的表示(parts-basedrepresentation)存在于大脑中。但人们对大脑是如何学习对象的局部的所知甚少。[1]提出了nonnegativematrix factorization (NMF) 算法用于学习脸部图像和文本的局部特
2017-05-05 12:16:04 521
原创 数据表示的要素
数据表示的要素——An Abstract to the Review of RepresentationLearning原文致力于通过Deep Learning来学习数据表示方法。本文将文中提到的数据表示一般依据从DeepLearning中剥离出来,希望对其他方法也有借鉴。学习数据的表示方法可以使得在构建分类器或其他预测机制(classifiers or otherpredictors
2017-05-05 12:16:02 1051
原创 数据平滑、维数灾难和数据稀疏
数据平滑(smoothness), 维数灾难(curse ofdimensionality), 和 数据稀疏( datasparsity)。维数灾难和数据稀疏通常是相伴而生的,因为维数的增大是的统计需要更多的样本来支撑,而当所谓的“维数灾难”产生时,是很难获得足够的样本数量来支撑统计的。产生的直观结果是统计结果中会出现大量结果为零的属性。此时认为浪费了存储空间。另外,无论是否产生数据稀疏
2017-05-05 12:15:59 2422
原创 归一化的说明
归一化是在实现算法时经常使用的操作。本文的目的是说明归一化的作用。归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为标量。在多种计算中都经常用到这种方法(百度百科)。假设有一组数列,或者说向量(1,2,3,4)一、使用无穷范数归一化无穷范数是指这组数列中最大的数,即4,归一化后结果为(1/4,2/4,3/4,4/4)。假设(1,2,3,4)
2017-05-05 12:15:56 1550
原创 张量(tensor)的基本概念
如参考文献标题所述,这是一篇适用于物理学和工程领域学生关于张量相关知识的介绍性文章。本文主要介绍张量的定义及其相关操作。张量的物理意义可以参见参考文献。1、向量1.1向量的定义:其中,i,j,k为互相垂直的单位向量。1.2向量加法:向量相加得向量。1.3向量内积(inner product):向量内积得标量。1.4向量叉乘(cross product):向量叉乘得向量(
2017-05-05 12:15:54 17968 1
原创 语句的向量表示方法——单词向量组合…
目标:本文讨论单词向量的组合方式(composition ofword vectors),一般指两个单词向量的组合方式,使得输出的新的向量能够表达组合后的短语的语义。本文使用符号:u,v:普通的单词向量(u_1,u_2,u_3)和(v_1,v_2,v_3);p:需要求出的目标短语的向量;R:一个表征语法关系的矩阵;K:世界知识等其他非单词语义、语法关系构成的信息;词语组合的一些假
2017-05-05 12:15:51 8117
原创 Neural Probabilistic L…
在Mikolov关于word2vec的论文中,作者详细罗列了文章创意的来源。本文整理文章中引用的主要文献,以期明白word2vec的整个产生过程。在引文中,【1】和【2】是主要的应用对象,而参考文献中文献的罗列顺序,也可以看做word2vec的发展顺序。因此本文将主要叙述【1】和【2】,至于【3】、【4】中的内容,可以参见博文《word2vec原理概述》。1、研究背景维数灾难(curse
2017-05-05 12:15:49 283
原创 特征选择与特征抽取的区别
机器学习领域的一个普遍问题是如何降低数据的维度,因为过高的维度会严重影响计算效率并造成数据稀疏。降维方法一般分为两类:特征选择(FeatureSelection)和特征抽取(FeatureExtraction)。特征选择特征选择的目标是从原始的d个特征中选择k个特征。特征抽取特征抽取的目标是根据原始的d个特征的组合形成k个新的特征,即将数据从d维空间映射到k维空间。无论是
2017-05-05 12:15:46 4079
原创 主成分分析(PCA)和奇异值分解(S…
特征抽取的目标是根据原始的d个特征的组合形成k个新的特征,即将数据从d维空间映射到k维空间。在文本分析领域常用的降维方法是主成分分析(PrincipalComponent Analysis, PCA)和奇异值分解(Singular ValueDecomposition, SVD)。在下文的叙述中,将沿袭机器学习的常用符号,使用x表示一个列向量,它是样本x在d维空间中的点。而由n个样本构成的数
2017-05-05 12:15:44 673
原创 文本表示的新思路——Distributed&nb…
绪论 Distributed Representations of Sentences andDocuments是Mikolov继word2vec后的另一力作——将文本表示为矢量。 将文本表示为矢量,是大量文本处理相关算法(文本分类、聚类等)的必然要求。最简单、最直观的方法是bag-of-words(BOW),即将文本拆解为单词,以单词作为矢量空间的维度,以每个单词在文本
2017-05-05 12:15:41 491
原创 word2vec原理概述
最近阅读了Mikolov两篇关于word2vec的论文,结合Goldberg对这两篇论文的解读,作如下概述。概述在较早的论文“Efficient Estimation of Word Representations in VectorSpace”中,Mikolov讨论了Feedforward Neural Net Language Model(NNLM)、Recurrent Neural
2017-05-05 12:15:38 519
原创 ORA-27101: shared memo…
ORA-27101: shared memory realm does not exist造成的直接结果是ORA-01034:ORACLE not available。该问题的产生原因有多种,因此首先需要判断产生的原因。1、使用cmd运行sqlplusMicrosoft Windows [版本6.1.7601]版权所有 (c) 2009 MicrosoftCorporation。保
2017-05-05 12:15:36 313
转载 【Python】统计个人新浪微博…
原文地址:【Python】统计个人新浪微博词频并给出相应的柱状图作者:西风独自凉 本文介绍如何进行个人新浪微博词频统计,并给出相应的柱状图分析,编程环境为Python2.7。该文主要包括三个部分:新浪微博API的使用、文本过滤及分词和词频统计。 一、新浪微博API的使用 首先在新浪微博开放平台http://open.weibo.com/development/上申请开发者账
2017-05-05 12:15:34 596
原创 索引停用与启用方法
索引停用alter index xxx unusable;配合参数alter session SKIP_UNUSABLE_INDEXES=true;索引重建alter session set skip_unusable_indexes=false;alter index xxx rebuild;一般情况下我都是都是删了约束和索引再重新建立。上面的方法还没用过
2017-05-05 12:15:31 2889
原创 转发:Oracle约束的启用和停用
原文出处:http://www.blogjava.net/decode360/archive/2009/08/27/292756.html 关于Oracle的约束概念和基本操作,我已经在以前的《Constraint基础概念》、《Constraint的简单操作》两篇文章中有过比较详细的介绍了,但是对于如何停用和启用constraint没有作特别的描述,以至于在使用PLSQL中无法忽略co
2017-05-05 12:15:29 305
原创 编程向数据库中大规模插值应注意的…
在进行类似数据仓库的相关处理时,有时需要短时间内向数据库中插入大量数据。经过数次实践,本人认为在编程时应注意一下问题:1、如果程序中有大量数据库读写操作(尤其是写操作),通过并行手段来缩短程序运行时间是不可行的。因为影响时间的主要因素是数据库的读写操作,并行的线程越多,处于等待状态的线程越多,线程还有可能占用了系统资源,影响数据库对系统资源的使用。这种方法并不能显著缩短程序运行时间。2
2017-05-05 12:15:26 408
原创 JVM调优总结 -Xms -Xmx -Xmn -Xss
转载于:http://unixboy.iteye.com/blog/1741731.堆大小设置JVM中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在WindowsServer 2003 系统,3.5G物理内存,JDK5.0下测试,最
2017-05-05 12:15:24 201
原创 java 远程访问oracle 被…
两种处理方式:一、关闭防火墙;二、在防火墙中添加oracle例外程序:1、E:\app\...\product\11.2.0\dbhome_1\BIN\oracle.exe2、E:\app\...\product\11.2.0\dbhome_1\BIN\TNSLSNR.exe
2017-05-05 12:15:21 202
原创 PLSQL developer 连接不…
转自:http://it.oyksoft.com/post/6003/PLSQL developer 连接不上64位Oracle 的解决方法 Windows 64位下装Oracle 11g 64位,PLSQL Developer使用出现以下问题:1、Database下拉框为空。 2、强制输入用户名、密码及Database,登录弹出:引用Initialzat
2017-05-05 12:15:18 371
原创 oracle 增加表空间的方法
Meathod1:给表空间增加数据文件ALTER TABLESPACE app_data ADD DATAFILE'D:\ORACLE\PRODUCT\10.2.0\ORADATA\EDWTEST\APP03.DBF' SIZE50M; Meathod2:新增数据文件,并且允许数据文件自动增长ALTER TABLESPACE app_data ADD DATAFIL
2017-05-05 12:15:16 200
原创 oracle 查看表空间 状态…
执行下列sql语句即可SELECT UPPER(F.TABLESPACE_NAME) "表空间名",D.TOT_GROOTTE_MB "表空间大小(M)",D.TOT_GROOTTE_MB - F.TOTAL_BYTES "已使用空间(M)",TO_CHAR(ROUND((D.TOT_GROOTTE_MB - F.TOTAL_BYTES) / D.TOT_GROOTTE_MB * 1
2017-05-05 12:15:13 1974
原创 强制关闭oracle 正在 执行 事务
(1)、一般方法selectsession_id from v$locked_object;SELECT sid,serial#, username, osuser FROM v$session where sid = 142;ALTER SYSTEMKILL SESSION '142,59140';一些ORACLE中的进程被杀掉后,状态被置为"killed",但是锁定
2017-05-05 12:15:11 1740
原创 oracle ID 自动增长
-- Create sequence create sequence ONE_GRAM_IDminvalue 1maxvalue 999999999999999999999999999start with 1increment by 1cache 20order;----------------------------------------------------------
2017-05-05 12:15:08 184
原创 oracle数据库角色、用户、存储空间…
create tablespace tablespace_namedatafile 'D:\app\GaoFei\oradata\tablespace_name01.dbf'size 500M autoextend on next 50M maxsize unlimited;--User createCREATE USER programerIDENTIFIED BY program
2017-05-05 12:15:06 410
原创 oracle 批量导入csv文件
新建test.ctl文件load datainfile'D:\ngram\reBuild3grams\rebuild-googlebooks-eng-all-1gram-20090715-0.csv'BADFILE 'D:\ngram\reBuild3grams \data.bad' DISCARDFILE'D:\ngram\reBuild3grams \data.dsc'
2017-05-05 12:15:03 2283
原创 Java heap space 解决方法
Java heapspace 解决方法(转自http://fengyouhua.iteye.com/blog/131358)因为程序要从数据读取近10W行记录处理,当读到9W的时候就出现 java.lang.OutOfMemoryError: Java heap space这样的错误。在网上一查可能是JAVA的堆栈设置太小的原因。跟据网上的答案大致有这两种解决方法:1、设置环境变量
2017-05-05 12:15:01 862
原创 在批处理模式下使用mysql
在批处理模式下使用mysql(http://blog.163.com/zswself@126/blog/static/22588036200712522214929/)在前面的章节中,你交互式地使用mysql,输入查询并且查看结果。你也可以以批模式运行mysql。为了做到这些,把你想要运行的命令放在一个文件中,然后告诉mysql从文件读取它的输入:shell> mysql 如果在Wind
2017-05-05 12:14:55 777
原创 使用1个以上的表
使用1个以上的表(http://blog.163.com/zswself@126/blog/static/22588036200712522214929/)pet表追踪你有哪个宠物。如果你想要记录其它相关信息,例如在他们一生中看兽医或何时后代出生,你需要另外的表。这张表应该像什么呢?需要:· 它需要包含宠物名字以便你知道每个事件属于哪个动物。· 需要一个日期以便你知道事件是什么时候发生的
2017-05-05 12:14:53 273
原创 模式匹配 正则表达式的应用
模式匹配(转自http://blog.163.com/zswself@126/blog/static/22588036200712522214929/)MySQL提供标准的SQL模式匹配,以及一种基于象Unix实用程序如vi、grep和sed的扩展正则表达式模式匹配的格式。SQL模式匹配允许你使用“_”匹配任何单个字符,而“%”匹配任意数目字符(包括零字符)。在MySQL中,SQL的模式默
2017-05-05 12:14:50 574
原创 日期计算
日期计算(转自http://blog.163.com/zswself@126/blog/static/22588036200712522214929/)MySQL提供了几个函数,可以用来计算日期,例如,计算年龄或提取日期部分。要想确定每个宠物有多大,可以计算当前日期的年和出生日期之间的差。如果当前日期的日历年(MM-DD)比出生日期早(不满周岁),则减去一年。以下查询显示了每个宠物的出生日期
2017-05-05 12:14:47 342
原创 MySql 常用命令
1、垂直显示搜索结果(当属性过多时)select * from tablename where[条件语句]G;2、当结果条数过多使用分页功能paper more PAGER set to 'more'关闭分页功能nopaper3、将输出内容转存到文件tee filename或者 select into filename4、使用describe查看表结构describe t
2017-05-05 12:14:44 222
原创 5 Great Graduation Speech Quotes
发布时间:2012-09-02 文章出自:www.rd.com原文链接:点击查看It is rare that a single speech can have a profound effect onyour life, but these 5 graduation speeches are inspirational in away that the audience is ab
2017-05-05 12:14:42 413
原创 垃圾收集器与Java编程(转载)
欧阳辰 (yeekee@sina.com),周欣 (zhouxin@sei.pku.edu.cn),转自:http://www.ibm.com/developerworks/cn/java/l-JavaMemoryLeak2/index.html简介: 垃圾收集器(GarbageCollector,GC)对Java程序员来说,基本上是透明的,但是一个优秀的Java程序员必须了解GC
2017-05-05 12:14:39 229
原创 java finalize的一些问题
一、finalize的作用 由于在java中存在垃圾回收器,因此许多人认为它相当于C++中的析构函数,然而,垃圾回收器只会回收使用new方法获得的内存,而通过其他方法得到的内存以及任何其他系统资源(比如文件句柄、数据库连接等)都不能通过垃圾回收器得到释放。因此我们需要其它的释放函数。那么能够做到这一切的是finalize()方法(但是,一定不要使用finalzie方法去释放这些资源)。fina
2017-05-05 12:14:37 178
原创 java初学者应该注意的问题
1.赋值“=”:在java中,基本数据类型可通过“=”直接赋值,但对于类对象来说“a=b”实际上是将引用从一个地方赋值到了另一个地方,但两个标签指向的对象是一样的;同样的问题出现在函数的参数传递中,参数传递也是将参数的引用传递给函数,因此若在函数中对参数进行了修改,修改也会在其他地方被反映出来;2.关系操作符“==”和“!=”,基本数据类型可通过上述关系操作符进行比较,但对于类来说,使用上
2017-05-05 12:14:34 322
转载 面试失败后各国青年的不同反…
原文地址:面试失败后各国青年的不同反应作者:纽约高娓娓 很早以前听说过一个故事: 日本的一家公司要招聘3名员工,过一段严格的面试,公司从一百多应徵者中选出了3位佼佼者。 放榜这天,一个叫水原的青年看见榜上没有自己的名字,悲痛欲死,回到家中便要切腹自杀,幸好亲人及时抢救,水原没有死成。 正当水原悲伤之时,从公司却传来好消息:水原的成绩原是
2017-05-05 12:14:31 236
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人