BUPT_WX-CSDN博客

原创 CS231n assignment1 multi svm -- 矩阵乘法的几何意义

问题引入在cs231n的assignment1多类svm部分中，需要采用完全向量法求解损失函数对权重的梯度

2016-10-08 23:36:48 3515

翻译梯度下降优化方法总结

参考并翻译自Sebastian Ruder博士的总结文章An overview of gradient descent optimization algorithms。梯度下降方法是目前最流行的神经网络优化方法，现在主流的深度学习框架(caffe,keras,MXNET等)都包含了若干种梯度下降算法。虽然我们可以把它们看成黑盒直接使用，但是在不同场合下相同的算法可能有着很大的性能差异，因此，了解这些

2016-10-08 23:34:46 16920 1

原创 A Two-Stage Ensemble of Diverse Models for Advertisement Ranking in KDD Cup 2012

KDD Cup 2012：是一个关于搜索广告的竞赛，这个竞赛的任务是通过搜索引擎的历史日志预测某条广告的点击率每一条记录可以看成(#click, #impression, Dis- playURL, AdID, AdvertiserID, Depth, Position, QueryID, KeywordID, TitleID, DescriptionID, UserID)组成的向量，同时，还提

2016-06-03 20:27:54 1369

翻译 scala构建工具SBT的使用_库依赖

分为两种： - 非托管依赖：放在lib目录下的jar文件 - 托管依赖：配置在构建定义中，并且会自动从仓库中下载非托管依赖用custom_lib代替lib:unmanagedBase := baseDirectory.value / "custom_lib"托管依赖libraryDependencies ++= Seq(groupID % artifactID % revisio

2016-06-03 20:20:19 1046

翻译 scala构建工具SBT的使用_构建定义

构建定义三种风格多工程 .sbt 构建定义bare .sbt 构建定义scala 构建定义什么是构建定义 sbt 在检查项目和处理构建定义文件之后，形成一个Project定义。在build.sbt中你可以创建一个本目录的Project工程定义，像这样：lazy val root = (project in file("."))构建定义文件不会直接影响 sbt 的 map。取而代之的是，

2016-06-03 20:19:29 890

翻译 scala构建工具SBT的使用_运行

交互模式 sbt不跟任何参数 $sbt 在出现的命令行可以交互式输入命令，如compile、run(启动程序)、exit(退出)批处理模式可以以空格为分隔符指定参数。对于接受参数的 sbt 命令，将命令和参数用引号引起来一起传给 sbt。例如： $ sbt clean compile “testOnly TestA TestB” 在这个例子中，testOnly 有两个

2016-06-03 20:16:07 2184

翻译 scala构建工具SBT的使用_目录结构

基础目录 “基础目录”是包含项目的目录。比如山节中的hello目录源代码和maven是一样的 sbt构建定义文件基础目录中的build.sbt,project子目录中其他sbt文件构建产品构建出来的文件（编译的 classes，打包的 jars，托管文件，caches 和文档）默认写在 target 目录中。配置版本管理你的 .gitignore 文件（或者其他版本控制系统等

2016-06-03 20:14:38 2696

翻译 scala构建工具SBT的使用_Hello_World

因为使用spark-submit命令需要将scala脚本打包成jar包运行，所以特地学习了一下scala下最流行的构建工具SBT。现将sbt官网的教程整理出来方便大家一起学习。一个合法的 sbt 项目可以是一个包含单个源码文件的目录，比如: $mkdir hello $cd hello $echo 'object Hi { def main(args: Array[String])

2016-06-03 20:13:55 3842

原创 SHELL笔记

2016-05-30 1. Shell 参数 - $0 Shell本身的文件名 - $1～$n 添加到Shell的各参数值。$1是第1参数、$2是第2参数… - $$ Shell本身的PID（ProcessID） - $! Shell最后运行的后台Process的PID - $? 最后运行的命令的结束代码（返回值） - $- 使用Set命令设定的Flag一览

2016-06-03 20:05:28 533

原创 HIVE:3_HIVEQL

查询语句上面两个语句是等价的，只是下面的用到了表的别名。对于集合类型，Hive会以JSON形式输出，对于数组可以使用name[0]的形式引用，如同理，对于MAP元素，可以使用map['name']引用，可以使用.点符号引用STRUCT类型。使用正则表达式指定列使用列值进行计算算术运算符内置函数数学函数：聚合函数聚合函数是比较特殊的函数，它

2016-06-03 20:04:35 1309

原创 HIVE:2_安装

下载hivesu hadoopcd /usr/local/hadoop-2.7.0wget http://labfile.oss.aliyuncs.com/apache-hive-1.1.0-bin.tar.gz解压： tar zxvf apache-hive-1.1.0-bin.tar.gz 重命名： mv apache-hive-1.1.0-bin hive配置环

2016-06-03 20:03:52 500

原创 HIVE:1_简介

什么是HIVEHive 是一个基于 Hadoop 文件系统之上的数据仓库架构。它为数据仓库的管理提供了许多功能：数据 ETL （抽取、转换和加载）工具、数据存储管理和大型数据集的查询和分析能力。同时 Hive 还定义了类 SQL的语言 – Hive QL. Hive QL 允许用户进行和 SQL 相似的操作，它可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能。还允许开发人员方

2016-06-03 20:02:58 574

原创 Docker安装与快速入门（Mac）

Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。 –百度百科Docker 结构如下其核心就是利用LXC来实现类似虚拟机的功能从而更高效利用硬件资源。 docker ispect docker_container_id安装安装Docker 本文主要针对Mac安装，Windows

2016-04-21 14:11:58 8038 2

原创配置Hadoop

安装jdk从甲骨文官网下载对应系统的jdk安装文件将jdk移动到/usr/local/java目录下mkdir /etc/local/java mv ./jdk-8u77-linux-x64.tar.gz /usr/local/java/ cd /usr/local/java解压 tar xvf ./jdk-8u77-linux-x64.tar.gz修改环境变量 vi /etc/

2016-04-21 14:09:35 663

转载 Docker: 虚拟机与宿主机端口映射(Mac)

转自http://www.cnblogs.com/exnihilo/p/4891346.html由于Boot2Docker的存在，造成了三层Mac->VirtualBox->Docker网络,由VirtualBox到Docker的映射可以通过run容器的时候指定-p参数实现，而从宿主机到VirtualBox端口映射需要通过下述方法实现:查询虚拟机网络： VBoxManagelistvms

2016-04-21 14:07:47 5573

翻译机器学习笔记1_3:广义线性模型(GLM, Generalized Linear Models)

形式： η\eta称为自然参数(natural parameter), T(y)是充分统计量（通常T(y)=y）,a(η)a(\eta)称为log partition function，上式中e−a(η)e^{-a(\eta)}作为归一化参数。通过改变η\eta可以得到不同的分布伯努利分布（对应逻辑回归）：上式中η=log(ϕ1−ϕ)\eta=log(\frac{\phi}{1-\

2016-04-21 14:05:29 1933

翻译机器学习算法笔记1_2:分类和逻辑回归(Classification and Logistic regression)

形式：采用sigmoid函数：g(z)=11+e−zg(z)=\frac{1}{1+e^{-z}} 其导数为g′(z)=(1−g(z))g(z)g^\prime(z)=(1-g(z))g(z) 假设：即：若有m个样本，则似然函数形式是：对数形式：采用梯度上升法求其最大值求导：更新规则为：可以发现，则个规则形式上和LMS更新规则是一样

2016-04-21 14:04:23 4766

翻译机器学习算法笔记1_1:线性回归

形式 h(x)=∑i=0nθixi=θTxh(x)=\sum_{i=0}^n\theta_ix_i=\theta^Tx代价函数:J(θ)=12∑i=1m(h(x(i)θ)−y(i))2J(\theta)=\frac{1}{2}\sum_{i=1}^m(h(x_\theta^{(i)})-y^{(i)})^2LMS(Least Mean Squares)算法参数更新原则梯度下降法，参数沿着使代价

2016-04-21 14:02:53 3743

翻译机器学习算法笔记2_1:生成学习算法(Generative Learning algorithms)

我们之前学习的算法都是基于p(y|x;θ)p(y|x;\theta), 他的思想是找出找出一个决策边界来将两类分开，而生成算法是先对两个类别分别建模，为了将样本分开，将样本代入两个模型，看样本与哪个类别更匹配。这种试图直接从输入xx映射到类别标签{0,1}的算法被称为判别学习算法；而通过计算p(x|y)（和p(y)）来得到模型的算法被称为生成学习算法通过贝叶斯函数得到p(y|x)=p

2016-04-21 14:01:07 5332

转载常用的一些正则表达式

本文列出了一些常用的正则表达式，推荐打印一份随时待查。校验数字的表达式数字：^[0-9]*$n位的数字：^\d{n}$至少n位的数字：^\d{n,}$m-n位的数字：^\d{m,n}$零和非零开头的数字：^(0|[1-9][0-9]*)$非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$带1-2位小数的正数或负数：^(\-)?\d+(\.\d{

2015-12-16 12:01:09 719

原创 Python对象协议

Python中存在多种协议，用于实现鸭子类型(Duck Typing),下面分类介绍一下：转换协议：__str__：在字符串格式化中如果有%s占位符的话，Python会自动地调用相应对象的__str__()方法格式化输出；__repr__: 同样是格式化字符串，只是输出应面向机器（开发者）；其他的还有__long__ __float__等，根据字面很好理解比较大小的协议：__eq__ __n

2015-12-10 23:15:32 1674

翻译 Python 日志(logging)模块

对于小型项目而言，大家习惯于使用print语句打印信息到终端进行调试，然而，当项目代码量扩大到了一定级别后，打印调试的方法就显得很凌乱了，更重要的是，当debug完成后，甄别并删除(或注释)调试用的打印语句变得非常令人头痛。而使用日志模块则能很好地解决这些问题。1. 什么是日志日志(logging)是在程序运行过程中对发生的事件的追踪、记录。程序开发者们在代码中引入日志模块以指示某种特定事件的发生，

2015-08-27 21:22:39 895

原创 Python CGI 模块剖析

CGI(Common Gateway Interface)即通用网关接口，按百度百科对其的解释是： CGI(Common Gateway Interface) 是WWW技术中最重要的技术之一，有着不可替代的重要地位。CGI是外部应用程序（CGI程序）与Web服务器之间的接口标准，是在CGI程序和Web服务器之间传递信息的规程。CGI规范允许Web服务器执行外部程序，并将它们的输出发送给Web浏览

2015-08-27 00:19:48 4928

原创 python select模块实现并发

Python网络编程（3）–select模块实现并发Python网络编程3select模块实现并发select模块简介代码示例在大型网络应用程序的场景中，服务端程序得同时面对成千上万的客户请求，如果给每一个客户请求分配单独的进程或者线程，将会对服务端造成极大的内存和CPU压力。幸运的是，python提供了select模块以解决这个问题。1. select模块简介通过select模块pytho

2015-08-07 22:49:56 2036 1

BUPT_WX的专栏