- 博客(182)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 各种优化方法总结比较（sgd/momentum/Nesterov/adagrad/adadelta）
转自：点击打开链接前言这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。SGDSGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。对于训练数据集，我们首先将其分成n个batch，每个bat
2016-02-10 21:11:05
34774
4
转载 java -jar classpath设置
转自：-jar参数运行应用时classpath的设置方法 当用java -jar yourJarExe.jar来运行一个经过打包的应用程序的时候，你会发现如何设置-classpath参数应用程序都找不到相应的第三方类，报ClassNotFound错误。实际上这是由于当使用-jar参数运行的时候，java VM会屏蔽所有的外部classpath,而只以本身yourJarExe.jar的内部class
2016-01-08 20:12:24
6104
转载 Hadoop集群之Hive安装配置
Hadoop集群之Hive安装配置转自：Hadoop集群之Hive安装配置Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个MapReduce程序组成可执行计划，并按照该计划生成对应的MapReduc
2016-01-07 21:59:39
22750
3
转载 手把手教你把Vim改装成一个IDE编程环境(图文)
手把手教你把Vim改装成一个IDE编程环境(图文)By:吴垠Date:2007-09-07Version:0.5Email:lazy.fox.wu#gmail.comHomepage:http://blog.csdn.net/wooinCopyright:该文章版权由吴垠和他可爱的老婆小包子所有
2015-04-08 13:29:04
1153
转载 感受傅立叶数学之美
感受傅立叶数学之美 这篇文章的核心思想就是： 要让读者在不看任何数学公式的情况下理解傅里叶分析。傅里叶分析不仅仅是一个数学工具，更是一种可以彻底颠覆一个人以前世界观的思维模式。但不幸的是，傅里叶分析的公式看起来太复杂了，所以很多大一新生上来就懵圈并从此对它深恶痛绝。老实说，这么有意思的东西居然成了大学里的杀手课程，不得不归咎于编教材的人实在
2015-01-10 10:52:10
1238
转载 sift的java实现解述
转自：http://blog.csdn.net/axman/article/details/9243681代码已经开源到github上，https://github.com/alibaba/simpleimage项目，其中的 analyze模块中。原始图片为：主要调用方法：[java] view plaincopy
2015-01-04 15:43:25
1041
转载 SIFT算法详解
转自：http://blog.csdn.net/zddblog/article/details/7521424尺度不变特征变换匹配算法详解Scale Invariant Feature Transform(SIFT)Just For Funzdd zddmail@gmail.com or (zddhub@gmail.com)对于初学者，从Dav
2015-01-04 14:47:31
1032
转载 Hadoop集群配置
转自：http://blog.csdn.net/hguisu/article/details/7237395Hadoop集群配置（最全面总结） huangguisu 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是s
2014-12-15 20:16:45
656
转载 Hbase官方文档中文版
http://abloz.com/hbase/book.html#quickstart目录序1. 入门1.1. 介绍1.2. 快速开始2. Apache HBase (TM)配置2.1. 基础条件2.2. HBase 运行模式: 独立和分布式2.3. 配置文件2.4. 配置示例2.5. 重要配置 3. 升级3.1. 从 0.94.x 升级到 0.
2014-12-15 19:47:57
25356
2
转载 Hbase安装与配置
1.2. Quick Start - Standalone HBaseThis guide describes setup of a standalone HBase instance running against the local filesystem. This is not an appropriate configuration for a production instanc
2014-12-15 19:39:08
3816
转载 Hadoop错误汇总
1.ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenodenamespaceID = 240012870; datanode names
2014-12-14 18:16:35
6713
原创 Window下配置Hadoop
1、安装java、Eclipse和Cygwinhttp://v-lad.org/Tutorials/Hadoop/03%20-%20Prerequistes.htmlhttp://v-lad.org/Tutorials/Hadoop/04.5%20env-vars.html2、Cygwin安装sshd服务并实现无密码登陆http://v-lad.org/Tutorials/
2014-12-13 18:55:48
1556
转载 Java正则表达式教程
转自：http://www.java3z.com/cwbwebhome/article/article8/Regex/Java.Regex.Tutorial.html Java正则表达式教程 [1]Regular Expressions of Java Tutorial译者序(下载代码） 正则表达式善于处理文本，对匹配、搜索和替换等操作都有意
2013-11-28 10:07:14
1224
转载 UDP和TCP协议包大小的计算
UDP一次发送数据包的大小，TCP一次发送数据包的大小。MTU最大传输单元，这个最大传输单元实际上和链路层协议有着密切的关系，EthernetII帧的结构DMAC+SMAC+Type+Data+CRC由于以太网传输电气方面的限制，每个以太网帧都有最小的大小64bytes最大不能超过1518bytes，对于小于或者大于这个限制的以太网帧我们都可以视之为错误的数据帧，一般的以太网转发设备会丢弃
2013-09-16 18:04:38
1595
转载 小波变换 完美通俗解读
这是《小波变换和motion信号处理》系列的第一篇，基础普及。第二篇我准备写深入小波的东西，第三篇讲解应用。记得我还在大四的时候，在申请出国和保研中犹豫了好一阵，骨子里的保守最后让我选择了先保研。当然后来也退学了，不过这是后话。当时保研就要找老板，实验室，自己运气还不错，进了一个在本校很牛逼的实验室干活路。我们实验室主要是搞图像的，实力在全国也是很强的，进去后和师兄师姐聊，大家都在搞什么小
2013-09-16 00:48:27
3698
5
转载 趣题：公司应该雇用多少员工？
转自：http://www.matrix67.com/blog/archives/4429某大公司有这么一个规定：只要有一个员工过生日，当天所有员工全部放假一天。但在其余时候，所有员工都没有假期，必须正常上班。这个公司需要雇用多少员工，才能让公司一年内所有员工的总工作时间期望值最大？ 假设一年有 365 天，每个员工的生日都概率均等地分布在这 365 天里。
2013-09-03 16:48:43
1184
转载 字符串匹配的KMP算法
转自：http://blog.sae.sina.com.cn/archives/307字符串匹配是计算机的基本任务之一。举例来说，有一个字符串”BBC ABCDAB ABCDABCDABDE”，我想知道，里面是否包含另一个字符串”ABCDABD”？许多算法可以完成这个任务，Knuth-Morris-Pratt算法（简称KMP）是最常用的之一。它以三个发明者命名，起头
2013-09-01 17:04:31
706
原创 unresolved import in eclipse pydev
在使用pydev时，tornado和pymong都已经安装在\Lib\site-packages中，但是在代码中导入tornado和pymongo失败在Window->Preferences->PyDev->Interpreter-Python->Libraries里面加入tornado和pymong的目录，也没有成功解决办法：在Window->Preferences-
2013-08-14 19:02:21
5824
转载 如何尽快找到近期要召开的相关国际会议?
(转)如何尽快找到近期要召开的相关国际会议?通过查找国内外相关专业协会或学会网站，可获得最新会议信息。以下是一些可免费浏览即将召开的国际会议消息的站点：1．国际学术会议http://www.allconferences.com/ 世界范围各学科的学术会议信息预报。可按多项条件检索。2．Calender of Upcoming Technical Conferencesht
2013-07-21 22:39:50
15955
原创 Ubuntu12.04下安装eclipse和m2e
需要预先配置好java环境1.安装eclipse去http://www.eclipse.org/downloads/下载合适版本的eclipse安装包(Linux版本)，我下的是Eclipse Kepler (4.3)。解压文件：cd /home/blues/下载sudo tar -zxvf eclipse-standard-kepler-R-linux-gtk.ta
2013-07-19 01:30:39
1799
转载 手把手教你在Ubuntu上安装Apache、MySql和PHP
1：首先安装apache：打开终端(ctrl+Alt+t)，输入命令：sudo apt-get install apache2即可安装，安装完后，打开浏览器，在地址栏输入：localhost或者http://127.0.0.1看到It works，表示安装成功!默认根目录：/var/www/2：安装mysql：sudo apt-get install mysql-serve
2013-07-14 15:54:23
615
转载 Vim 插件管理工具 pathogen
DaNmarner 在 Hacker News 最近关于 Vim 插件的帖子 回复中了解到一个叫做 pathogen 的 Vim 脚本，其作用是改善 Vim 管理插件的方式。试用过后发现 pathogen 果然强大。是以撰文分享。问题剖析可扩展性是优秀软件的重要特点之一，而 Vim 从 Unix 系统一路传成下来更是将可扩展性发挥到了极致。相信多数 Vim 的经验用户除了自己经精心
2013-07-14 01:05:53
799
原创 非root帐号安装zeromq和jzmq
安装storm需要首先安装zeromq和jzmq，root帐号安装见twitter storm安装和storm-start的本地运行如果不是root帐号，那么是无法把库装到默认的/usr/local/lib中，下面是非root帐号的安装办法例如以guest帐号登陆1.安装zeromqwget http://download.zeromq.org/zeromq-2.1.7.t
2013-07-12 21:12:02
2671
转载 Kafka实现细节（下）
转自：http://my.oschina.net/ielts0909/blog/94733在这一篇，我想主要写点儿kafka的存储，以及对前文kafka的分布式一些补充，kafka的应用中，分布式使用是一个很关键的主题，更好的理解producer、broker和consumer的分布式构建有利于提高系统整体的性能。这部分理论其实很简单，所以就不花大精力去写了。在上一篇中
2013-07-10 19:17:24
1254
转载 Kafka实现细节（上）
转自：http://my.oschina.net/ielts0909/blog/94153如果你第一次看kafka的文章，请先看《分布式消息系统kafka初步》之前有人问kafka和一般的MQ之间的区别，这个问题挺难回答，我觉得不如从kafka的实现原理来分析更为透彻，这篇将依据官网上给出的design来详细的分析，kafka是如何实现其高性能、高吞吐的。这一段应该会挺
2013-07-10 19:16:53
1814
转载 Kafka开发环境搭建
转自：http://my.oschina.net/ielts0909/blog/95440如果你要利用代码来跑kafka的应用，那你最好先把官网给出的example先在单机环境和分布式环境下跑通，然后再逐步将原有的consumer、producer和broker替换成自己写的代码。所以在阅读这篇文章前你需要具备以下前提：1. 简单了解kafka功能，理解kafka的分
2013-07-10 19:15:50
11425
转载 Kafka broker配置介绍
转自：http://my.oschina.net/ielts0909/blog/94997这部分内容对了解系统和提高软件性能都有很大的帮助，kafka官网上也给出了比较详细的配置详单，但是我们还是直接从代码来看broker到底有哪些配置需要我们去了解的，配置都有英文注释，所以每一部分是干什么的就不翻译了，都能看懂：001/**
2013-07-10 17:40:19
6892
转载 Kafka分布式环境搭建
转自：http://my.oschina.net/ielts0909/blog/93190这篇文章将介绍如何搭建kafka环境，我们会从单机版开始，然后逐渐往分布式扩展。单机版的搭建官网上就有，比较容易实现，这里我就简单介绍下即可，而分布式的搭建官网却没有描述，我们最终的目的还是用分布式来解决问题，所以这部分会是重点。Kafka的中文文档并不多，所以我们尽量详细点儿写。
2013-07-10 16:20:31
1886
转载 分布式消息系统Kafka初步
转自：http://my.oschina.net/ielts0909/blog/92972在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：l 我想分析一下用户行为（pageviews），以便我能设计出更好的广告位l 我想对用户的搜索关键词进行统计，分析出当前的流行趋势。这个很有意思，在经济学上有个长裙理论，就是说，如果长裙
2013-07-10 16:15:17
1727
转载 Twitter Storm的一些关键概念
转自：Twitter Storm的一些关键概念这篇文章翻译自storm官方wiki: https://github.com/nathanmarz/storm/wiki/Concepts, 主要介绍storm的一些关键概念。storm的一些关键概念如下:TopologiesStreamsSpoutsBoltsStream groupings
2013-07-08 11:28:02
810
转载 Apache Maven 入门篇(下)
转自：http://www.oracle.com/technetwork/cn/community/java/apache-maven-getting-started-2-405568-zhs.html第一篇文章大概的介绍了一下Apache Maven以及它的下载和安装，并且运行了一个简单的示例。那么在对maven有了一点接触后，接下去的一步是要了解maven的核心概念，这样才
2013-07-08 10:31:48
701
转载 Apache Maven 入门篇 ( 上 )
转自：http://www.oracle.com/technetwork/cn/community/java/apache-maven-getting-started-1-406235-zhs.html写这个 maven 的入门篇是因为之前在一个开发者会的动手实验中发现挺多人对于 maven 不是那么了解，所以就有了这个想法。这个入门篇分上下两篇。本文着重动手，用 maven 来构
2013-07-08 10:30:57
871
原创 twitter storm安装和storm-start的本地运行
storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候，你可以在你的本地机器上开发测试你的topology， 一切都在你的本地机器上模拟出来; 用远端模式的时候你提交的topology会在一个集群的机器上执行。一个storm开发环境安装了你使用本地模式开发测试topology; 把topology打包以部署到远端的集群; 提交，终止远端集群上的topology所需要的一切东西。
2013-07-07 17:56:21
12612
2
原创 Linux下安装Maven
1.首先到Maven官网下载安装包，目前最新版本为3.0.5，下载文件为apache-maven-3.0.5-bin.tar.gz，下载可以使用wget命令；2.进入下载文件夹，找到下载的文件，运行如下命令解压tar -xvf apache-maven-3.0.5-bin.tar.gz解压后的文件夹名为apache-maven-3.0.53.使用mv命令将apac
2013-07-07 14:21:55
5623
3
转载 简明 Vim 练级攻略
转自：http://coolshell.cn/articles/5426.htmlvim的学习曲线相当的大（参看各种文本编辑器的学习曲线），所以，如果你一开始看到的是一大堆VIM的命令分类，你一定会对这个编辑器失去兴趣的。下面的文章翻译自《Learn Vim Progressively》，我觉得这是给新手最好的VIM的升级教程了，没有列举所有的命令，只是列举了那些最有用的命令。非常
2013-07-07 14:02:30
653
转载 Storm集群安装部署步骤【详细版】
转自：http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。1. Stor
2013-07-05 18:02:07
796
转载 Storm使用到的相关技术总结
转自：http://www.cnblogs.com/panfeng412/archive/2012/12/16/storm-related-technique-summary.htmlStorm作为一个开源的分布式实时流计算框架，其内部实现使用了一些常用的技术，这里是对这些技术及其在Storm中作用的概括介绍。以此为基础，后续再深入了解Storm的内部实现细节。1. Zooke
2013-07-05 15:58:08
744
转载 Twitter Storm源代码分析之ZooKeeper中的目录结构
转自：http://xumingming.sinaapp.com/466/twitter-storm-code-analysis-zookeeper-dirs/我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper上面写状态信息来分配任务，supervisor，task通过从zookeeper中读状态来领取任务，同时su
2013-07-05 15:53:28
1024
转载 开源实时流处理系统小结
转自：http://www.cnblogs.com/panfeng412/archive/2013/02/21/open-source-real-time-stream-processing-systems.html开源实时流处理系统小结作者: 大圆那些事 | 文章可以转载，请以超链接形式标明文章原始出处和作者信息网址: http://www.cnblogs.com/p
2013-07-05 15:48:34
1010
转载 对互联网海量数据实时计算的理解
转自：http://www.cnblogs.com/panfeng412/archive/2011/10/28/realtime-computing-of-big-data.html对互联网海量数据实时计算的理解1. 实时计算的概念互联网领域的实时计算一般都是针对海量数据进行的，除了像非实时计算的需求（如计算结果准确）以外，实时计算最重要的一个需求是能够实时响应计算结果
2013-07-05 15:30:37
1008
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人