- 博客(28)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 ALS学习算法
一、矩阵分解模型。用户对物品的打分行为可以表示成一个评分矩阵A(m*n)，表示m个用户对n各物品的打分情况。如下图所示：其中，A(i,j)表示用户user i对物品item j的打分。但是，用户不会对所以物品打分，图中？表示用户没有打分的情况，所以这个矩阵A很多元素都是空的，我们称其为“缺失值（missing value）”。在推荐系统中，我们希望得到用户对所有物品的打分情况，如果...
2017-02-06 11:34:51
428
原创 Canal概述
背景 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志...
2016-02-26 10:45:27
203
原创 深度神经网络算法的实现
对于现在流行的深度学习，保持学习精神是必要的——程序员尤其是架构师永远都要对核心技术和关键算法保持关注和敏感，必要时要动手写一写掌握下来，先不用关心什么时候用到——用不用是政治问题，会不会写是技术问题，就像军人不关心打不打的问题，而要关心如何打赢的问题。 程序员如何学习机器学习 对程序员来说，机器学习是有一定门槛的（这个门槛也是其核心竞争力），相信很多人在学习机器学习时都会为满是数学公式的英文...
2016-02-25 13:02:37
1466
原创 RESTful API 设计指南
网络应用程序，分为前端和后端两个部分。当前的发展趋势，就是前端设备层出不穷（手机、平板、桌面电脑、其他专用设备......）。因此，必须有一种统一的机制，方便不同的前端设备与后端进行通信。这导致API构架的流行，甚至出现"API First"的设计思想。RESTful API是目前比较成熟的一套互联网应用程序的API设计理论。 一、协议API与用户的通信协议，总是使用HTTPs...
2016-02-24 18:04:15
153
原创 线程池与阻塞队列
前言 上一篇文章中我们将ThreadPoolExecutor进行了深入的学习和介绍，实际上我们在项目中应用的时候很少有直接应用ThreadPoolExecutor来创建线程池的，在jdk的api中 有这么一句话“但是，强烈建议程序员使用较为方便的 Executors 工厂方法Executors.newCachedThreadPool()（无界线程池，可以进行自动线程回收）、 Exec...
2016-02-16 11:13:14
611
原创 MapReduce的排序和二次排序
1.Hadoop的序列化格式介绍:Writable 要了解和编写MR实现排序必须要知道的第一个知识点就是Writable相关的接口和类，这些是HADOOP自己的序列化格式。更 多的可能是要关注他的Subinterfaces：WritableComparable<T>。他是继承Writable和 Comparable<T>接口，继而WritableComparab...
2016-02-15 16:35:39
201
原创 Hive数据存储各种模式
Hive的数据分为表数据和元数据，表数据是Hive中表格（table）具有的数据；而元数据是用来存储表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。下面分别来介绍。 一、Hive的数据存储 在让你真正明白什么是hive 博文中我们提到Hive是基于Hadoop分布式文件系统的，它的数据存储在Hadoop分布式文件系统中。Hive本身是...
2016-02-15 14:22:04
228
原创 基于mysql体系结构的深入解析
mysql各个存储引擎概述：innodb存储引擎：[/color][/b] 面向oltp(online transaction processing)、行锁、支持外键、非锁定读、默认采用repeaable级别（可重复读）通过next-keylocking策略避免幻读、插入缓冲、二次写、自适应哈希索引、预读myisam存储引擎：不支持事务、表锁、全文索引、适合olap（在线分析处理），其中myd...
2016-02-15 12:55:30
131
原创 JAVA线程安全和锁机制详解
在开始这篇blog之前应该先了解几个概念： 临界区： 保证在某一时刻只有一个线程能访问数据的简便办法。在任意时刻只允许一个线程对共享资源进行访问。如果有多个线程试图同时访问临界区，那么 在有一个线程进入后其他所有试图访问此临界区的线程将被挂起，并一直持续到进入临界区的线程离开。临界区在被释放后，其他线程可以继续抢占，并以此达到用原子方式操 作共享资源的目的。 互斥量： 互斥量跟...
2016-02-14 16:37:09
506
原创 Zookeeper原理
1 Zookeeper的基本概念1.1 角色Zookeeper中的角色主要有以下三类，如下表所示：系统模型如图所示：1.2 设计目的1.最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。2 .可靠性：具有简单、健壮、良好的性能，如果消息m被到一台服务器接受，那么它将被所有的服务器接受。3 .实时性...
2016-02-03 19:47:07
125
原创 JVM内存模型
JVM运行时的内存结构图： 直接内存： 直接内存并不是jvm运行时数据区的一部分，所建议它不受jvm内存总大小的限制。个人理解直接内存就是物理机可用的内存空间。 程序计数器： 程序计数器是每一个线程所独有的一个很小的内存区域，并不是多线程所共享的共享区域。它可以被看成是字节码指令执行的指针，线程的分支，循环，跳转，异常处理，线程恢复等功能都要依赖这个计数器来完成。如果当前线程正...
2016-01-28 11:24:55
127
原创 Storm简介
诞 生 在2011年Storm开源之前，由于Hadoop的火红，整个业界都在喋喋不休地谈论大数据。Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，运维复杂。 有需求也就有创造，在Hadoop基本奠定了大数据霸主地位的时候，很多的开源项目都是以弥补Hadoop的实时性为目标而被创造出来。...
2016-01-15 15:15:37
147
原创 CAS实现SSO单点登录原理
1.CAS 简介 1.1. What is CAS ？ CAS （ Central Authentication Service ） 是 Yale 大学发起的一个企业级的、开源的项目，旨在为 Web 应用系统提供一种可靠的单点登录解决方法（属于 Web SSO ）。CAS 开始于 2001 年， 并在 2004 年 12 月正式成为 JA...
2016-01-15 14:44:07
122
原创 Kafka存储模型
引言 Kafka中的Message是以topic为基本单位组织的，不同的 topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定 的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partition的关系。 partition是以文件的形式存...
2016-01-15 09:41:41
1204
原创 Redis主从同步分析
一、Redis主从同步原理 1.1 Redis主从同步的过程 配置好slave服务器连接的master后，slave会建立和master的连接，然后发送sync命令。无论是第一次同步建立的连接还是连接断开后的重新连接，master都会启动一个后台进程，将数据库快照保存到文件中.同时master主进程会开始收集新的写命令并缓存起来。当后台进程完成写文件后，master就将快照文件发送给s...
2016-01-08 09:52:25
115
原创 SolrCloud简介
一.简介SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案。SolrCloud是Solr的基于Zookeeper一种部署方式。Solr可以以多种方式部署，例如单机方式，多机Master-Slaver方式。二.特色功能SolrCloud有几个特色功能：集中式的配置信息使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上传 Zo...
2016-01-08 09:41:00
115
原创 Suruts2的工作原理
一个请求在Struts2框架中的处理大概分为以下几个步骤： 1、客户端初始化一个指向Servlet容器（例如Tomcat）的请求 2、这个请求经过一系列的过滤器（Filter）（这些过滤器中有一个叫做ActionContextCleanUp的可选过滤器，这个过滤器对于Struts2和其他框架的集成很有帮助，例如：SiteMesh Plugin） 3、接着Filt...
2016-01-08 09:34:28
173
原创 Dubbo入门
互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，Dubbo是一个分布式服务框架，在这种情况下诞生的。现在核心业务抽取出来，作为独立的服务，使前端应用能更快速和稳定的响应。 第一：介绍Dubbo背景 大规模服务化之前，应用可能只是通过RMI或Hessian等工具，简单的暴露和引用远程服务，通过配置服务的URL地...
2015-07-07 15:48:33
112
原创 Zookeeper安装与配置
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。Zookeeper的安装和配置十分简单, 既可以配置成单机模式，也可以配置成集群模式，下面将分别进行介绍： 一、单机模式下载Zoo...
2015-06-10 09:55:11
113
删除GIT远程分支
git tag -d Remote_Systems_Operationgit push origin :refs/tags/Remote_Systems_Operation
2015-05-10 22:32:35
122
结束全部TOMCAT进程
kill -9 `ps -ef|grep "java"|grep "tomcat-6.0"|grep -v "grep"|awk '{print $2}'`
2015-05-10 22:30:14
745
常用运维脚本
备份MySQL数据库/usr/bin/mysqldump -u root database | gzip > /home/backup_`date +\%y_\%m_\%d`.gz还原MySQL数据库mysql -uroot database < database.sql备份文件 tar -zcvf /home/backup_`date +\%y_\%m_\%...
2015-05-10 22:25:36
170
修改redmine欢迎页
进入Redmine的Config目录，修改routes.rb文件： RedmineApp::Application.routes.draw do root :as => 'home', :action => 'show', :project_id => 'research', :controller => 'wiki' root :to => 'w...
2015-05-04 17:11:22
2088
Apache下部署Redmine
一、安装Apacheyum -y install curl-devel httpd httpd-devel 二、使用passenger安装插件gem install passengerpassenger-install-apache2-module 三、赋予权限chown -R apache:apache /etc/httpd/logschown -R ap...
2015-05-04 14:59:38
585
安装Redmine
Redmine是用Ruby开发的基于web的项目管理软件，是用ROR框架开发的一套跨平台项目管理系统，据说是源于Basecamp的ror版而来，支持多种数据库，有不少自己独特的功能，例如提供wiki、新闻台等，还可以集成其他版本管理系统和BUG跟踪系统，例如Perforce、SVN、CVS、TD等等。这种 Web 形式的项目管理系统通过“项目（Project）”的形式把成员、任务（问题）、文档...
2015-05-04 14:41:05
88
原创 安装Ruby环境
Ruby，一种为简单快捷的面向对象编程而创的脚本语言，在20世纪90年代由日本人松本行弘开发，遵守GPL协议和Ruby License。它的灵感与特性来自于 Perl、Smalltalk、Eiffel、Ada以及 Lisp 语言。由 Ruby 语言本身还发展出了JRuby（Java平台）、IronRuby（.NET平台）等其他平台的 Ruby 语言替代品。Ruby的作者于1993年2月24日开...
2015-05-04 14:27:28
148
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人