- 博客(124)
- 收藏
- 关注
RSS订阅原创 分布式设计与开发（一）------宏观概述
在IDF05（Intel Developer Forum 2005）上，Intel首席执行官Craig Barrett就取消4GHz芯片计划一事，半开玩笑当众单膝下跪致歉，给广大软件开发者一个明显的信号，单纯依靠垂直提升硬件性能来提高系统性能的时代已结束，分布式开发的时代实际上早已悄悄地成为了时代的主流，吵得很热的云计算实际上只是包装在分布式之外的商业概念，很多开发者（包括我）都想加入研究云计...
2016-11-30 10:50:24
53
原创 随机森林和GBDT的学习
前言提到森林，就不得不联想到树，因为正是一棵棵的树构成了庞大的森林，而在本篇文章中的”树“，指的就是Decision Tree-----决策树。随机森林就是一棵棵决策树的组合，也就是说随机森林=boosting+决策树，这样就好理解多了吧，再来说说GBDT，GBDT全称是Gradient Boosting Decision Tree，就是梯度提升决策树，与随机森林的思想很像，但是比随机森林...
2016-11-30 10:47:32
122
原创 隐语义模型
隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，在推荐系统中它能够基于用户的行为对item进行自动聚类，也就是把item划分到不同类别/主题，这些主题/类别可以理解为用户的兴趣。 对于一个用...
2016-11-30 10:47:10
237
原创 AngularJS常用插件与指令收集
使用AngularJS有差不多一年时间了，前前后后也用了不少库和指令，整理了一下，分成四大类列出。有demo地址的，就直接连接到demo地址，其它的直接链到github托管库中。图片视频类angular-maxonry 图片墙效果插件，可以将图片组织成类似于瀑布流的效果，依赖于jQuery、imageloaded和Masonryangular-deckgrid 另一个照片瀑...
2016-11-30 10:04:06
111
原创 AngularJS基于树的控制组件
查看演示 website 立即下载插件描述：Angular JS Tree基于树的控制组件AngularJS基于树的控制组件树控件可以作为一个DOM元素或属性。复制脚本和CSS为你的项目添加一个脚本和链接到你的页面。<script type="text/javascript" src="/angular-tree-control.js">...
2016-11-30 10:03:46
563
原创 城市计算与大数据
<div class="iteye-blog-content-contain" style="font-size: 14px;"><p><span style="color: #00b7ef; font-size: 20px;"><strong>城市计算的基本框架及核心问题</strong><
2016-11-29 10:15:35
576
原创 MySQL 性能：使用 MySQL 5.7 实现每秒 50 万查询
回顾 MySQL / InnoDB 的改善历史。你能很容易发现。在MySQL 5.6稳定版本中从来没有在read-only 这么快的提速，它很容易搞懂，以及在read-only（RO）有着良好的扩张性。也很期待它在read+write（RW）上达到一个较高水平。（特别是在读取数据是数据库主要工作的时候） 然而。我们对于RO在 MySQL 5.6的表现也十分的高兴,在5.7这个版本...
2016-11-29 10:14:57
241
原创 SQL四种语言：DDL,DML,DCL,TCL
1.DDL（Data Definition Language）数据库定义语言statements are used to define the database structure or schema.DDL是SQL语言的四大功能之一。用于定义数据库的三级结构，包括外模式、概念模式、内模式及其相互之间的映像，定义数据的完整性、安全控制等约束DDL不需要commit.CREATEALTERD...
2016-11-29 10:14:45
54
原创 检索模型及评价指标小结
经典检索模型 信息检索模型从它诞生到现在经历了几个不同阶段，分别是基于集合论、基于线性代数、基于统计和概率阶段。虽然专家检索不同于传统的信息检索，但两者还是有很大关联，并且本文也将基于对专家描述文档的检索作为Baseline，作为后续优化的基础。因此了解传统检索模型是很有必要的，本文下面将对不同阶段的经典模型进行摘要性介绍。2.1.1.1 布尔模型布尔模型是一个简单但却...
2016-11-29 10:11:58
859
原创 学习排序（Learning to Rank）
学习排序（Learning to Rank）LTR（Learning torank）学习排序是一种监督学习（SupervisedLearning）的排序方法。LTR已经被广泛应用到文本挖掘的很多领域，比如IR中排序返回的文档，推荐系统中的候选产品、用户排序，机器翻译中排序候选翻译结果等等。IR领域传统的排序方法一般通过构造相关度函数，然后按照相关度进行排序。影响相关度的因素很多，比如上面...
2016-11-29 10:11:45
483
原创 object-c语言
很多想开发iOS，或者正在开发iOS的程序员以前都做过Java或者C++，当第一次看到Objective-C的代码时都会头疼，Objective-C的代码在语法上和Java, C++有着很大的区别，有的同学会感觉像是看天书一样。不过，语言都是相通的，有很多共性。下面列出Objective-C语言的语法和Java，C++的对比，这样你就会很容易Objective-C的语法是怎么回事了。先目睹...
2016-11-28 11:01:44
618
原创 8大经典数据挖掘算法
大概花了将近2个月的时间，自己把18大数据挖掘的经典算法进行了学习并且进行了代码实现，涉及到了决策分类，聚类，链接挖掘，关联挖掘，模式挖掘等等方面。也算是对数据挖掘领域的小小入门了吧。下面就做个小小的总结，后面都是我自己相应算法的博文链接，希望能够帮助大家学习。1.C4.5算法。C4.5算法与ID3算法一样，都是数学分类算法，C4.5算法是ID3算法的一个改进。ID3算法采用信息增益进行决策...
2016-11-28 10:48:58
157
原创 Hbase与传统数据库的区别
在说HBase之前，我想再唠叨几句。做互联网应用的哥们儿应该都清楚，互联网应用这东西，你没办法预测你的系统什么时候会被多少人访问，你面临的用户到底有多少，说不定今天你的用户还少，明天系统用户就变多了，结果您的系统应付不过来了了，不干了，这岂不是咱哥几个的悲哀，说时髦点就叫“杯具啊”。其实说白了，这些就是事先没有认清楚互联网应用什么才是最重要的。从系统架构的角度来说，互联网应用更加看重系统性能以及...
2016-11-28 09:49:59
148
原创 maven相互依赖
很多时候随着项目的膨胀，模块会越来越多，如果设计上 稍有不慎就会出现模块之间相互依赖的情况。这对于使用Maven的用户是比较痛苦的，因为出现模块之间相互依赖的话在构建的时候就会失败，Maven通常要先编译被依赖的模...
2016-11-28 09:38:49
145
原创 iOS开发系列--Swift进阶
概述上一篇文章《iOS开发系列--Swift语言》中对Swift的语法特点以及它和C、ObjC等其他语言的用法区别进行了介绍。当然，这只是Swift的入门基础，但是仅仅了解这些对于使用Swift进行iOS开发还是不够的。在这篇文章中将继续介绍一些Swift开发中一些不常关注但是又必备的知识点，以便对Swift有进一步的了解。访问控制Swift命名空间Swift和ObjC互相...
2016-11-28 09:35:48
139
原创 mysql和oracle的区别
一、并发性并发性是oltp数据库最重要的特性，但并发涉及到资源的获取、共享与锁定。mysql:mysql以表级锁为主，对资源锁定的粒度很大，如果一个session对一个表加锁时间过长，会让其他session无法更新此表中的数据。虽然InnoDB引擎的表可以用行级锁，但这个行级锁的机制依赖于表的索引，如果表没有索引，或者sql语句没有使用索引，那么仍然使用表级锁。oracle:oracle使用行...
2016-11-27 21:46:43
85
原创 Oracle查询工作原理
假如，我们现在利用Select语句从数据库查询数据，Oracle数据库是如何运作的呢?下面就让我们来了解一下Oracle查询工作原理。结合一条简单的select语句，看看Oracle数据库后台的运作机制。这对于我们之后的系统管理与故障排除非常有帮助。第一步：客户端把语句发给服务器端执行。当我们在客户端执行select语句时，客户端会把这条SQL语句发送给服务器端，让服务器端的进程来...
2016-11-27 21:46:18
239
原创 oracle与sqlserver的十大语法的区别
--sql server 与 Oracle的区别： --DBMS 数据库管理系统--1.数据类型不同。 --sql server 的数据类型：int ,smallint ,char,varchar,nchar,nvarchar,ntext,datetime,smalldatetime,money,decima, --float,bit…… ...
2016-11-27 21:46:03
1741
原创 SQL Server 和 Oracle 以及 MySQL 有哪些区别
作者：孙文亮链接：https://www.zhihu.com/question/19866767/answer/14942009来源：知乎著作权归作者所有，转载请联系作者获得授权。SQL，在这里我理解成SQL Server。三者是目前市场占有率最高（依安装量而非收入）的关系数据库，而且很有代表性。排行第四的DB2（属IBM公司），与Oracle的定位和架构非常相似，就不赘述了。如果要说明三...
2016-11-27 21:45:47
188
原创 Oracle10g数据库的4种存储形式
数据库的存在一定需要有永久性存储方式和介质。Oracle自然也不例外，在Oracle10g中，有4种存储形式，分别是操作系统文件，裸分区，自动存储管理，集群系统OCFS（RAC）。下面分别说一下这4种存储形式。 1 操作系统文件。 这种是大家最常用的方式了，也是非商业运行模式（比如开发或者开发阶段的测试环境）下最常用的形式。当大家安装Oracle的时候，如果选用了操作系统文 件的存储形...
2016-11-27 21:43:39
338
原创 什么是小型机
小型机是指运行原理类似于PC（个人电脑）和服务器，但性能及用途又与它们截然不同的一种高性能计算机，它是70年代由DCE（数字设备公司）公司首先开发的一种高性能计算产品。 小型机具有区别PC及其服务器的特有体系结构，还有各制造厂自己的专利技术，有的还采用小型机专用处理器，比如美国Sun、日本Fujitsu（富士通）等公司的小型机是基于SPARC处理器架构,而美国HP公司的则是基于PA－RI...
2016-11-25 12:59:59
1370
原创 HBase是什么
方案：Nutch+ElasticSearch/Solr+Hadoop Nutch：爬取网页 ES/Solr：构建索引库，提供搜索服务，Restful API支持 Hadoop：hdfs用于存储索引文件，关于存储也可以考虑NoSql，如：cassandra,hbase HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtabl...
2016-11-25 12:59:30
212
原创 HBase适合做BI分析的数据源吗？
HBase是建立Hadoop File System上的一层Key-Value Pair 存储服务器。 HBase能够支持Key-Value快速插入，修改及删除，和单个Key到Value快速查询。那么Hbase适合做BI分析的数据源吗？筛选(Filtering)和聚合(Aggregation)是BI中的基本运算，所以我们首先要知道HBase是否能支持快速的筛选和聚合运算。MapReduce...
2016-11-25 12:59:03
1228
原创 Oracle和DB2
Oracle和DB2是两种不同的数据库。 Oracle： Oracle是甲骨文公司的一款关系数据库管理系统。 ORACLE数据库系统是美国ORACLE公司（甲骨文）提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。比如SilverStream就是基于数据库的一种中间件。ORACLE数据库是目前世界上使用最为广泛...
2016-11-25 12:56:54
566
原创 Greenplum是什么
Greenplum编辑 锁定 当前使用的 OLTP程序中，用户访问一个中心数据库，如果采用SMP系统结构，它的效率要比采用MPP结构要快得多。而MPP系统在决策支持和数据挖掘方面显示了优势，可以这样说，如果操作相互之间没有什么关系，处理单元之间需要进行的通信比较少，那采用MPP系统就要好，相反就不合适了。 外文名Greenplum属 于用户访问一个中...
2016-11-25 12:56:26
475
原创 Hadoop--两个简单的MapReduce程序
学习Hadoop编程，以前看过《Hadoop权威指南》这本书，但是看完了HDFS这一章之后，后面的内容就难以再看懂了，说实话，之前一直对MapReduce程序敬而远之，毫不理解这种类型的程序的执行过程。这一周花了些时间看了Hadoop的实战，现在能够看懂简单的MapReduce程序，也能自己动手写几个简单的例子程序。下面是两个简单的MapReduce程序，用到了一些简单的Hadoop知识点，总...
2016-11-24 16:09:34
231
原创 GreenPlum 与hadoop
gp 可以处理大量数据, hadoop 可以处理海量. gp 只能处理湖量,或者河量. 无法处理海量. greenplum采取的是PostgreSQL框架，是PostgreSQL系的重要应用。从这个角度上可以知道GreenPlum是关系型数据库。Hadoop框架是一种分布式的平台设计理念。它本身不是数据库。其中Impala可以认为是一种非关系型的数据库, Hive相当于SQL。 ...
2016-11-24 16:00:06
8467
3
原创 maven构建项目(多模块项目)
在eclipse下构建maven项目，该项目由多个子模块组成。1.创建一个父项目NEW -->project-->maven-->maven Project，点击下一步，进入new maven Project的Select project name and location界面，什么也不做，直接下一步到Select an Archetype界面。在这个...
2016-11-24 15:59:53
218
原创 组件、插件、控件的区别
组件、插件、控件的区别控件:是编程中用到的,按钮就算是一个控件,窗口也是等等组件:是软件的一部分.软件的组成部分.插件:网页中用到的,flash插件,没有它浏览器不能播放flash. 首先范围最广的应该是组件，英文component，提起组件我们不应该把他和具体的技术，什么dll文件，ocx控件，activex等等联系起来，因为组件仅仅是一个概念，如果非要解释的话...
2016-11-24 15:59:38
195
原创 Hbase写数据，存数据，读数据的详细过程
Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后，逐步形成越来越大的StoreFile -> 单个StoreF...
2016-11-24 15:56:00
136
原创 8种主流NoSQL数据库系统特性对比和最佳应用场景
曾在多家大公司任职的软件架构师兼顾问Kristóf Kovács在博客中对主流的NoSQL数据库（Cassandra、Mongodb、CouchDB、Redis、Riak、Membase、Neo4j以及HBase）进行了全方位的对比。虽然SQL数据库是非常有用的工具，但经历了15年的一支独秀之后垄断即将被打破。这只是时间问题：被迫使用关系数据库，但最终发现不能适应需求的情况不胜枚举。但...
2016-11-23 10:16:57
652
原创 Greenplum在企业的正确使用姿势
背景很多使用数据仓库的朋友可能都有过这样的困惑，为什么数据仓库的资源经常会出现不可控，或者抢用的情况，严重的甚至影响正常的作业任务，导致不能按时输出报表或者分析结果。这里的原因较多，最主要的原因可能还是使用姿势不对，MPP是用极资源的产品，一伙人在抢资源当然跑不好。你想想一个跑道能让多架飞机同时起飞或降落吗？第一张老外通常如何使用数据仓库数据仓库的使用人员通常是数据分析师，...
2016-11-23 10:14:04
211
原创 Oracle数据库名与Oracle实例名的关系
1 数据库名1.1 数据库名的概念数据库名(db_name)就是一个数据库的标识，就像人的身份证号一样。如果一台机器上装了多个数据库，那么每一个数据库都有一个数据库名。在数据库安装或创建完成之后，参数DB_NAME被写入参数文件之中。数据库名在$ORACLE_HOME/admin/db_name/pfile/init.ora（或$ORACLE_BASE/admin/db_nam...
2016-11-23 10:06:47
107
原创 大数据时代，我们应该具有怎样的思维方式
作为理性的人类，我们不会仅仅满足于感情的宣泄，而是希望通过数据掌握更多的事实，进行理性思考。 在当今时代，最不缺乏的就是信息。信息消费了什么，这是很明显的：它消费的是信息接受者的注意力。信息越丰富，就会导致注意力越匮乏…… 当今，信息并不匮乏，匮乏的是我们处理信息的能力，我们有限的注意力是组织活动的主要瓶颈。卡内基梅隆大学的赫伯特·西蒙指出，人类的理性是有限的，因此所有的决策都是基...
2016-11-23 10:03:36
4952
原创 mysql中char，varchar与text类型的区别和选用
关于char，varchar与text平时没有太在意，一般来说，可能现在大家都是用varchar。但是当要存储的内容比较大时，究竟是选择varchar还是text呢？不知道。。。。。。于是去查阅了一些资料，顺便将这三种类型做个比较：（1）char: char不用多说了，它是定长格式的，但是长度范围是0~255. 当你想要储存一个长度不足255的字符时，MySQL会用空格来填充剩下的字...
2016-11-23 10:03:14
79
原创 oracle物化视图的两个典型应用场景
物化视图是oracle一个比较有特色的东西，自oracle9i起，应用非常广泛，不像mysql，不支持原生物化视图，要借助flexviews去实现。物化视图到底有什么用呢？要回答这个问题，必须先搞清楚物化视图与普通视图的区别：物化视图是有一个与之对应的容器表的。容器表是一个跟物化视图同名的“规则”的表，用于存储查询返回的结果集。这是物化视图与普通视图的根本区别，它是有储存结果集的“物理存在...
2016-11-22 11:26:30
1455
原创 mysql的工作原理
刚开始接触一个新的事物的时候，我觉得很有必要从其工作原理入手，弄清楚这个东西的来龙去脉，为接下来的继续深入学习做好铺垫，掌握好其原理有助于我们从整体上来把握这个东西，并且帮助我们在排错过程中理清思路。接下来，还是从mysql的工作原理开始入手，下面先来一张经典的图： 上面的图就是mysql的内部架构，可以清楚的看到Mysql是由SQL接口，解析器，优化器，缓存，存储引擎...
2016-11-22 11:25:55
97
原创 大数据的发展
大数据的四种能力，第一个是融合Fusion，就是数量和质量的提升。第二，云计算Cloud。第三，Insight，意思是我们可以说明察秋毫，有了大数据，世界万物的关系可以分析出来。第四，预见性。这四个能力是大数据给我们的，对政府科学治理体系的建设非常有价值。...
2016-11-22 11:25:45
113
原创 Oracle架构实现原理
Oracle架构，讲述了Oracle RDBMS的底层实现原理，是Oracle DBA**调优和排错的基础理论。深入理解Oracle架构，能够让我们在Oracle的路上走的更远。本文主要是在对RDBMS的底层组件功能和实现原理有一定的了解的情况下，结合自身的工作经验提出了对Oracle调优和排错的思路。**当然，对Oracle体系结构的理解是一个深远的过程，需要不断的更新修改，如有不对，还望指...
2016-11-22 11:22:51
1540
原创 SQLServer中服务器角色和数据库角色权限详解
固定数据库角色 说 明 db_owner 可以执行数据库中技术所有动作的用户 db_accessadmin 可以添加、删除用户的用户 db_datareader 可以查看所有数据库中用户表内数据的用户 db_datawriter 可以添加、修改或删除所有数据库中用户表内数据的用户 db_ddladmin 可以在数据库中执行所有DDL操作的用户 db_securityadmi...
2016-11-22 11:22:14
386
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人