数据库
文章平均质量分 70
lengyuhong
大学生,经历温州大学和浙江工业大学,现在淘宝数据平台实习,喜欢的领域:关联智能推荐,海量数据处理,搜索引擎
展开
-
键值数据库—Redis(一) 基础入门
redis 是一个基于内存的高性能key-value数据库转载 2010-08-10 14:50:00 · 4940 阅读 · 0 评论 -
SQL四种语言:DDL,DML,DCL,TCL
<br /><br /> <br />1.DDL(Data Definition Language)数据库定义语言statements are used to define the database structure or schema.<br />DDL是SQL语言的四大功能之一。<br />用于定义数据库的三级结构,包括外模式、概念模式、内模式及其相互之间的映像,定义数据的完整性、安全控制等约束<br />DDL不需要commit.<br />CREATE<br />ALTER<br />DROP<b转载 2010-10-26 11:03:00 · 1198 阅读 · 0 评论 -
MySQL学习之路(八):MySQL中的数据结构和算法
数据结构:1. THD 线程描述符(sql/sql_class.h)包含处理用户请求时需要的相关数据,每个连接会有一个线程来处理,在一些高层函数中,此数据结构常被当作第一个参数传递。THD类中包含线程的许多有用信息。处理客户端的连接不是线程的唯一用途,MySQL还有一些系统线程,如从服务器复制进程和信号处理线程2. NET 网络连接描述符(sql/mysql_com.h)网络连接描述符,对内部数据包进行了封装,是client和server之间的通信协议。3. Item SQL表达式Item用于实现表达式,如原创 2010-10-26 16:30:00 · 5054 阅读 · 0 评论 -
理解MySQL的索引与优化
写在前面:索引对查询的速度有着至关重要的影响,理解索引也是进行数据库性能调优的起点。考虑如下情况,假设数据库中一个表有10^6条记 录,DBMS的页面大小为4K,并存储100条记录。如果没有索引,查询将对整个表进行扫描,最坏的情况下,如果所有数据页都不在内存,需要读取10^4 个页面,如果这10^4个页面在磁盘上随机分布,需要进行10^4次I/O,假设磁盘每次I/O时间为10ms(忽略数据传输时间),则总共需要 100s(但实际上要好很多很多)。如果对之建立B-Tree索引,则只需要进行log100(10^转载 2010-10-26 17:11:00 · 1737 阅读 · 0 评论 -
MySQL学习之路(九):MySQL状况监控
一,获取mysql用户下的进程总数ps -ef | awk '{print $1}' | grep "mysql" | grep -v "grep" | wc-1二,主机性能状态# uptime[root@ ~]# uptime13:05:52 up 53 days, 52 min, 1 user, load average: 0.00, 0.00, 0.00三,CPU使用率# top或# vmstat四,磁盘IO量# vmstat 或 # iostat五,swap进出量[内存]# free六,数据库性原创 2010-10-27 11:24:00 · 1775 阅读 · 0 评论 -
MySQL学习之路(七):MySQL中子系统之间的联系
正如MySQL学习之路(六):MySQL数据库的基础架构 中写道的那样,MySQL有以下几大子系统组成:1. 网络连接和网络通信协议子系统2. 线程,进程和内存分配子系统3. 查询解析和查询优化子系统4. 存储引擎接口子系统5. 各类存储引擎子系统6. 安全管理子系统7. 日志子系统8. 其他系统——如复制功能,错误功能这里,我们再仔细研究一下各个系统之间是如何协同工作的,依然以上图中的框架图进行分析1. 当一个客户端通过网络连接MySQL数据库服务器时,网络连接子系统执行一系列原创 2010-10-26 14:24:00 · 1990 阅读 · 0 评论 -
收集的一些讲解NoSQL的文章
<br />理论介绍:<br />了解 NoSQL 的必读资料<br /> <br />NoSQL数据库探讨之一 ——为什么要用非关系数据库?<br /> <br />NoSQL漫谈 (阿里DBA所写) 阿里张瑞<br /> <br />Tair: 淘宝的key/value解决方案 淘宝若海<br /> <br /> <br /> <br /> <br /> <br /> <br />自己的操作:<br />键值数据库—Redis(一) 基础入门原创 2010-11-02 14:17:00 · 1680 阅读 · 0 评论 -
了解 NoSQL 的必读资料
<br /><br />NoSQL 是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与 ACID 理论大一统的局面。NoSQL 数据存储不需要固定的表结构,通常也不存在连接 操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语在 2009 年初得到了广泛认同。<br /> 当今的应用体系结构需要数据存储在横向伸缩性 上能够满足需求。而 NoSQL 存储就是为了实现这个需求。Google 的 BigTable 与 Amazon 的 Dynamo 是非常成功的商业 NoSQL 实现。转载 2010-11-01 15:59:00 · 1146 阅读 · 0 评论 -
数据库ACID 理论
ACID,是指在数据库管理系统(DBMS)中事务所具有的四个特性:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation,又称独立性)、持久性(Durability)。在数据库系统中,一个事务是指由一系列数据库操作组成的一个完整的逻辑过程。例如银行转帐,从原账户扣除金额,以及向目标账户添加金额,这两个数据库操作的总和构成一个完整的逻辑过程,不可拆分。这个过程被称为一个事务,具有ACID特性。具体举例: 设想网上购物的一次交易,其付款过程至少包括以下几步数据库操作:原创 2010-11-02 14:08:00 · 13743 阅读 · 0 评论 -
Windows下的Cassandra 安装图文教程
<br />1 下载Cassandra<br /> http://cassandra.apache.org/<br /> <br />2 将压缩包解压后复制你想安装的目录下,这里我安装在D:/apache-cassandra-0.6.1/目录中<br /><br /> <br /><br />3 你可以根据自己需要更改日志、数据库存放目录等参数(出可以默认不修改) 1) 修改conf目录下的log4j.properties文件:<br /> l转载 2010-11-02 16:14:00 · 5613 阅读 · 1 评论 -
深入浅出cassandra 1 安装
<br />/** * author: ahuaxuan(张荣华) * date 2010-2-25 */<br /><br />深入浅出cassandra 1 安装cassandra是什么,套用官方介绍,cassandra是高可扩展性的第二代分布式数据库。背后的理论依据是amazon的dynamo和google的bigtable.<br /> 所以要完全的,深入的理解cassandra,那我们就必须深入的理解dynamo和bigtable这两个理论基础。当然在后续的文章中,ahuaxuan会和转载 2010-11-02 17:13:00 · 1191 阅读 · 0 评论 -
深入浅出cassandra 2 第一个可以运行的例子
深入浅出cassandra 2 第一个可以运行的例子在上一篇文章中,我们成功的建立了一个可以cassandra的实例,同时也让它成功的运行起来,下面的工作就是让我们来简单的操作一下这个号称分布式的号称第二代的数据库系统。 本文主要关注两个部分,1. 怎么写一个最简单cassandra的sample2. 怎么去分析这个最简单的sample背后隐含的含义步骤一:1. 首先我们创建一个工程,然后将cassandra/lib目录下的包,导入到我们的工程中。2. 非常重要的一点 编程接口Thrift的配置 使用下面的原创 2010-11-02 17:16:00 · 2798 阅读 · 0 评论 -
Thrift 框架分析1
<br /><br />本文先整体性地介绍Thrift框架,然后分析Thrift源码中自带的toturial例子,作为Thrift的入门吧。<br /><br /><br />一.Thrift介绍<br />Thrfit是一种开源的跨语言的服务部署框架,这里的服务是指RPC,即远程过程调用了。它最初是由Facebook开发的,后来Facebook将其开源了。<br />因此你可以很方便地下载到它的源代码,下载地址为:http://incubator.apache.org/thrift/download/<b转载 2010-11-02 17:53:00 · 6381 阅读 · 2 评论 -
Cassandra数据模型
<br /><br />参考<br />http://www.cnblogs.com/shanyou/archive/2010/02/25/1673781.html<br />http://www.hellodba.net/2010/02/cassandra.html<br />http://www.cnblogs.com/JeffreyZhao/archive/2010/02/24/mongodb-tokyo-tyrant-benchmark-1-basic-cru-operations.html<br转载 2010-11-03 17:54:00 · 921 阅读 · 0 评论 -
Cassandra - 一个分散的结构化存储系统
<br />Cassandra - 一个分散的结构化存储系统<br />本文翻译自Facebook员工在LADIS大会上发布的论文.Cassandra – A Decentralized Structured Storage System<br />这篇论文中,两位作者详细介绍了Cassandra的系统架构,它的设计初衷,设计应用时使用到的相关技术,以及设计/实现/使用过程中得到的经验教训.<br />Cassandra – 一个分散的非结构化存储系统<br />By Avinash Lakshman Fa转载 2010-11-04 10:57:00 · 2865 阅读 · 0 评论 -
基于CRF的中文分词
CRF简介Conditional Random Field:条件随机场,一种机器学习技术(模型)CRF由John Lafferty最早用于NLP技术领域,其在NLP技术领域中主要用于文本标注,并有多种应用场景,例如:分词(标注字的词位信息,由字构词)词性标注(标注分词的词性,例如:名词,动词,助词)命名实体识别(识别人名,地名,机构名,商品名等具有一定内在规律的实体名词)本文主要描述如何使用CRF技术来进行中文分词。CRF VS 词典统计分词基于词典的分词过度依赖词典和规则库,因此对于歧义词和未登录词的识别转载 2010-11-16 14:27:00 · 3262 阅读 · 0 评论 -
MySQL学习之路(六):MySQL数据库的基础架构【转】
慢慢体会到这么一个道理,基础决定你的深度,深度将会反应你未来的方向。学习技术我们应该按照这么一个思路,开始我们尽可能多的对它的原理做一定程度的了解,这样我们在实际应用中会有更多的体会,同时我们操作的目的性也会更加明确,查找问题的时候而不是单凭经验去做,更多的时候我们会根据对它结构原理的理解程度去判断分析从而得到最终的解决。不要在学一个新东西的时候,还是很“本能”地去试图,通过安装它来开始我们的第一步;磨刀不误砍柴功。言归正传,开始我们MySQL体验。噗嗤,这么大一个图暴露在你的面前,很兴奋吧!这就是MySQ转载 2010-10-26 10:02:00 · 1338 阅读 · 0 评论 -
MySQL学习之路(五):mysql环境搭建的相关问题
总体而言,mysql环境搭建还是相对比较容易的,但中间还是或多或少,出现了一些问题,简单记录一下。 1. 当启动客户端去连接数据库服务器时,报如下错误: 原因:数据库服务器没有启动,程序连接不到服务器上。 2. 在后台启动数据库服务器时,报如下错误: 解决方法:将/usr/local/mysql/var/my.cnf文件转移到/usr/local/mysql/my.cnf中原创 2010-10-25 14:56:00 · 1063 阅读 · 0 评论 -
MySQL学习之路(三):MySQL的索引机制
首先,我们要先了解索引的基本原理,具体参考 :http://blog.csdn.net/lengyuhong/archive/2010/09/02/5859591.aspx 简朝阳的《mysql性能调优与架构设计》一书中,索引的优化主要参见 “8.4 合理设计并利用索引”一节,看好之后,受益匪浅的。 在此基础上,我还从简朝阳的博客上载录了几篇介绍mysql中不同存储引擎不同的索引结构: 1.Innodb Innodb 作为 MySQL 中使用最原创 2010-10-25 11:12:00 · 2065 阅读 · 0 评论 -
Tair: 淘宝的key/value解决方案
Tair在淘宝有着大规模的应用,在你登录淘宝、查看商品详情页面、在淘江湖和好友“捣浆糊”等等时候,后面都在直接或间接的和Tair交互。转载 2010-08-29 12:08:00 · 4473 阅读 · 0 评论 -
数据库索引
简单介绍数据库的索引知识转载 2010-09-02 18:34:00 · 1390 阅读 · 0 评论 -
可扩展的分布式数据库架构
可扩展的分布式数据库架构转载 2010-08-31 20:26:00 · 1261 阅读 · 0 评论 -
Siege进行压力测试
Siege进行压力测试转载 2010-09-06 11:15:00 · 7312 阅读 · 0 评论 -
NoSQL漫谈 (阿里DBA所写)
<br /><br />什么是NoSQL?wiki上的定义是“NoSQL is a movement promoting a loosely defined class of non-relational data stores that break with a long history of relational databases”。其实并不存在一个叫NoSQL的产品,它是一类non-relational data stores的集合。NoSQL的重点是non-relational,而传统的数据库是r转载 2010-09-20 17:38:00 · 3063 阅读 · 0 评论 -
NoSQL数据库探讨之一 ——为什么要用非关系数据库?
<br />随着互联网web2.0网站的兴起,非关系型的数据库现在成了一个极其热门的新领域,非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,例如: <br /><br />1、High performance - 对数据库高并发读写的需求 <br />web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息,所以基本上无法使用动态页面静态化技术,因此数据库并发负载非常高转载 2010-09-28 13:53:00 · 1015 阅读 · 0 评论 -
细数运行在微软平台上的NoSQL数据库
<br /><br />Max Indelicato曾发表过一篇文章《NoSQL on the Microsoft Platform》,文中列举了运行在微软平台上的NoSQL数据库,并分别对这些数据进行了介绍,现将对此文的翻译转载于此,供大家学习:<br />从可查询的分布式解决方案,如MongoDB,到简单的分布式Key/Value存储解决方案,如Cassandra。此外,还有Riak,Tokyo Cabinet,Voldemort,CouchDB和Redis。但目前仅有少量的NoSQL项目支持在Wind转载 2010-10-12 10:47:00 · 793 阅读 · 0 评论 -
MySQL VS NoSQL 关公战秦琼?
<br /><br />前段时间国内外对NoSQL的讨论非常热烈,Digg和Reddit使用Cassandra,Facebook经过一些变化后依然对 NoSQL进行测评,NoSQL取代SQL的呼声高涨,因为互联网行业使用MySQL的概率非常高,加之Oracle收购的消息,一时间似乎MySQL将成为NoSQL数据库的牺牲品,一场轰轰烈烈的技术革命就要到来了。<br />几个月过去了,NoSQL并没有像大家所想象的那样席卷全球,很多人设想中的MySQL与NoSQL的战争也仅存于设想中,国内不要说使用了,测评No转载 2010-10-12 10:48:00 · 926 阅读 · 0 评论 -
[IBM dW] NoSQL数据建模
<br /><br />关系数据库已经统治数据存储30 多年了,但是无模式(或NoSQL)数据库的逐渐流行表明变化正在发生。尽管 RDBMS 为在传统的客户端服务器架构中存储数据提供了一个坚实的基础,但它不能轻松地(或便宜地)扩展到多个节点。在高度可伸缩的 Web 应用程序(比如 Facebook 和 Twitter)的时代,这是一个非常不幸的弱点。<br />尽管关系数据库的早期替代方案(还记得面向对象的数据库吗?)不能解决真正紧急的问题,NoSQL 数据库(比如 Google 的 Bigtable 和转载 2010-10-12 10:45:00 · 766 阅读 · 0 评论 -
MySQL数据库研究
<br /><br />MySQL:<br />MySQL学习之路(一):学习资料和学习环境<br />MySQL学习之路(二):mysql数据库的安装<br />MySQL学习之路(三):MySQL的索引机制<br />理解MySQL的索引与优化<br />MySQL学习之路(五):mysql环境搭建的相关问题<br />MySQL学习之路(六):MySQL数据库的基础架构【转】<br />MySQL学习之路(七):MySQL中子系统之间的联系<br />MySQL学习之路(八):MySQL中的数据结构和原创 2010-12-05 19:59:00 · 2523 阅读 · 0 评论 -
MySQL学习之路(二):mysql数据库的安装
具体的安装方法,参见《mysql核心内幕》第三章的编译与安装mysql一节用./BULLD/compile-pentium-debug --prefix=/usr/local/mysql没有效果,我进而采用了它讲的另一种安装方法1 ./configure --prefix=/usr/localmysql -with -debug运行结果:2. make但这时程序报错原创 2010-10-22 10:13:00 · 1601 阅读 · 0 评论 -
MySQL学习之路(一):学习资料和学习环境
mysql的相关特性,大家都清楚,我就不再唠叨学习资料: MySQL性能调优与架构设计》作者介绍:简朝阳,毕业于南京工业大学管理科学与工程学院,管理学学士。擅长MySQL & Oracle数据库应用系统的性能调优与高可用可扩展架构设计,有一定的对Java 和C语言基础。目前就职于阿里巴巴(中国)网络技术有限公司,曾参与过公司多个核心数据库应用系统的设计与实施,目前主要负责 MySQL 数据库应用系统的架构设计与相关维护工作。活跃于 iMySQLer 数据库论坛博客:http://isky000.原创 2010-10-21 16:20:00 · 1846 阅读 · 0 评论 -
Mysql使用基础知识,阿里牛人简朝阳
作者:简朝阳博客:http://isky000.com/最近看在看他写的一本书,同时也在看他写的博客,牛人就是牛人呀!Mysql使用基础知识有很多朋友虽然安装好了mysql但却不知如何使用它。在这篇文章中我们就从连接MYSQL、修改密码、增加用户等方面来学习一些MYSQL的常用命令。一、连接MYSQL。格式: mysql -h主机地址 -u用户名 -p用户密码1、例1:连接到本机上的MYSQL。首先在打开DOS窗口,然后进入目录 mysqlbin,再键入命令mysql -uroot -p,回车后提示你输密码转载 2010-10-22 15:30:00 · 6647 阅读 · 1 评论 -
数据库
<br />数据库基础知识:<br /> <br />数据库索引<br />数据库ACID原理<br />SQL四种语言:DDL,DML,DCL,TCL<br />CAP理论与分布式数据库<br /> <br /> <br /> <br />MySQL学习<br />http://blog.csdn.net/lengyuhong/archive/2010/12/05/6056632.aspx<br /> <br /> <br /> <br />原创 2011-03-29 21:22:00 · 3605 阅读 · 0 评论