MySQL的优化技术总结

如果Cache很大,把数据放入内存中的话,那么瓶颈可能是CPU瓶颈或者CPU和内存不匹配的瓶颈; seek定位的速度,read/write即读写速度; 硬件的提升是最有效的方式; innodb_buffer_pool_size:配置innodb的数据缓冲池的大小来提高整体效率,可用内存即除去系...

2015-03-30 23:18:21

阅读数 538

评论数 0

关系代数对于数据库的查询优化的指导意义

利用上面的规则,我们就可以求出不同的连接次序,从而求出最优的一个连接次序。 (1)多次投影操作转化为一次投影操作; 在一个条件上的多次操作可以转化为一个操作;

2015-03-25 22:18:24

阅读数 1967

评论数 0

TPC-H

图:TPC-H官网    QphH:表示每小时查询的个数;                                     图:100G和300G的数据测试结果         注意SF*200000中的SF是一个动态的值   S_N...

2015-03-18 23:48:33

阅读数 2324

评论数 0

搭建Storm集群与Storm的并发概念简介

图:storm集群搭建

2015-03-15 13:31:01

阅读数 611

评论数 0

storm入门

hadoop,  批处理,通过磁盘IO处理,吞吐量大; strom,实时,通过内存处理,吞吐量小; 高频:高频率; 生产者和消费者之间使用Message Queue,有Kafka, Active MessageQ和Rabbit Mq         ...

2015-03-15 00:23:02

阅读数 708

评论数 0

flume-ng应用场景分析

图:FLUME的配置,把控制台的输出命令写出到avro这种格式; This sets up a source that runs "tail" and sinksthat data via Avro RPC to 10.1.1.100 on port 10000. The...

2015-03-14 12:24:27

阅读数 2569

评论数 0

hadoop项目架构

1:日志采集; 2:传输日志; 3:将日志写入HDFS; 4:从HDFS中将日志装载入数据仓库中; 5:对装载的数据进行分析; 6:调用Hadoop集群的M/R执行并行计算,并返回结果; 7:将结果中有价值的数据写入HBASE数据库; 8:报表系统&应用程序端通过HBASE查...

2015-03-14 11:51:05

阅读数 1367

评论数 0

1.flume简介

Event:每条数据的统称; Client:客户端, Agent: 代理,即谁去采集数据,部署的工具,包括很多组件,如Sources, Channels和Sinks等; Source:用来接收数据,数据来源可以定制; Sink:用来把数据写出; Channel:把Source和Sink连...

2015-03-12 23:44:51

阅读数 478

评论数 0

Mysql索引优化

(1)InnoDB存储引擎的索引为主键索引; (2)从多个索引选择最优的执行计划时需要花费时间; (3)如果存在大量的更新,插入或者删除,那么索引需要实时的维护; (4)在数据库内核实现索引是非常复杂的,如何最大程度的满足并发,以及如何 需要慎重使用索引,而不是盲目的使用索引。 (1)单表...

2015-03-11 23:39:07

阅读数 518

评论数 0

Pig自定义功能

user.data:第1列是用户id,第2列是用户名; role.data:第1列是角色id,第2列是角色名,第三列是用户id; 比如想在PIG中过滤id为3的记录: 使用自定义函数的方式来解决:                       ...

2015-03-10 23:16:47

阅读数 487

评论数 0

Pig简单入门

Pig专门用来处理来自于HDFS的数据,它提供了一套流式的数据处理语言,转化为Map-Reduce来处理HDFS的数据; Pig包括用来描述数据分析程序的高级程序设计语言,以及对这些程序进行评估的基础结构。Pig突出的特点就是它的结构经得起 大量并行任务的检验,这使得它能够处理大规模数据集。 ...

2015-03-08 23:22:34

阅读数 1235

评论数 0

Mysql物理查询技术

逻辑查询优化主要基于代数理论与启发式规则。      (1):是全盘扫描最优,还是基于索引的扫描最优;对于单表扫描,主要还是看磁盘IO;    (2):不同表的连接方式,有不同的消耗;块嵌套循环连接算法,基于Hash的连接,排序归并连接;    (3):考虑哪一种连接的花费是最少的;     ...

2015-03-05 23:28:14

阅读数 1096

评论数 0

Hbase与MapReduce

注意:HBase的行键的设计必须和业务有关,在这里我们用手机号加时间戳的组合来定义主键。   注意继承的类变为了TableReducer,该类属于HBase范畴,研究TableMapper的使用方法。              SPLITS=>['a',...

2015-03-05 22:49:24

阅读数 565

评论数 0

HBase的java操作

package com.ccse.hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration;...

2015-03-04 23:35:00

阅读数 438

评论数 0

NoSQL数据库之Redis数据库管理二(string类型和hash类型)

如果有一个键没有设置成功,那么所有的键都不会设置成功!

2015-03-03 23:30:10

阅读数 619

评论数 0

NoSQL数据库之Redis数据库管理一(Redis的介绍与安装部署)

在NoSql中,类似于insert,select,delete和update的sql语句是不起作用的; ACID属性表示事务特性,NoSql对此的支持比较弱; NoSql中没有一个固定的表结构;

2015-03-03 22:48:47

阅读数 629

评论数 0

提示
确定要删除当前文章?
取消 删除