学习
rony_zhang
持续关注电商
展开
-
hadoop 学习历程
公司有可能要用hadoop了,我极其兴奋,开始自己先研究了以下内容均是来自互联网和自己的实践。主要是记录自己的学习过程。 首先是要知道什么是hadoop,这个东西有什么用。 hadoop 是 Doug cutting 创建的 ,起源于 Apache Nutch,(一个网络搜索引擎),它是lucene(文本搜索系统库)的一部分。 2003年google 发布了一遍论文:google分布式...原创 2013-02-24 15:38:26 · 71 阅读 · 0 评论 -
hadoop 学习历程二
hadoop生态圈: Common 一组分布式文件系统和通用i/o的组件接口(序列化,java rpc 和持久化数据结构) Avro 一种支持高效,跨语言的RPC以及永久存储数据的序列化系统 MapReduce 分布式数据处理模型和执行环境,运行于大型商用机集群 HDFS 分布式文件系统 运行于大型商用机集群 Pig 一种数据流语言和运行环境,用以检索非常大的数据集。比如运行在MapR...原创 2013-02-24 15:56:29 · 101 阅读 · 0 评论 -
MySQL 编译安装参数
以下为自己收集和整理的资料,如有侵权,请及时联系 ● “—prefix”:设定安装路径,默认为“/usr/local”; ● “—datadir”:设定MySQL 数据文件存放路径; ● “—with-charset”:设定系统的默认字符集; ● “—with-collation”:系统默认的校验规则; ● “—with-extra-charsets”:出了默认字符集之外需要编译...原创 2016-04-24 18:29:01 · 76 阅读 · 0 评论 -
mysql Query Cache 优化
MySQL 的Query Cache 实现原理实际上并不是特别的复杂,简单的来说就是将客户端请求的Query语句(当然仅限于SELECT 类型的Query)通过一定的hash 算法进行一个计算而得到一个hash 值,存放在一个hash 桶中。同时将该Query 的结果集(Result Set)也存放在一个内存Cache 中的。存放Query hash 值的链表中的每一个hash 值...原创 2016-04-24 18:30:58 · 75 阅读 · 0 评论 -
适度使用Query Cache
适度使用Query Cache 首先,我们需要根据Query Cache 失效机制来判断哪些表适合使用Query 哪些表不适合。由于QueryCache 的失效主要是因为Query 所依赖的Table 的数据发生了变化,造成Query 的Result Set 可能已经有所改变而造成相关的Query Cache 全部失效,那么我们就应该避免在查询变化频繁的Table 的Query 上使用,而应该...原创 2016-04-24 18:36:18 · 99 阅读 · 0 评论