![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据存储
ly4983
这个作者很懒,什么都没留下…
展开
-
内存数据库SQLite和H2比较
内存数据库,顾名思义就是将数据放在内存中直接操作的数据库。相对于磁盘,内存的数据读写速度要高出几个数量级,将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。AD: 2013云计算架构师峰会课程资料下载 本文中主要为大家介绍两种内存数据库类型,即SQLite和H2内存数据库,将SQLite和H2内存数据库二者进行各方面性能的比较,希望对大家那转载 2014-01-15 10:12:09 · 23329 阅读 · 0 评论 -
Hadoop 新 MapReduce 框架 Yarn 详解
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/参考原mapreduce 架构 对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。使用和学习过老 Had转载 2014-01-22 10:18:17 · 589 阅读 · 0 评论 -
Hadoop与之对应的Hbase版本问题 .
The below table shows some information about what versions of Hadoop are supported by various HBase versions. Based on the version of HBase, you should select the most appropriate version of Hadoop. W转载 2014-01-26 09:40:15 · 554 阅读 · 0 评论 -
java 环境配置
JAVA_HOME=/home/webserver/jdk1.6.0_37PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/libexport JAVA_HOME PATH CLASSPATH闫新宇 16:00:08 (redhat系统li原创 2014-01-27 09:02:21 · 493 阅读 · 0 评论 -
hadoop,zookeeper.hbase安装
Ssh设置Hadoop001 172.16.100.31 NamenodeHadoop002 172.16.100.32 Datanode01Hadoop003 172.16.100.33 Datanode02Hadoop004 172.16.100.34 Datanode03 四台设备操作确定安装sshd Service sshd st原创 2014-01-28 22:20:39 · 702 阅读 · 0 评论 -
揭秘淘宝286亿海量图片存储与处理架构
2010年09月01日00:00 it168网站原创 作者:李隽 编辑:李隽我要评论(4)标签: 磁盘阵列 , 存储集群 , NAS集群 , 分布式文件系统 查看全文 【IT168 专稿】8月27日下午,在IT168系统架构师大会存储与系统架构分论坛上,淘宝网技术委员会主席,淘宝网核心工程师章文嵩向我们详细介绍了淘宝网图片处理与存储系统的架构。章文嵩博转载 2014-01-19 15:30:32 · 610 阅读 · 0 评论 -
hadoop,hbase,hive安装全记录 .
操作系统:CentOS 5.5Hadoop:hadoop-0.20.203.0jdk1.7.0_01namenode主机名:master,namenode的IP:10.10.102.15datanode主机名:slave1,datanode的IP:10.10.106.8datanode主机名:slave2,datanode的IP:10.10.106.9一、hadoop 安装转载 2014-01-21 09:12:43 · 558 阅读 · 0 评论 -
使用FreeNAS构建ESXI网络共享存储iSCSI
2013年09月03日 ⁄ Linux ⁄ 评论数 1 ⁄ 被围观 4,219次+说明:ESXI版本:ESXI 5.1FreeNAS版本:FreeNAS-9.1.1-RELEASE-x64FreeNAS服务器IP:192.168.115.142FreeNAS Web管理入口:http://192.168.115.142默认管理转载 2014-09-03 16:07:03 · 8210 阅读 · 0 评论 -
HBase 系统架构
HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的,分布式的,多版本的,面向列的存储模型。它存储的是松散型数据。HBase特性:1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群HBase是Google BigTable的开源转载 2014-01-21 11:02:51 · 505 阅读 · 0 评论 -
hadoop学习笔记之-NFS配置
分类: hadoop linux系统 2013-03-07 13:48 406人阅读 评论(0)收藏 举报一、实验环境:系统版本:Red Hat Enterprise Linux Server release 5.6主机名别名IP系统版本共享目录/挂载点hotel01转载 2014-01-21 09:58:57 · 999 阅读 · 0 评论 -
hadoop学习笔记之-使用bind配置DNS实验 .
使用bind配置DNS实验 一、实验环境:Red Hat Enterprise Linux Server release 5.6主机名IP系统版本Host rolehotel01192.168.2.111OEL5.6serverhotel021转载 2014-01-21 09:55:22 · 661 阅读 · 0 评论 -
高性能、高流量Java Web站点打造的22条建议
摘要:流量的激增让众多机构“疲于奔命”,高扩展性、面向服务的架构已成为当务之急。这里为大家分享打造高流量网站的22个建议,其中包括数据库、缓存、架构等多个方面。从2005年-2013年,Ashwanth Fernando曾供职于Best Buy、Pearson VUE、Walgreens、Walmart eCommerce等多家知名公司,现在Apple从事高级工程师、平台工程师一职,拥有丰转载 2013-12-30 16:55:48 · 644 阅读 · 0 评论 -
阿里巴巴分布式数据库解决方案——Cobar中间件配置详解 (转)
阿里巴巴分布式数据库解决方案——Cobar中间件配置详解(转) 据说该产品在阿里的B2B上已经运行3年之久,通过Cobar中间件,可以像传统数据库一样为分布式数据库集群提供海量数据服务,据称Cobar集群每天处理50亿次的SQL请求。该中间件开源与2012年6月19日,可惜我现在才玩上。。。出于每次玩完一个东西之后都喜欢写点总结之类的,所以该文是我的一些心得体会以及碰到的问题的解转载 2013-12-30 15:41:43 · 2093 阅读 · 0 评论 -
hadoop hbase hive 集群安装
一:卸载redhat操作系统默认jdk 1:查找安装默认安装jdk rpm -qa | grep java 2:删除jdk rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.21.b17.el6.x86_64 二:安装oracle jdk 1:使用root账号安装 2:创建目录:/usr/java 3:下载jd转载 2014-01-21 09:42:53 · 1193 阅读 · 0 评论 -
如何理解Hadoop-Hbase原理与应用小结
1 我们常说HBase是“数据即日志”的数据库,它是怎样修改和删除数据的?和Oracle这类传统的RDBMS有什么区别? 答:首先Hbase中的一个“元素”是由行键、列族名、限定符、时间戳唯一标识的并且行键作为数据行在表里的唯一标识,我们只有通过行键来访问列族别无他法。修改数据:我们先找到要修改的行键把新的数据记录追加到对应的列族中并打上一个新时间戳代表最新版本。转载 2014-01-21 13:29:43 · 576 阅读 · 0 评论 -
分布式服务框架 Zookeeper -- 管理分布式环境中的数据
安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础,最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取,Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。单机模式单机安装非常简单,只要获取到 Zookeeper 的压缩包并解压到某个目录如:/转载 2014-01-21 09:27:07 · 616 阅读 · 0 评论 -
hadoop学习笔记之-生产环境Hadoop大集群配置安装
生产环境Hadoop大集群完全分布式模式安装2013-3-7 安装环境操作平台:vmware2操作系统:Oracle Enterprise Linux 5.6软件版本:hadoop-0.22.0,jdk-6u18集群架构:3+ node,master node(hotel01),slave node(hotel02,hotel03…)主机名转载 2014-01-21 10:05:57 · 768 阅读 · 0 评论 -
HBase使用初体验
一直以来对HBase的了解仅仅限于理论上的,最近想进行深入的学习下,当然对一个东东的学习最为直接的就是直接进行体验一下。为此,我在一个VM的Hadoop集群上安装了一个Hbase集群,期间也遇到了好几种不同的错误,现记录如下,以供后续参考。Hbase集群配置信息如下:Hadoop:hadoop-0.20.2,1 个Master节点 1 个Slave节点Zookeeper:zooke转载 2014-01-21 10:38:19 · 560 阅读 · 0 评论 -
NoSQL数据库笔谈
NoSQL数据库笔谈 序思想篇CAP最终一致性变体BASE其他I/O的五分钟法则不要删除数据RAM是硬盘,硬盘是磁带Amdahl定律和Gustafson定律万兆以太网手段篇一致性哈希亚马逊的现状算法的选择Quorum NRWVector clockVirtual nodegossipGossip (State Tran转载 2014-01-21 14:17:34 · 1108 阅读 · 0 评论 -
12306上的分布式内存数据技术GemFire
12306分布式x86服务器虚拟化技术PaaS摘要:作为世界规模最大的实时交易系统之一,12306备受关注,尤其在特殊节日里。尽管昨天消息称其又宕掉了,但恢复时间明显缩短不少,且手机APP未受影响。多少有分布式内存数据技术GemFire的一些功劳。编者按:打造高并发、大流量的网站一直是我们的关注的重要技术点,比如颇受欢迎的《高性能、高流量Java Web站点打造的22条建议转载 2013-12-30 16:43:37 · 1459 阅读 · 0 评论