大数据
lihe55966
这个作者很懒,什么都没留下…
展开
-
redis方法
附加一个工作中常用到的Jedis工具类,如下:package com.zhongsou.vertportal.util; import java.util.HashMap; import java.util.Map; import org.slf4j.Logger; import org.slf4j.LoggerFactory; imp转载 2016-06-03 22:45:34 · 801 阅读 · 0 评论 -
hadoop集群增加/删除机器
增加机器不重启操作如下: 首先,把新节点的 IP或主机名 加入主节点(master)的 conf/slaves 文件。 然后登录新的从节点,执行以下命令: $ cd path/to/hadoop $ bin/hadoop-daemon.sh start datanode $ bin/hadoop-daemon.sh start tasktracker 然后就可以在naman转载 2016-05-19 16:12:10 · 533 阅读 · 0 评论 -
Hive vs. HBase
对于刚接触大数据的用户来说,要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析,以作抛砖引玉之用。 Hive是什么?Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,注意这里不是数据库。Hive可以看作是用户编程接口,它本身不存储和计算数据;它依赖于HDFS(Hadoop分布式文件系统)和Ma翻译 2016-05-11 16:48:11 · 365 阅读 · 0 评论 -
Cassandra HBase和MongoDb性能比较
这是一篇基于亚马逊云平台上对三个主流的NoSQL数据库性能比较,在读写两个操作不同的组合情况下性能表现不同。横坐标是吞吐量,纵坐标是延迟,这是一对矛盾,吞吐量越大,延迟越低,代表越好。1. 纯粹插入,Cassandra领先,见下图:2.WorkloadA: 读修改操作各占一半情况下的修改性能:MongoDB明显延迟增加,落败:3.WorkloadB:读修改操转载 2016-05-11 16:11:24 · 4357 阅读 · 1 评论 -
Hadoop+HBase+ZooKeeper三者关系与安装配置
本帖最后由 qqjue 于 2014-2-18 23:16 编辑这里有几个主要关系:1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了,但是其实HBase中HLog和StoreFile中的文件在进行flush to disk操作时,这两个文件存储到了HDFS的DataNode中,HDFS才是永久存储。2.ZooKeeper跟Hadoop Cor转载 2017-01-06 16:46:23 · 750 阅读 · 0 评论