- 博客(7)
- 资源 (67)
- 收藏
- 关注
转载 Redis与Memcached的区别
传统MySQL+ Memcached架构遇到的问题 实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题: 1.MySQL需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量开发时间。 2.Mem
2014-11-10 17:11:32 859
转载 InputFormat的数据划分、Split调度、数据读取三个问题的浅析
在执行一个Job的时候,Hadoop会将输入数据划分成N个Split,然后启动相应的N个Map程序来分别处理它们。数据如何划分?Split如何调度(如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上)?划分后的数据又如何读取?这就是本文所要讨论的问题。先从一张经典的MapReduce工作流程图出发:1、运行mapred程序;2、本次运行将生
2014-11-05 21:28:44 866
转载 Hadoop集群安全性:Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode
正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。1. Secondary NameNode原理:Secondary NN会定期的从NN中读取editlog,与自己存储的Image进行合并形成新的metadata image优点:Hadoop较早的版本都自带,
2014-11-05 17:40:31 2163
转载 hadoop中槽-slot是线程还是进程讨论
hadoop一个节点默认起两个map slot,这两个slot是多线程吗?hadoop-0.21.0 源码中是这样的:首先看看 org.apache.hadoop.mapred.TaskTracker 类:=====================================================================================
2014-11-05 17:39:17 989
转载 Hadoop集群三种作业调度算法介绍
Hadoop集群中有三种作业调度算法,分别为FIFO,公平调度算法和计算能力调度算法先来先服务(FIFO)Hadoop中默认的调度器FIFO,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。FIFO比较简单,hadoop中只有一个作业队列,被提交的作业按照先后顺序在作业队列中排队,新来的作业插入到队尾。一个作业运行完后,总是从队首取下一个作业运行。这种调度策略的优点是简
2014-11-05 16:56:51 1232
转载 HDFS体系结构简介及优缺点
1 HDFS体系结构简介及优缺点1.1体系结构简介 HDFS是一个主/从(Mater/Slave)体系结构,从最终用户的角度来看,它就像传统的文件系统一样,可以通过目录路径对文件执行CRUD(Create、Read、Update和Delete)操作。但由于分布式存储的性质,HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据,DataNode
2014-11-05 14:34:59 1115
转载 hadoop机架感知--加强集群稳固性,该如何配置hadoop机架感知
最新热门最新回复最新发表面试题项目区hadoop资源openstack资源新手指导环境搭建休闲阅读目hadoop疑问openstack疑问移动云百度云微软云 storm区CDH区hbase区pig区hive区sqoop区
2014-11-05 11:08:01 945
传智播客在线支付易宝支付源码 和 易宝支付产品(HTML版)通用接口文档3.0 3.0.pdf
2012-10-09
jasperReports+iReport3.0.0生成打印文件.doc
2012-10-02
传智播客_JSP技术_方立勋.zip
2012-09-22
Hadoop完全分布式环境搭建步骤
2014-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人