云存储
文章平均质量分 82
yakcy
学无止境!
展开
-
10个Hadoop的应用场景
摘要: 本文介绍了10个Hadoop的应用场景,其实Hadoop的应用场景远不止广告数据分析和搜索引擎,深入挖掘的话你会发现Hadoop能够在许多地方发挥巨大的作用。 谁在用Hadoop这是个问题。在大数据背景下,Apache Hadoop已经逐渐成为一种标签性,业界对于这一开源分布式技术的了解也在不断加深。但谁才是Hadoop的最大用户呢?首先想到的当然是它的“发源地”,像Goo原创 2013-09-22 14:38:32 · 3473 阅读 · 1 评论 -
大数据的存储和管理
任何机器都会有物理上的限制:内存容量、硬盘容量、处理器速度等,我们需要在这些硬件的限制和性能之间做出取舍,比如内存的读取速度比硬盘快得多,因此内存数据库比硬盘数据库性能好,但是内存为2GB的机器不可能将大小为100GB的数据全部放入内存中,也许内存大小为128GB的机器能够做到,但是数据增加到200GB时就无能为力了。数据不断增长造成单机系统性能不断下降,即使不断提升硬件配置也难以原创 2014-03-21 18:06:21 · 3106 阅读 · 0 评论 -
淘宝云梯的多NameNode和跨机房之路
2013年4月,阿里云梯集群所在的数据中心(IDC机房)的机位已满,无法继续扩充集群。根据当时阿里集团数据量的增长趋势,在可以预见的很短时间内,集群规模将因为机房机位不足而无法继续扩充。由于当时云梯的Hadoop版本还不支持单集群跨机房分布的功能,所以阿里集团的大数据业务 将因为集群规模的限制而停止发展。云梯的跨机房项目就在这种背景下开始的。目标非常明确:构建一个支持跨机房的Hadoop集群。原创 2014-02-08 14:24:43 · 2057 阅读 · 0 评论 -
hadoop安全机制Kerberos详细介绍
Kerberos1、Kerberos是一个基于共享密钥对称加密的安全网络认证系统,它避免了将密码(包括密码hash)在网上传输,而是将密码作为对称加密的密钥,通过能不能解密来验证用户的身份;2、Kerberos在验证完用户身份后会发给用户Ticket,这个Ticket包含了用户的授权,用户拿着这个Ticket去享受各种服务,所以在Kerberos管理的范围内用户只需要登录一次就可以原创 2014-01-26 11:23:25 · 5125 阅读 · 0 评论 -
Hadoop 安全机制认证---Kerberos
1. 背景在Hadoop1.0.0或者CDH3 版本之前, hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的,值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上,恶意的提交作业,修改JobTracker状态,篡改HDFS上的数据,伪装成NameNode 或者TaskTracker接受任务等。 尽原创 2014-01-10 15:10:11 · 1616 阅读 · 0 评论 -
Hadoop2.0.0-CDH4.3.0的部署包的文件结构
我是以hadoop-2.0.0-cdh4.3.0为例,相比以前的一些版本目录结构下发生很大变化:1、现在的结构比以前的要稍微复杂一些了,如下:[bigdata@Master1 hadoop-2.0.0-cdh4.3.0]$ ls -d bin/ cloudera/ etc/ examples/ include/ lib/ libexec/ sbin/ share原创 2013-12-02 10:34:05 · 1592 阅读 · 1 评论 -
hadoop深入了解
深入了解hadoop http://www.blogjava.net/killme2008/archive/2008/06/05/206043.html 一、前提和设计目标 1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同,原创 2013-10-16 14:11:00 · 903 阅读 · 0 评论 -
hadoop集群管理之SecondaryNameNode与NameNode
光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其 实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间。对于hadoop进程中 ,要配置好并正确的使用 sn原创 2013-10-18 15:25:44 · 1495 阅读 · 0 评论 -
hadoop 中添加、删除节点介绍
Hadoop添加删除节点添加节点1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上,启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh star原创 2013-10-14 16:13:16 · 834 阅读 · 0 评论 -
Hbase常用命令
hbase shell命令的使用再使用hbase 命令之前先检查一下hbase是否运行正常hadoop@Master:/usr/hbase/bin$ jps2640 HMaster27170 NameNode27533 SecondaryNameNode3038 Jps27795 TaskTracker27351 DataNode2574 HQuorumPeer原创 2014-05-12 15:28:11 · 1267 阅读 · 0 评论