Hadoop
b7410852963
这个作者很懒,什么都没留下…
展开
-
炼金术笔记====1 HDFS体系结构简介及优缺点
1.1体系结构简介 HDFS是一个主/从(Mater/Slave)体系结构,从最终用户的角度来看,它就像传统的文件系统一样,可以通过目录路径对文件执行CRUD(Create、Read、Update和Delete)操作。但由于分布式存储的性质,HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据,DataNode存储实际的数据。客户端通过同Name原创 2014-12-03 11:06:48 · 560 阅读 · 0 评论 -
传智---Haoop--(2)--能做什么
大数据量存储:分布式存储日志处理: Hadoop擅长这个海量计算: 并行计算ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统机器学习: 比如Apache Mahout项目搜索引擎:hadoop + lucene实现原创 2014-11-18 11:50:38 · 563 阅读 · 0 评论 -
传智---Haoop--(1)--什么是云计算
1.所谓的云计算,指的就是把你的软件和服务统一部署在数据中心,统一管理,从而实现高伸缩性。2.转载 2014-11-18 11:35:25 · 420 阅读 · 0 评论 -
传智---Haoop--(4)---安装(2)-HDFS基础
1.查询 hadoop fs -ls /2.原创 2014-11-25 14:57:36 · 435 阅读 · 0 评论 -
传智---Haoop--(5)--NameNode
1.NameNode是HDFS的守护程序,负责记录文件是如何分割成数据块的,以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。注意原创 2014-11-25 16:27:40 · 395 阅读 · 0 评论 -
传智---Haoop--(7)--RPC
PRC 不同java进程间的对象方法调用(server +client),是 Hadoop框架运行的基础 1.Server ,提供对象,供客户端调用,被调用的对象的方法执行发生在服务端 2.Client ,、、、、、、、、、、、、、、代码package com.rpc;import org.apache.hadoop.ipc原创 2014-11-26 13:52:52 · 529 阅读 · 0 评论 -
传智---Haoop--(6)--hdfs文件操作
package com.hdfs;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache原创 2014-11-26 13:39:54 · 930 阅读 · 0 评论 -
传智---Haoop--(3)--安装1
1.设置静态IP2.设置本机名称 hostname hdoop原创 2014-11-24 14:49:30 · 613 阅读 · 0 评论