hadoop
文章平均质量分 77
sdfjlkjsdfsaldfsdf
safasfds
展开
-
Ubuntu上安装HADOOP单机伪分布式集群
1、新建用户和组 addgroup hadoop adduser --ingroup hadoop hadoop 注销root以hadoop用户登录 2、配置SSH ssh-keygen -t rsa(密码为空,路径默认) cp .ssh/id_rsa.pub .ssh/authorized_keys 3、准备HADOOP运行环境 wget http://archi...2013-04-01 00:35:35 · 140 阅读 · 0 评论 -
Windows上安装HADOOP单机伪分布式集群
1、准备HADOOP运行环境 下载解压并拷贝到Cygwin的用户主目录 http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz 1.x版本有BUG,参考: https://issues.apache.org/jira/browse/HADOOP-7682https://issues.ap...原创 2013-04-02 00:24:42 · 144 阅读 · 0 评论 -
Ubuntu上安装HADOOP多机完全分布式集群
1、三台机器 host2(NameNode、SecondaryNameNode、JobTracker、DataNode、TaskTracker) host6(DataNode、TaskTracker) host8(DataNode、TaskTracker) vi /etc/hostname(分别给每一台主机指定主机名) vi /etc/hosts(分别给每一台主机指定主机名到IP...2013-04-02 00:45:53 · 101 阅读 · 0 评论 -
Hadoop发行版的比较与选择
Hadoop的发行版除了社区的Apache Hadoop外,Cloudera,Hortonworks,MapR,EMC,IBM,Intel,华为等都提供了自己的商业版本。商业版主要是提供了专业的技术支持,这对一些大型企业尤其重要。每个发行版都有自己的一些特点,本文就各个发行版做简单介绍。 2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司,为合作伙伴提供 H...2013-11-07 22:17:37 · 162 阅读 · 0 评论 -
The Design of HDFS
HDFS is a filesystem designed for storing very large files with streaming data access patterns, running on clusters of commodity hardware. Let’s examine this statement in more detail: Very large fi...2014-01-12 01:28:29 · 126 阅读 · 0 评论 -
Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同?
1. HDFS使用集中式单一节点架构(NameNode)来维护文件系统元数据,而在Swift中,元数据分布在整个集群中并拥有多个副本。注意:集中式元数据存储使HDFS存在性能、单点故障和扩展性问题,因此规模越大就性能越低,就越容易不可用,就越难扩展甚至不能扩展,所幸的是HDFS2使用NameNode HA和HDFS Federation解决了这三个问题。 2. Swift在设计时考虑到了多租...2013-11-04 04:48:31 · 229 阅读 · 0 评论