Hadoop
java的一天
http://bbs.csdn.net/user/resource_point_transfer
展开
-
Hadoop之四
Hadoop集群配置【五、Loz和Hadoop-gpl-compression安装】从Hadoop 0.20.X开始,由于lzo压缩格式GPL形式授权的影响,lzo压缩从hadoop发布包中取消,转而成为Google Code中的一个项目hadoop-gpl-compression 。1.lzo安装./configure -enable-shared --prefix=$H转载 2014-01-02 09:58:41 · 515 阅读 · 0 评论 -
HBase体系结构
HBase体系结构HBase的服务器体系结构遵从简单的主从服务器架构,它由HRegion Server群和HBase Master服务器构成。HBase Master负责管理所有的HRegion Server,而HBase中的所有RegionServer都是通过ZooKeeper来协调,并处理HBase服务器运行期间可能遇到的错误。HBase Master Server本身并不存储HBase中转载 2014-11-12 17:20:10 · 973 阅读 · 0 评论 -
学习Zookeeper文章合集()
分布式助手Zookeeper(一)Zookeeper最早是Hadoop的一个子项目,主要为Hadoop生态系统中一些列组件提供统一的分布式协作服务,在2010年10月升级成Apache Software Foundation(ASF)顶级项目,它主要提供以下的四个功能: 功能名组管理服务分布式配置服务分布式同步服务分转载 2014-11-12 16:42:18 · 805 阅读 · 0 评论 -
hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1分布式环境部署
一、hadoop2.2.0、zookeeper3.4.5、hbase0.96.2、hive0.13.1都是什么? hadoop2.2.0的介绍以及特性,参考这里:http://blog.yidooo.net/archives/hadoop-2-2-0-new-features.html zookeeper的介绍,参考这里:http://baike.baidu.com/view/3061转载 2014-11-12 17:41:36 · 2478 阅读 · 0 评论 -
Hadoop2.2.0集群搭建过程
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程1、 解压文件 由于hadoop集群中每个机器上面的配置基本相同,所以我们先在namenode上面进行配置部署,然后再复制到其他节点。所以这里的安装过程相当于在每台机器上面都要执行。但需要注意的是集群中64位系统和32位系统的问题。将第一部分中下载的hadoop-2.2.tar.gz解压到/h转载 2014-10-29 15:01:19 · 601 阅读 · 0 评论 -
Hadoop2.2.0稳定版整合ZooKeeper(2)
Hadoop2.2.0稳定版整合ZooKeeper与HBase0.96详细教程自己在搭建过程中遇到了一些问题,本文就详细讲解一下最新版的三者怎么整合,方便朋友们参考.环境:RED HAT + JDK1.7+Hadoop2.2+ZooKeeper3.4.5+HBase0.96准备工作:防火墙关闭+SSH免密码通信+Hadoop2.2.0分布式环境正常运行转载 2014-10-30 15:02:37 · 739 阅读 · 0 评论 -
ZooKeeper安装过程
一、安装需求安装java 1.6及hadoop 0.20.x二、安装zookeeper1、下载zookeeperwget http://mirror.bit.edu.cn/apache//zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz(本次安装3.4.3版本)其他版本下载地址(最好使用stable转载 2014-10-30 15:16:40 · 462 阅读 · 0 评论 -
Hadoop2.2.0稳定版整合ZooKeeper(1)
Hadoop2.2.0+HA+zookeeper3.4.5+体系结构+错误处理 心血之作,在熟悉hadoop2架构的过程耽误了太长时间,在搭建环境过程遇到一些问题,这些问题一直卡在那儿,不得以解决,耽误了时间。最后,千寻万寻,把问题解决,多谢在过程提供帮助的大侠。这篇文章中,我也会把自己遇到的问题给列出来,帮助后来者进一步的学习。 这篇文章结合自己实际测试转载 2014-10-30 15:21:10 · 695 阅读 · 0 评论 -
hadoop2的automatic HA+Federation+Yarn配置的教程
前言 hadoop是分布式系统,运行在linux之上,配置起来相对复杂。对于hadoop1,很多同学就因为不能搭建正确的运行环境,导致学习兴趣锐减。不过,我有免费的学习视频下载,请点击这里。 hadoop2出来后,解决了hadoop1的几个固有缺陷,比如单点故障、资源利用率低、支持作业类型少等问题,结构发生了很大变化,是hadoop未来使用的一个趋势。当然,配转载 2014-10-30 16:31:46 · 702 阅读 · 0 评论 -
solr与hadoop结合
solr4.4支持索引存储到hdfs中下载hadoop2.1.0-beta下载解压solr4.4,hadoop2.1.0-beta 我的solr是运行在tomcat web容器中 solr4.4用的是hadoop2.0.5alpha版本,如果不改成hadoop2.1.0-beta会报很多奇怪的错误。 删除solr webapp/WEB-INF/lib中的jar包,用我已转载 2014-11-12 16:18:31 · 6020 阅读 · 0 评论 -
大数据分析和 Hadoop
1. 大数据大数据 是指变得过大而无法通过传统方法操纵的数据集。这些方法包括在可承受的时间内对数据进行捕获、存储和处理。虽然术语大数据 曾被用作数据仓库概念,但它现在只专注于处理的容量、吞吐量和通用性的大规模处理架构。阅读: Forrester:大数据 – 从小规模开始,但迅速扩大阅读: 驾驭大数据阅读: 利用大数据获得新的业务洞转载 2013-12-27 11:31:02 · 827 阅读 · 0 评论 -
hadoop之二
a) 单节点集群的安装参考http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/配置ssh(无密码连接到localhost)$ chmod g-w ~/.ssh/authorized_keys【这里尤其注意,你的机器上若没有.ssh目录,那么m转载 2014-01-02 09:54:55 · 471 阅读 · 0 评论 -
Hadoop编程调用HDFS
目录系统环境ls操作rmr操作mkdir操作copyFromLocal操作cat操作copyToLocal操作创建一个新文件,并写入内容1. 系统环境Hadoop集群环境Linux Ubuntu 64bit Server 12.04.2 LTSJava 1.6.0_29Hadoop 1.1.2如何搭建Hadoop集群环转载 2014-01-02 16:35:22 · 971 阅读 · 0 评论 -
Hadoop家族产品--大纲
目录Hadoop家族产品Hadoop家族学习路线图1. Hadoop家族产品截止到2013年,根据cloudera的统计,Hadoop家族产品已经达到20个!http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/接下来,我把这20个产品,分成转载 2014-01-02 16:44:20 · 777 阅读 · 0 评论 -
hadoop之三
多点部署:参考http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/a) 安装准备所有机器的用户名和$HOME目录配置一致;(用户名、密码、目录结构)所有机器JDK的安装目录为/usr/lib/jvm/java-6-openjdk;每转载 2014-01-02 09:55:56 · 520 阅读 · 0 评论 -
hadoop之五
Hadoop集群配置【六、thrift安装】数据环境搞好了,必须考虑如何存取、传输。我们用thrift。Facebook 开发的远程服务调用框架 Apache Thrift,支持 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk 。其传输数据采用二进制格式,相对 XML 和 JSON转载 2014-01-02 10:01:26 · 475 阅读 · 0 评论 -
hadoop之一
暂且隐去具体什么项目,需要处理存储海量数据,一次存储多次读取,数据用作建模分析以及检索。本人比较倒霉,部署时基本能遇到的问题都遇到了。。好吧,Hadoop配置的教程基本网上写烂了都,我就当时小记一下,留个纪念。今天头给我五个服务器,让我挑选一台作为master,其他作为slave。原则是:配置好的优先,如果配置相差不大,那么地址最高或者最低的当作master。好,我接到的五转载 2014-01-02 09:53:01 · 568 阅读 · 0 评论 -
启动hadoop集群时易出现的错误
(一)启动hadoop集群时易出现的错误:1. 错误现象:java.net.NoRouteToHostException: No route to host. 原因:master服务器上的防火墙没有关闭。 解决方法: 在master上关闭防火墙: chkconfig iptables off.2. 错误现象:org.转载 2014-01-03 08:25:58 · 727 阅读 · 0 评论 -
RDD:基于内存的集群计算容错抽象
RDD:基于内存的集群计算容错抽象该论文来自Berkeley实验室,英文标题为:Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译,我是基于科学网翻译基础上进行优化、修改、补充,这篇译文翻译得很不错。在此基础上,我增加了来自英文原文的图和表格数据转载 2014-11-05 16:29:21 · 684 阅读 · 0 评论