hadoop2.x
gao634209276
这个作者很懒,什么都没留下…
展开
-
hadoop 2.7.2 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.2.jar
本文提供了关于hadoop2.7.2(其他版本一个道理)从ant制作eclipse的hadoop插件,到配置eclipse的hadoop,运行mr程序测试的一系类内容原创 2016-05-10 12:30:05 · 5359 阅读 · 1 评论 -
hadoop 参数配置
Hadoop参数汇总@(hadoop)[配置]linux参数以下参数最好优化一下:文件描述符ulimit -n用户最大进程 nproc (hbase需要 hbse book)关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoop参数大全适用版本:4.转载 2016-08-17 11:51:03 · 433 阅读 · 0 评论 -
Hadoop3.0新特性
Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4月已停止更新,这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本,而这正是hadoop 3.0。Apache hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。其实最大改变的是hdfs,hdfs 通过最近bla转载 2016-07-19 21:11:16 · 441 阅读 · 0 评论 -
开源日志系统比较:scribe、chukwa、kafka、flume
1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。本文转载 2016-06-27 22:05:58 · 253 阅读 · 0 评论 -
部署hadoop2.7.2 集群 基于zookeeper配置HDFS HA+Federation
hadoop1的核心组成是两部分,即HDFS和MapReduce。在hadoop2中变为HDFS和Yarn。新的HDFS中的NameNode不再是只有一个了,可以有多个(目前只支持2个)。每一个都有相同的职能。两个NameNode当集群运行时,只有active状态的NameNode是正常工作的,standby状态的NameNode是处于待命状态的,时刻同步active状态NameNode的原创 2016-05-19 14:16:21 · 9934 阅读 · 1 评论 -
远程调试hadoop各组件
ZZ from http://blog.csdn.net/qiaochao911/article/details/9714763Thanks to 小桥远程调试对应用程序开发十分有用。例如,为不能托管开发平台的低端机器开发程序,或在专用的机器上(比如服务不能中断的 Web 服务器)调试程序。其他情况包括:运行在内存小或 CUP 性能低的设备上的Java 应用程序(比如移动设转载 2016-06-24 14:36:40 · 384 阅读 · 0 评论 -
简单HDFS使用Journalnode HA部署
基于之前hadoop集群,实验Journal共享实现namenode的高可用,本篇只配置Hadoop的HDFS,其他Yarn,zookeeper,等均不关系.节点hadoop,hadoop1,hadoop2,之前的集群namenode为hadoop,这里设置hadoop1,和hadoop2为Active和Standby NN,并使用JournalNode实现共享在集群基础上改变一下内容原创 2016-05-18 15:41:33 · 6554 阅读 · 2 评论 -
hadoop2.7.2分布式集群搭建和生态系统配置
本文只介绍apache版hadoop2.7.2集群环境安装配置,其中的功能使用不做过多说明.详情参考其他资料集群没有配置HA,详情参考其他资料,或本人接下来的文章一 根据官方说明,匹配合适的版本:hadoop使用的是目前比较新的稳定版本hive27 June 2015 : release 1.2.1 availableThis release works with Hadoop 1.x.y, 2.x.y原创 2016-05-15 21:07:35 · 752 阅读 · 0 评论 -
hadoop2.7.2集群hive-1.2.1整合hbase-1.2.1
本文操作基于官方文档说明,以及其他相关资料,若有错误,希望大家指正根据hive官方说明整合hbase链接如下https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration文中指出hive0.9.0匹配的Hbase版本至少要0.92,比这更早的hive版本要匹配Hbase0.89或者0.90自Hive1.x后,hive能原创 2016-05-12 14:19:10 · 6105 阅读 · 1 评论 -
基于hadoop2.7.2 api代码简单模拟rpc通信
本文通俗易懂.rpc是远程或者跨进程调用方法或传输信息的一种通信,基本过程是Client通过RPC.getProtocolProxy()获取代理类ProtocolProxy然后调用Server,在Server端调用的方法运行,并讲Server的运行结果返回给Client;不多说下面开始代码演示,首先在eclipse中建立项目,加入hadoop中基本的jar包,这里为了方便我是使用的ecli原创 2016-05-21 14:10:30 · 392 阅读 · 0 评论 -
关于hadoop2.x(2.7.1 2.7.2)集群配置和测试运行中Ubuntu虚拟机VM设置nat方式导致节点传输问题
集群配置都大同小异,在这里我简单说下我的配置:主节点系统是Ubuntu 14.04 LTS x64其他两个节点在VM中系统为Centos 6.4 x64JVM为jdk1.7_80hadoop版本2.7.1和2.7.2都尝试了出现的问题是:启动hdfs系统正常,都启动起来了,jps查看如下主节点 SecondaryNameNode和 NameNode从节点:DataN原创 2016-05-09 18:59:54 · 686 阅读 · 0 评论 -
hive 使用TEZ的安装配置
hive,tez,hadoop2原创 2016-08-27 00:06:57 · 11191 阅读 · 5 评论