hadoop
不想做靓仔
能帮到你实在是太好了~
展开
-
hadoop阶段学习视频汇总
一 慕课网1.Hadoop大数据平台架构与实践–基础篇(已学习)链接:https://www.imooc.com/learn/3912.Hadoop进阶(已学习)链接:https://www.imooc.com/learn/890二 极客学院1.Hadoop 概述(已学习)链接:http://www.jikexueyuan.com/course/677.html2.Hadoop 架...转载 2018-11-15 19:52:03 · 190 阅读 · 0 评论 -
使用ToolRunner运行Hadoop程序基本原理分析
    为了简化命令行方式运行作业,Hadoop自带了一些辅助类。GenericOptionsParser是一个类,用来解释常用的Hadoop命令行选项,并根据需要,为Configuration对象设置相应的取值。通常不直接使用GenericOptionsParser,更方便的方式是:实现Tool接口,通过ToolRunner来运行应用程序,ToolRunner内部调用Gen...转载 2018-12-20 17:42:00 · 235 阅读 · 0 评论 -
flume详解
转自 http://www.cnblogs.com/zhangyinhua/p/7803486.html#_label0 Flume原理解析 阅读目录(Content)一、Flume简介二、Flume特点三、Flume的一些核心概念3.1、Agent结构 3.2、source3.3、Channel3.4、Sink四、Flume拦截器、数据流以及可靠性4....转载 2018-12-18 15:13:36 · 147 阅读 · 0 评论 -
oozie 运行测试时遇到configuration is not specified解决办法
今天犯了一个很傻的错,在测试运行oozie的一个例子时,发现报错java.io.IOException: configuration is not specifiedat org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:794)at org.apache.oozie.cli.OozieCLI.jobCommand(Oo...原创 2019-01-02 09:54:09 · 4050 阅读 · 1 评论 -
oozie运行时遇到的常见两种错误Main class exit code [1]及JA006:failed on connection exception
今天我在用oozie执行一个sqoop脚本时遇到了两个错误job和workflow都写好了,脚本是这样的:1.JA006:Call From hadoop01/192.168.137.77 to 0.0.0.0:10020 failed onconnection exception: java.net.ConnectException: Connection refused解决办法:...原创 2019-01-08 15:48:08 · 6874 阅读 · 3 评论 -
hadoop集群两个standby的解决办法
首先你要确定不用ha的时候你的hadoop集群是正常的,不然找错误的方向就偏离了如果都正常,配置ha 需要zookeeper,先要看看是不是zookeeper没有配置好的问题如果都正常,在hadoop安装目录执行sbin/hadoop-daemon.sh startzkfc,这句是启动zookeeper选举制度,然后执行bin/hdfs haadmin -transitionToActive...原创 2019-03-24 19:53:48 · 4370 阅读 · 0 评论