oozie
文章平均质量分 94
Fiona_ll
我每天都在进步,尽管百般艰辛
展开
-
从头开始 手把手 oozie 安装配置 with an example
安装前准备 安装hadoop,可参考文章:https://blog.csdn.net/lucylove3943/article/details/80589422 不需要pig, hive, spark等等。就follow这两篇blog,一切搞定。 一些必要的安装工作 Maven安装 进入maven 下载页面:https://m...原创 2019-11-20 03:04:27 · 7754 阅读 · 14 评论 -
oozie时区报错处理方法,mysql设置utc方法
想再自己的电脑上装一个oozie,方便自己调试啥的。按照前面写的oozie安装配置教程,吭哧吭哧的安装单机版的oozie……但是当我尝试链接oozie和mysql的时候,也就是执行到这一句的时候:bin/ooziedb.sh create -sqlfile oozie.sql -run收到一个报错信息:java.lang.Exception: Could not connect to the da...原创 2018-07-11 07:20:46 · 1020 阅读 · 0 评论 -
Oozie 学习例子:航班信息分析
写在前面这篇blog是用Oozie调用MapReduce来对航班信息进行分析。航班信息数据来源于网站:http://stat-computing.org/dataexpo/2009/the-data.html数据里每一列代表的意思在该网站也有详细说明。因为每一年的数据量都挺大,每一年大概有几百MB,而这篇博客主要是想记录oozie的使用,所以我并没有直接用下载下来的数据。而是截取了...原创 2020-05-01 22:03:28 · 1260 阅读 · 0 评论 -
手把手Spark集群安装配置及例子-多种模式
安装前的准备安装好Fully-distributedHadoop的集群,安装Hadoop教程参考:https://blog.csdn.net/lucylove3943/article/details/80589422我目前在6台机子上搭了Hadoop-2.9.2,这是当前的配置:Master Node: falcon-1Slave Nodes: falcon-2, falco...原创 2019-11-20 03:04:51 · 479 阅读 · 0 评论 -
Oozie 调用 Spark on Yarn:傻瓜教程从编译,配置安装到运行
安装前准备:安装hadoop,可参考文章:https://blog.csdn.net/lucylove3943/article/details/80589422安装spark,可参考文章:https://blog.csdn.net/lucylove3943/article/details/96477861我当前电脑安装的hadoop版本是2.9.2,spark的版本是2.4.4,和上面...原创 2019-11-19 05:15:01 · 795 阅读 · 0 评论