![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
就叫我k吧
这个作者很懒,什么都没留下…
展开
-
安装Rnager1.2.0的问题总结
一、在安装完ranger-admin之后,需要setup.sh,自动化安装admin相关的配置,运行setup.sh报错。问题截图:解决思路:上图报错,显示数据库出现问题了,admin安装在mysql的ranger(这个数据库需要提前安装,不然也会报错)。可能是ranger这个数据的权限配置不够。解决方法:show variables like ‘%func%’;在my...原创 2020-03-24 11:54:15 · 234 阅读 · 0 评论 -
验证YARN内存溢出,运行任务的情况
加入参数:在capacity-scheduler.xml或fair-scheduler.xml文件中配置yarn.resourcemanager.reservation-system.enable=false运行2个任务,把YARN的内存占满,spark-shell只运行driver还要资源运行./spark-shell --master yarn --executor-memor...原创 2020-03-24 12:04:35 · 641 阅读 · 0 评论 -
Azkaban部署与入门(3.X)
Azkaban简介Azkaban 一个批量工作流任务调度器,使用Java语言开发。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流,当然Azkaban也可以使用API,来调用相应的操作和任务。Azkaban 的优点:提供功能清晰,简单易用的Web UI界面 提供job配...原创 2019-11-19 10:23:48 · 772 阅读 · 0 评论