![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
cdh
夜无边CN
这个作者很懒,什么都没留下…
展开
-
Cloudera Manager Server迁移
环境操作系统系统:Centos7 JDK:1.7 CDH 版本:5.8.4操作步骤(内置Postgres版本)1,前期环境检查hosts文件 jdk版本 主机操作系统是否与版本匹配 主机名是否符合规范2,安装新的cloudera manager server# 从官网下载cloudera manager server安装文件$ wget http://archiv...转载 2019-03-25 15:12:23 · 835 阅读 · 0 评论 -
cloudera manager 迁移
写在前面,因为之前cloudera-scm-server的服务器死机,搞了半夜才搞好,因为之前没有备份cloudera-scm-server相关数据,所以恢复起来就麻烦。1、备份数据:curl -v -u admin:admin http://your_manager_host:7180/api/<version>/cm/deployment > /home/deployme...原创 2019-03-26 16:10:02 · 277 阅读 · 0 评论 -
在hue(oozie)上提交pyspark
因为需要使用python的一些库,不得不使用pyspark。在这里记录下遇到的问题。本地开发环境,网上比较容易查到,这里就不写了。这里主要说线上提交的依赖问题。这里是用hue提交,主要有以下几个步骤:1、将所有的依赖打成zip包2、使用sc.addPyFiles(path)或者是sc.addPyFile(path)(ps:不同版本写法不同)将依赖加入环境3、在代码中在初始化...原创 2019-07-31 18:37:49 · 1070 阅读 · 0 评论