Test

Test

自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

oozie-远程debug参数说明

早期版本4.3.0以及之前版本 1. oozie调试Spark应用程序 在SparkOpts中添加: sparkOpts=--conf "spark.driver.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,ser...

2018-10-27 10:28:11

阅读数 130

评论数 0

hadoop生态系统的详细介绍

前提日常喜欢看一些微信分享的好文,总结下来,可以作为过滤器吧(节约更多人的时间!),在这里引用的是别人的文章!对原文的作者表示感谢!确实写的很好!hadoop生态系统的详细介绍简介Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计...

2017-05-16 23:31:02

阅读数 6677

评论数 0

Java中violate关键字详解(2)?真正了解violate

一、Java内存模型想要理解volatile为什么能确保可见性,就要先理解Java中的内存模型是什么样的。Java内存模型规定了所有的变量都存储在主内存中。每条线程中还有自己的工作内存,线程的工作内存中保存了被该线程所使用到的变量(这些变量是从主内存中拷贝而来)。线程对变量的所有操作(读取,赋值)...

2017-04-11 09:03:30

阅读数 7334

评论数 8

Falcon(一)——数据集管理和数据处理平台

目的:使终端用户在面向Hadoop集群进行数据集处理和数据集管理更加容易。原因 在Hadoop环境中,在各种数据集和处理关系之间建立关系 在集群中进行数据集管理例如数据集声明周期、数据集复制等 抓取数据集或者处理过程的血统信息。 允许本地数据和其他任何地方的集群进行数据整合。 与metastore...

2017-02-26 23:08:27

阅读数 4369

评论数 2

oozie -错误记录

2018-10-20 20:59:47,977 WARN V2JobServlet:523 - SERVER[ds1] USER[root] GROUP[-] TOKEN[] APP[SparkFileCopy] JOB[0000000-181020104636436-oozie-root-W]...

2018-10-20 21:13:44

阅读数 169

评论数 0

Cloudera Manager 安装提示: jdk x86_64 2000:1.6.0_31-fcs 没有安装源

手动安装对应版本的jdk1.6即可! 下载jdk1.6地址: 下载地址

2018-09-09 00:39:37

阅读数 138

评论数 0

Cloudera Manager 安装提示: 卡在正在获取安装锁..

解决方案 rm -rf /tmp/scm_prepare_node.* rm -rf /tmp/.scm_prepare_node.lock

2018-09-09 00:31:14

阅读数 523

评论数 0

Clouder-Manager安装 JDBC driver cannot be found. Unable to find the JDBC database jar on host : slave1

解决方案 1. 将 mysql-connector-java-5.1.30-bin.jar放置在/usr/share/java 2. 务必将包重命名 mysql-connector-java.jar

2018-09-04 23:44:41

阅读数 663

评论数 0

Linux:解决虚拟机可以ping通,但是不能SSH远程登录的问题

问题分析 首先,Linux可以互相ping通,说明Linux的网络配置没有问题,那么就专注解决SSH的问题。 可能原因 Linux防火墙没有关闭,导致SSH连接失败(关闭防火墙) LinuxSSH服务没有启动,查看是否启动SSH服务 SSH服务启动后,仍然连接不上,需要确认是否是SSH...

2018-09-04 12:02:02

阅读数 4200

评论数 0

Hadoop Yarn RM启动失败提示:transport error 202: bind failed:地址已占用

问题原因 集群开启了远程Debug,当这个端口被占用时,出现此问题导致RM启动失败 主要启动参数 transport=dt_socket,server=y,suspend=n,address=*

2018-09-04 11:54:37

阅读数 374

评论数 0

CDH 版本下载库

CDH 版本下载库 https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_57.html

2018-09-03 15:43:21

阅读数 999

评论数 0

Spark DataFrame:value $ is not a member of StringContext df.select($"name", $"age" + 1).show()

错误信息 Error:(29, 15) value $ is not a member of StringContext df.select($"name", $"age" + 1).show() 解决方案...

2018-08-31 14:13:42

阅读数 893

评论数 0

Can't connect to X11 window server using 'localhost:12.0' as the valu e of the DISPLAY variable.

错误描述 at sun.awt.X11GraphicsEnvironment.initDisplay(Native Method) at sun.awt.X11GraphicsEnvironment.access$200(X11GraphicsEnvironment.java:6...

2018-08-23 16:24:12

阅读数 666

评论数 0

oozie on spark2:Failing Oozie Launcher, main() threw exception, null

问题详情 iling Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, null java.lang.NullPointerException ...

2018-08-22 09:12:22

阅读数 199

评论数 0

oozie on spark2:java.lang.IllegalArgumentException: Attempt to add jar multiple times to the distrib

错误信息详情 2018-08-20 19:55:03,088 [uber-SubtaskRunner] ERROR org.apache.spark.SparkContext - Error initializing SparkContext. java.lang.IllegalArgum...

2018-08-22 09:07:12

阅读数 302

评论数 0

oozie on spark2:基于Yarn运行Spark2时出现的错误说明(scala does not exist; make sure Spark is built.)

Oozie adds all of the jars in the Oozie Spark sharelib to the DistributedCache such that all jars will be present in the current working directory of...

2018-08-21 18:41:34

阅读数 1161

评论数 1

oozie on spark2:发布oozie任务时出现错误

错误信息 variable [spark] cannot be resolved 解决方案 将变量名中不包含特殊字符

2018-08-21 09:38:25

阅读数 187

评论数 0

oozie on spark2:部署Oozie4.3.0出现部署错误

错误详情 Exception in thread "main" java.lang.NoClassDefFoundError: javax/servlet/Filter at java.lang.ClassLoader.defineClass1(Nat...

2018-08-21 09:36:52

阅读数 97

评论数 0

oozie on spark2:运行Oozie中自带的Yarn出现问题

运行Oozie中自带的Yarn出现问题: Error: Could not load YARN classes. This copy of Spark may not have been compiled with YARN support. Run with --help for us...

2018-08-21 09:35:41

阅读数 409

评论数 0

ZK-节点信息说明

节点存储内容说明 null(节点中保存的数据信息) cZxid = 0x100000052(创建节点的事务ID) ctime = Fri Jun 22 17:50:30 CST 2018(节点创建时间) mZxid = 0x100000052(最后一次更新节点的事务ID) mtime = F...

2018-08-11 14:20:14

阅读数 565

评论数 0

提示
确定要删除当前文章?
取消 删除