Test

Test

排序:
默认
按更新时间
按访问量

hadoop生态系统的详细介绍

前提日常喜欢看一些微信分享的好文,总结下来,可以作为过滤器吧(节约更多人的时间!),在这里引用的是别人的文章!对原文的作者表示感谢!确实写的很好!hadoop生态系统的详细介绍简介Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计...

2017-05-16 23:31:02

阅读数:3342

评论数:0

Java中violate关键字详解(2)?真正了解violate

一、Java内存模型想要理解volatile为什么能确保可见性,就要先理解Java中的内存模型是什么样的。Java内存模型规定了所有的变量都存储在主内存中。每条线程中还有自己的工作内存,线程的工作内存中保存了被该线程所使用到的变量(这些变量是从主内存中拷贝而来)。线程对变量的所有操作(读取,赋值)...

2017-04-11 09:03:30

阅读数:4916

评论数:8

Falcon(一)——数据集管理和数据处理平台

目的:使终端用户在面向Hadoop集群进行数据集处理和数据集管理更加容易。原因 在Hadoop环境中,在各种数据集和处理关系之间建立关系 在集群中进行数据集管理例如数据集声明周期、数据集复制等 抓取数据集或者处理过程的血统信息。 允许本地数据和其他任何地方的集群进行数据整合。 与metastore...

2017-02-26 23:08:27

阅读数:2914

评论数:2

JAVA jar文件打包详解

jar文件简介JAR就是Java ARchive。它能让你把一组类文件包装起来,所以交付时只需要一个Jar文件。创建可执行的(简单程序)JAR(HelloWord)1. 确定要打包为jar的所有类文件在相同目录下。2. 创建manifest.txt来描述哪个类滴啊有main方法。Mian-Clis...

2016-11-10 22:03:48

阅读数:285

评论数:0

oozie -错误记录

2018-10-20 20:59:47,977 WARN V2JobServlet:523 - SERVER[ds1] USER[root] GROUP[-] TOKEN[] APP[SparkFileCopy] JOB[0000000-181020104636436-oozie-root-W]...

2018-10-20 21:13:44

阅读数:4

评论数:0

Cloudera Manager 安装提示: jdk x86_64 2000:1.6.0_31-fcs 没有安装源

手动安装对应版本的jdk1.6即可! 下载jdk1.6地址: 下载地址

2018-09-09 00:39:37

阅读数:18

评论数:0

Cloudera Manager 安装提示: 卡在正在获取安装锁..

解决方案 rm -rf /tmp/scm_prepare_node.* rm -rf /tmp/.scm_prepare_node.lock

2018-09-09 00:31:14

阅读数:23

评论数:0

Clouder-Manager安装 JDBC driver cannot be found. Unable to find the JDBC database jar on host : slave1

解决方案 1. 将 mysql-connector-java-5.1.30-bin.jar放置在/usr/share/java 2. 务必将包重命名 mysql-connector-java.jar

2018-09-04 23:44:41

阅读数:30

评论数:0

Linux:解决虚拟机可以ping通,但是不能SSH远程登录的问题

问题分析 首先,Linux可以互相ping通,说明Linux的网络配置没有问题,那么就专注解决SSH的问题。 可能原因 Linux防火墙没有关闭,导致SSH连接失败(关闭防火墙) LinuxSSH服务没有启动,查看是否启动SSH服务 SSH服务启动后,仍然连接不上,需要确认是否是SSH...

2018-09-04 12:02:02

阅读数:68

评论数:0

Hadoop Yarn RM启动失败提示:transport error 202: bind failed:地址已占用

问题原因 集群开启了远程Debug,当这个端口被占用时,出现此问题导致RM启动失败 主要启动参数 transport=dt_socket,server=y,suspend=n,address=*

2018-09-04 11:54:37

阅读数:25

评论数:0

CDH 版本下载库

CDH 版本下载库 https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_57.html

2018-09-03 15:43:21

阅读数:57

评论数:0

Spark DataFrame:value $ is not a member of StringContext df.select($"name", $"age" + 1).show()

错误信息 Error:(29, 15) value $ is not a member of StringContext df.select($"name", $"age" + 1).show() 解决方案...

2018-08-31 14:13:42

阅读数:40

评论数:0

Can't connect to X11 window server using 'localhost:12.0' as the valu e of the DISPLAY variable.

错误描述 at sun.awt.X11GraphicsEnvironment.initDisplay(Native Method) at sun.awt.X11GraphicsEnvironment.access$200(X11GraphicsEnvironment.java:6...

2018-08-23 16:24:12

阅读数:82

评论数:0

oozie on spark2:Failing Oozie Launcher, main() threw exception, null

问题详情 iling Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, null java.lang.NullPointerException ...

2018-08-22 09:12:22

阅读数:20

评论数:0

oozie on spark2:java.lang.IllegalArgumentException: Attempt to add jar multiple times to the distrib

错误信息详情 2018-08-20 19:55:03,088 [uber-SubtaskRunner] ERROR org.apache.spark.SparkContext - Error initializing SparkContext. java.lang.IllegalArgum...

2018-08-22 09:07:12

阅读数:40

评论数:0

oozie on spark2:基于Yarn运行Spark2时出现的错误说明(scala does not exist; make sure Spark is built.)

Oozie adds all of the jars in the Oozie Spark sharelib to the DistributedCache such that all jars will be present in the current working directory of...

2018-08-21 18:41:34

阅读数:104

评论数:0

oozie on spark2:发布oozie任务时出现错误

错误信息 variable [spark] cannot be resolved 解决方案 将变量名中不包含特殊字符

2018-08-21 09:38:25

阅读数:34

评论数:0

oozie on spark2:部署Oozie4.3.0出现部署错误

错误详情 Exception in thread "main" java.lang.NoClassDefFoundError: javax/servlet/Filter at java.lang.ClassLoader.defineClass1(Nat...

2018-08-21 09:36:52

阅读数:30

评论数:0

oozie on spark2:运行Oozie中自带的Yarn出现问题

运行Oozie中自带的Yarn出现问题: Error: Could not load YARN classes. This copy of Spark may not have been compiled with YARN support. Run with --help for us...

2018-08-21 09:35:41

阅读数:29

评论数:0

ZK-节点信息说明

节点存储内容说明 null(节点中保存的数据信息) cZxid = 0x100000052(创建节点的事务ID) ctime = Fri Jun 22 17:50:30 CST 2018(节点创建时间) mZxid = 0x100000052(最后一次更新节点的事务ID) mtime = F...

2018-08-11 14:20:14

阅读数:52

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭