2018年06月_worldchinalee

转载 Spark.2.2源码阅读: SPARK SUBMIT任务提交

1.编写程序当我们编写了一个程序后。 package com.llcc.sparkSql.text import org.apache.spark.sql.{Row, SQLContext, SparkSession} import org.apache.spark.sql.types.{StringType, StructField, StructType} object Spar...

2018-06-26 10:38:07 669

转载 hdfs获取输入流跟踪

测试代码如下：从上面例子可以看出fs对象open方法获取输入流对象，那么获取输入流对象可以获取什么信息呢？通过跟踪我们可以看出输入流信息非常丰富，比如：namenode信息，block块信息，大小，是否完整，块信息，还有远程通信的代理对象信息等。那么就让我们跟踪了解其原理：首先fs对象调用open方法，设置缓存大小为4096，相当于磁盘一个簇的大小，（我认为设置这样的大小速度效率应该为佳），返回F...

2018-06-25 11:39:52 400

转载如何使用Hue创建Spark2的Oozie工作流

1.Oozie共享库添加Spark21.查看当前Oozie的share-lib共享库HDFS目录oozie admin -oozie http://lefincluster-rt1:11000/oozie -sharelibupdate[ShareLib update status] sharelibDirOld = hdfs://nameservice1/user/oozie/s...

2018-06-06 15:10:58 5206 4

转载 Shell编程实践之批量安装JDK

实验环境只有两台机子，一台虚拟机192.168.1.200，另外一台物理机192.168.1.201。目标执行一个shell脚本，给这两台机子自动安装jdk。实验步骤1.自动设置ssh免密码登录执行脚本之后，遍历服务器ip，对每一个服务进行如下操作2.每台服务器自动从数据服务器（http服务器，提供jdk安装包下载）上下载jdk3.下载jdk后进行解压，并设置环境遍历关键点1.设置ssh免密...

2018-06-05 14:10:09 254

转载 linux中expect安装

一、概述我们通过Shell可以实现简单的控制流功能，如：循环、判断等。但是对于需要交互的场合则必须通过人工来干预，有时候我们可能会需要实现和交互程序如telnet服务器等进行交互的功能。而expect就使用来实现这种功能的工具。 expect是一个免费的编程工具语言，用来实现自动和交互式任务进行通信，而无需人的干预。expect是不断发展的，随着时间的流逝，其功能越来越...

2018-06-05 14:07:26 2809

转载解析Cloudera Manager内部结构、功能包括配置文件、目录位置等

问题导读1.CM的安装目录在什么位置？2.hadoop配置文件在什么位置？3.Cloudera manager运行所需要的信息存在什么位置？4.CM结构和功能是什么？1. 相关目录/var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件（相关服务的及CM的）。/usr/share/cmf/ : 程序安装目录。/usr/lib64/cm...

2018-06-04 16:51:36 2414

原创 CDH5.9 离线安装或者升级spark2.x详细步骤

官方安装说明地址：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.htmlStep1安装spark需要两个文件，一个是csd文件，一个是parcel文件。我安装的是2.1 Release2版本，后面两列分别是这个两个文件的地址。进入parcel的链接地址，如下图：我的系统是centos6，所...

2018-06-01 17:26:49 2626

worldchinalee的博客