自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 ORACLE 11G开启审计监控数据库

Oracle 11G 开启审计监控数据库 1 创建审计数据专用表空间 由于审计数据可能占用大量空间,所以放入默认的system表空间显然是不合理的,所以我们应该创建专门的表空间以及用户来保存审计数据,这样才是一个比较合理的规划。 CREATE TABLESPACE AUDIT_TBS DATA...

2020-05-26 15:16:40 19 0

原创 Oracle11GR2同步数据进入KAFKA

Oracle 11G R2 同步数据进入KAFKA 相关软件下载 最新版 http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html 旧版本 https://edelivery.oracle.com/os...

2020-05-22 10:12:45 22 0

原创 修改Antlr4解析SparkSQL的SqlBase.g4报错

/* * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. ...

2020-05-19 16:19:04 87 0

原创 Oracle优化之配置内存大页以及异步IO(仅限CENTOS6)

Oracle优化之配置内存大页以及异步IO(仅限CENTOS6) 关闭THP vi /etc/rc.local if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/...

2020-05-07 17:03:56 70 0

原创 大数据运维文档

大数据运维文档 一 hadoop相关运维 1 系统环境 由于机器安装时,硬盘挂在不同,所以hadoop安装路径可能不同。默认hadoop相关集群项目路径在/app目录下。 使用以下所有命令请切换到hadoop用户之下,请使用 su - hadoop 请不要使用hadoop用户之外的用户进行操作。...

2020-04-02 13:49:44 87 0

原创 SparkBoot解压执行

第一种方式 $ jar -xf myapp.jar $ java org.springframework.boot.loader.JarLauncher 第二种方式 $ jar -xf myapp.jar $ java -cp BOOT-INF/classes:BOOT-INF/lib/* co...

2020-03-04 15:56:05 27 0

原创 JAVA连接使用shell工具类(包括scp)

maven依赖如下 <dependency> <groupId>ch.ethz.ganymed</groupId> <artifactId>ganymed-ssh2</artifactId&g...

2020-03-03 15:15:23 119 0

原创 解决hive查询parquet表报错NullPointerException异常问题(ProjectionPusher.java:118)

这个问题在hive3.1已经解决,但是我查看源码之后发现hive2.3.6还是没解决,其实解决办法很简单,不知道为什么一直不更新,对应hivebug是HIVE-16958,我的报错信息如下 Diagnostic Messages for this Task: Error: java.io.IOEx...

2020-02-28 15:09:44 243 0

原创 hive参数

hive.optimize.reducededuplication.min.reducer=4 hive.optimize.reducededuplication=true hive.merge.mapfiles=true hive.merge.mapredfiles=false hive.mer...

2020-02-28 14:02:12 35 0

原创 azkaban源码编译安装(解决[Azkaban] Unable to get scheduled flow triggers问题)

1 安装Mysql mysql安装文档有很多这里不详细描述 2 打包编译azkaban 由于azkaban编译需要下载很多依赖JAR,国外镜像比较慢,所以需要修改为国内镜像 yum -y install git cd /root/.gradle/ vi init.gradle # 添加如下内容 a...

2020-02-27 16:59:14 61 2

原创 将spark与hadoop返回的日期转换为北京时间

由于spark与hadoop api返回的时间是GMT时间,不是标准的北京时间,现将转换函数发出来 /** * 这里的 * @param gmtTime * 这里的gmtTime时间格式根据spark返回的格式定义 * @param pattern ...

2020-02-18 15:50:37 55 0

原创 SparkRESTApi使用JAVA封装

项目功能就是封装SparkRestApi,用到了httpclient以及yarnclient,pom如下 <?xml version="1.0" encoding="UTF-8"?> 4.0.0 org.springframework.boo...

2020-02-13 16:07:12 131 0

原创 Spark Yarn通过代码获取Spark相关信息以及开启SpringBoot项目开启Spark REST API

应公司需求,需要整合SpringBoot与Spark项目,但是由于依赖包问题,无法打开自己部署的SparkYarn项目的REST Api,所以下面先贴一下pom <?xml version="1.0" encoding="UTF-8"?> <...

2020-02-13 09:38:29 61 0

原创 Spark REST服务api官网地址

Spark自带的REST 服务 http://spark.apache.org/docs/latest/monitoring.html Github上封装的api的项目, 地址https://github.com/ywilkof/spark-jobs-rest-client

2020-02-12 11:48:49 168 0

原创 rsync 3.1安装与使用

安装 yum -y install rsync useradd rsyncuser passwd rsyncuser vi /etc/rsyncd.secrets rsyncuser:rsyncuser mkdir -p /usr/local/rsync 配置 服务器配置 v...

2020-01-06 17:14:22 33 0

原创 常用技术总结与选型

本文的目的是列举一些常用的技术,然后讲解一下不同技术的特点,进而延展出来如何选型 前端 界面展示 HTML HTML称为超文本标记语言,是一种标识性的语言,他主要的功能是定义文件的结构,通常和CSS以及JS一起使用。HTML定义了网页内容的含义和结构,这里需要强调一点,HTML、CSS和J...

2019-12-24 16:39:11 67 0

原创 BACKUPPC源码编译安装

BackupPC安装 下载地址 https://sourceforge.net/projects/backuppc/ 网上有中文网址,但是都试yum安装,我自己写一篇如何使用源码编译安装,毕竟yum安装的版本不可控 系统环境搭建 1 添加用户 groupadd backuppc useradd -...

2019-12-04 14:41:45 172 0

原创 ORACLE实在处理不了是的指令

今天编写的两条极具杀伤力的命令,它可以瞬间将Oracle杀死在无形之中。后面我将给出简单注释并展示一下它的威力。 $ ps -ef |grep $ORACLE_SID|grep -v grep|awk ‘{print $2}’ | xargs kill -9 $ ipcs -m | grep ...

2019-10-31 11:24:28 34 0

原创 hadoop缩容datanode后warn解决办法

修改namenode节点的hdfs-site.xml(master主机) <property> <name>dfs.hosts.exclude</name> <value>file_path&l...

2019-09-25 16:47:28 50 0

原创 Githup项目LearningSpark代码讲解(十一)

这个是一个比较详细的例子,描述一下scala是如何编写代码的,后面会继续编写这个项目的相关例子的讲解 package scalademo object Rational{ /** * 隐式转换,我觉得隐式转换这个功能很重要 * 隐式定义是指编译器为了修正类型错误而允许插入到...

2019-08-23 16:27:36 52 0

原创 Githup项目LearningSpark代码讲解(十)

package scalademo import scala.io.Source /** * 这个类就是讲一些关于scala的基本语法,为了保证后面讲解spark的时候不会产生一些比较难于理解的东西,在这里都顺一下 * 我觉得比较难的包括隐式转换,以及逆变我尽量顺一下 * * ...

2019-08-23 16:09:44 52 0

原创 Githup项目LearningSpark代码讲解(九)

package streaming import java.text.SimpleDateFormat import java.util.Date import org.apache.spark.streaming.{Seconds, StreamingContext} import org....

2019-08-22 16:43:43 57 0

原创 Githup项目LearningSpark代码讲解(八)

package streaming import java.io.File import org.apache.spark.streaming._ import org.apache.spark.{SparkConf, SparkContext} import streaming.util.C...

2019-08-22 15:20:29 45 0

原创 Githup项目LearningSpark代码讲解(七)

package streaming import org.apache.spark.rdd.RDD import org.apache.spark.streaming._ import org.apache.spark.{SparkConf, SparkContext} import scal...

2019-08-21 11:38:04 69 0

原创 Githup项目LearningSpark代码讲解(六)

import org.apache.spark.rdd.RDD import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.SparkContext._ import scala.collection.{m...

2019-08-20 14:45:30 49 0

原创 Githup项目LearningSpark代码讲解(五)

import org.apache.spark.{SparkContext, SparkConf} object Ex4_MoreOperationsOnRDDs { def main(args: Array[String]) { val conf = new SparkConf().set...

2019-08-19 17:27:09 97 0

原创 Githup项目LearningSpark代码讲解(四)

/** * 这里讲一下闭包,因为这块不懂后面的东西讲解不了 */ object Ex10_Closure { /** * 什么是闭包(Closure)简单讲,闭包就是指有权访问另一个函数作用域中的变量的函数。 * MDN 上面这么说:闭包是一种特殊的对象。它由两部分构成:函数,以...

2019-08-16 11:49:15 50 0

原创 Githup项目LearningSpark代码讲解(三)

import scala.collection.Iterator import org.apache.spark.rdd.RDD import org.apache.spark.{SparkException, SparkContext, SparkConf} import scala.col...

2019-08-15 10:31:34 28 0

原创 Githup项目LearningSpark代码讲解(二)

import org.apache.spark.rdd.RDD import org.apache.spark.{SparkContext, SparkConf} object Ex2_Computations { /** * 这个方法就是将信息按照树形模型打印,前面每一级加了一个...

2019-08-14 15:51:03 28 0

原创 Githup项目LearningSpark代码讲解(一)

这个系列的文档主要是科普一些基础用法,不过分涉及核心原理 import org.apache.spark.{SparkContext, SparkConf} /** * 这个作为本讲解的第一个类,所以会详细讲解,后面用到此处知识的不在重复 */ object Ex1_Si...

2019-08-14 14:01:05 299 0

原创 ORACLE根据PID查询正在执行的SQL

select sql_text from vsqlareawhere(address,hashvalue)in(select/∗+unnest∗/DECODE(sqlhashvalue,0,prevsqladdr,sqladdress),DECODE(sqlhashvalue,0,prevhas...

2019-08-12 11:03:43 37 0

转载 top指令显示意义

o: VIRT (Virtual Image) - 进程使用的总虚拟内存 (virtual memory) 大小,包括进程的程序码、资料和共享程序库再加上被置换 (swap out) 的空间。VIRT = SWAP + RES p: SWAP (Swapped size) - 进程被置换的虚拟内...

2019-07-16 22:15:52 45 0

原创 Linux性能指令详解

iostat 命令详解 Linux系统中的iostat是I/O statistics(输入/输出统计)的缩写,iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况,同时也会汇报出CPU使用情况。同vmstat一样,iostat也有一个弱点,就是它不能对某个进程进行深入...

2019-07-16 19:26:09 50 0

原创 Hive升级后SparkSession无法使用

hive从2.10升级到3.10后报错 query = Cannot find local variable 'query' ne = {NucleusException@19314} "org.datanucleus.exceptions.NucleusExce...

2019-07-04 23:29:39 258 0

原创 Spark项目连接Hadoop HA配置文件编写方案

val sparkConf = new SparkConf().setAppName("sparkRealTimeServer") .setMaster("yarn").setSparkHome("/app/data1/spark&qu...

2019-06-20 15:40:11 175 0

原创 SparkStream实时更新hive表数据(获取用户前N条记录)

这个功能主要是实现,SparkSteam实时更新覆盖原表数据,不是追加,由于业务需求,需要不断获取每个用户前N条信息用于数据查询,考虑过直接insert hive表,但是由于hive的jdbc不稳定,容易出现断线、崩溃等问题,所以采用了直接写hdfs的形式。 class SparkRealTime...

2019-06-20 15:38:57 356 0

原创 JABX生成与解析XML工具类

package com.wisetv.spark.dataautocontroller.util; import java.io.StringReader; import java.io.StringWriter; import java.util.Collection; import java...

2019-05-21 14:42:45 232 0

原创 JAVA自动解析方法名与参数值

import scala.collection.Map; import java.util.ArrayList; import java.util.List; import java.util.Vector; public class JavaAnaylsis { private st...

2019-05-17 09:42:57 112 0

原创 python3通过肉鸡远程执行SSH指令

from pexpect import pxssh import optparse class Client: def __init__(self,host,user,password): self.host = host self.user = use...

2019-04-26 17:25:56 208 0

转载 python3 暴力破解SSH密码

from pexpect import pxssh import optparse import time from threading import * maxConnections = 5 connection_lock = BoundedSemaphore(value=maxConnec...

2019-04-26 16:49:39 430 0

提示
确定要删除当前文章?
取消 删除