terrorblade1235-CSDN博客

原创 powerMock和mockito使用

powerMock和mockitopowermock和mockito都是做mock的框架，powermock在mockito的基础上扩展而来，支持mockito的操作(也支持别的mock框架比如easyMock)。因此在maven引入powermock的时候，需要引mockito的包。powermock和mockito版本上要配合着使用。powermock在mockito的基础上，扩展了对static class， final class，constructor，private method等的mock

2020-08-16 18:37:12 1014

翻译 Spark动态分配资源

Spark动态分配资源标签（空格分隔）： spark作业调度（Job Scheduling）OverView在一个集群中的每一个spark application（一个sparkContext的实例）维持着一系列独立的executor集合。集群管理着这些spark application之间的资源调度。在一个spark application之内，可能同时运行着多个job，spark使用公平调度

2017-10-23 19:43:38 1782

原创 SPARK编译的一些记录

SPARK编译的一些记录标签（空格分隔）： spark由于发行版的spark-sql不支持一些比如‘insert overwrite directory’的特性，而在开发中确实需要使用到这些特性，之前的选择是使用livy来避开了这一特性，最近看到spark已经merge了这个特性的PR，于是尝试着编译，使用新的spark。Spark编译参考这篇文章慕课网_Michael__PK 选择了使用

2017-10-23 19:42:22 385

原创 spark tungsten-sort shuffle

spark tungsten-sort shuffle基于内存和CPU的瓶颈，Spark引入tungsten来改善性能。其中在shuffle中，引入了tungsten-sort shuflle。tungsten-sort shuffle是基于java的Unsafe包实现的，相关的三个ShuffleWriter如下： writer desc ByPassMergeSortShuffleWr

2017-10-23 19:39:50 493

原创 Spark BytesToBytesMap分析

Spark BytesToBytesMap分析标签（空格分隔）： spark在Tungsten-sort base中使用了bytetobytesMap的数据结构来实现序列化的排序。BytesToBytesMap是spark使用java实现的一种数据结构，在spark-core的unsafe.map下。使用unsafe类的主要目的是直接对内存进行操作，比如分配内存，收回内存等。BytesToBy

2017-10-23 19:38:32 1292

原创 Java反射

前言最近在做代码混淆的时候，发现使用反射的地方混淆之后，会出错，这里，将反射相关的问题记录下。反射案例。所谓反射，就是在代码运行时动态获取类以及类的成员变量，通过一些例子来了解。1.使用getClass来获取类。public static void main(){Demo demo =new Demo(); System.out.println(demo.getClass().ge

2017-08-09 20:58:21 241

原创 Linux 录屏及制作GIF

最近需要在linux下制作gif，搜了一下，大概有以下方法。mp4转jpeg转gif安装录屏软件kazamsudo apt-get install kazam点击录屏，结果保存为.mp4安装mplayersudo apt-get install mplayer视频转换为jpegmplayer -ao null tabs.mp4 -vo jpeg:outdir=./tabs安装ima

2017-08-08 21:05:00 516

原创 ProGuard混淆代码

关于ProGuardProGuard是一款开源的代码混淆工具，不仅能够混淆代码，而且可以进行代码的压缩和优化等，这里只关注其混淆的功能。代码混淆的原理就是，删除无用代码，使用难懂的类名，方法名，和变量名，来防止逆向工程.如何判断代码的有用还是无用呢，这里涉及到一个entry point的概念，entry point就是不会被ProGuard处理的方法，程序从这里开始遍历。搜索那些类和类的成员在

2017-08-04 15:13:17 730

原创 Hive/impala的kerberos和sentry相关问题

self application通过kerbeos认证的四种方式Simple Hadoop Client这种方法不包含任何的认证，他依赖于当前机器已经取得TGT，这对于服务或者需要长时间运行的程序不适用，因为TGT可能会过期。每个用户在使用时都需要kinit先获取TGTService Account Authorization这种方法为Kerberos创建一个service account（服

2017-08-04 15:07:58 3030 1

原创 spark livy

spark livy标签（空格分隔）： bigdata spark livylivy是cloudera开发的通过REST来连接。管理spark的解决方案，此文记录在使用livy中遇到的一些问题。livy的安装livy安装不多赘述，可以从github上自己build，也可以直接从livy.io上直接下载tar包。下载livy，解压后，在livy-env中添加export SPARK_HOME=/

2017-08-04 15:05:18 2262

terrorblade1235的博客