帆了个帆的专栏

原创 Sentry 权限模型之授权策略SQL

接上一篇hive 集成sentry继续来看下sentry的授权体系使用hive用户登陆,在这个hive用户是在$HIVE_HOME/conf/sentry-site.xml中配置， <property> <name>sentry.metastore.service.users</name> <value>hive</val...

原创 hive 集成sentry

环境apache-hive-2.3.3-binapache-sentry-2.1.0-binsentry是目前最新的版本，支持hive的最高版本为2.3.3，hive版本如果高于2.3.3，会出一些版本兼容问题[亲测]hive快速安装wget http://mirrors.shu.edu.cn/apache/hive/hive-2.3.3/apache-hive-2.3.3-bin.t...

原创 ClassNotFoundException: org.apache.sentry.binding.metastore.SentryMetastorePostEventListener

环境：apache-hive-2.3.3-binapache-sentry-2.1.0-bin解决办法将org.apache.sentry.binding.metastore.SentryMetastorePostEventListener 替换成org.apache.sentry.binding.metastore.SentrySyncHMSNotificationsPostEven...

原创 hdfs 小文件合并方案(附代码)

原创 获得parquet文件的rows和filesize

贴代码 public static void getParquetFileSizeAndRowCount()throws Exception{ Path inputPath = new Path("/user/hive/warehouse/user_parquet"); Configuration conf = new Configuration(); ...

原创 volatile原理

java 使用volatile修饰符是线程之间可以共享变量，一个变量用volatile修饰，意味着在多个线程情况下此变量是可见并且是一致的；在特定情况下volatile比锁拥有更好的性能volatile int count;volatile 原理介绍volatile原理之前，先来简单了解下java的内存模型我们在执行我们的程序的时候，jvm根据自己的内存模型会把内存分为：方法区 Meth...

原创 计算页面停留时长的另类方式

计算页面停留时长，往常计算也页面留时长都需要跑spark或这mr任务来实现，如果能跑sql来实现那是最好不过了(sql是最好的语言)，废话不多说，直接搞起注意：这里使用的计算引擎是presto首先来创建一张用户浏览记录数据表，表结构很简单只有3个字段，uid 用户id，page 页面链接，time 进入此页面的时间戳；如果有页面离开时间，那离开时间-进入时间就是页面停留时间；想的是挺好，可...