asfjgvajfghaklsbf的博客

hive的自定义权限

目前遇到的痛点目前的数据部门从组织架构，从个人的负责的方向，处理的任务上，基于现在的数据架构，以及数仓的建设，看起来比较合理，但是也存在非常大的问题。目前的数据架构是从客户端上报数据，通过logserver输出到kafka，这时分为了两步取走，第一步通过flink任务，将数据写到hdfs上，然后将数据通过add partition的方式添加到hive里面。第二步是通过flink实时任务，将数据写到CK，或者其他的kakfa做一些开发。这个链路存在哪些问题呢？数据的质量如何保证实时数据和离线数据是

概述hdfs小文件合并可减少namenode中保存的元数据信息，减轻namenode压力，并且提升数据查询效率。但要注意到，我们一般只合并n天前的数据，比如3天前，所以基本上我们是在合并冷数据，合并热数据可能出现问题，一般不推荐合并。小文件合并工具大致可分为 小文件目录扫描 和 小文件合并 两个阶段，下面予以介绍。小文件扫描1.0对于直接给定的hdfs目录，我们并不能很好地判断该目录能否进行合并，比如将两个配置文件合并就是不对的，因此小文件合并主要针对hive表进行。扫描的输入是一系列的hive

1.系统架构2.系统功能接口规范化定义在系统上定义API的输入输出，生成API文档，屏蔽了中间的存储，数据的流转通过API来进行数据网关作为网关服务，数据服务必须要具备认证、权限、限流、监控四大功能，这是数据和接口复用的前提首先是认证，需要支持开发和生产两种模式，开发模式比较便于使用通过appcode直接认证，生产通过 accesskey 和 secretkey，应用每次调用 API 接口，都必须携带 acesskey 和 secretkey其次是限流，授权的时候会为每个应用进行

1. 背景调研在7-8月双月okr中，可以看到好多小伙伴的okr内容都提到了数据服务的概念，首先就可以说明这个在数据部门发展过程中是一个必不可少的路径服务化:不同系统之间通过服务方式交互，服务通常以 API 接口形式存在服务化在业务系统中提的比较多，它使业务系统化繁为简，实现业务的拆分,要想搞清楚数据服务解决了什么问题，就要先知道，没有数据服务，我们在日常数据建设中存在哪些痛点数据不知道被哪些应用访问数据存储多份，浪费资源底层数据变更，项目也得跟着改没有统一的管理平台数据不知道被哪些

1.首先调试spark分为好几个阶段 有spark提交阶段，spark-driver，executor，下面分别介绍如何进行调试spark-submit 或者spark-sql的提交spark-sql的提交 也是通过spark-submitspark-submit是通过spark-classspark-class会去执行 java -cp xxx的命令 来启动spark，...

背景描述从spark on yarn 迁移到 k8s 的过程中，发现写到hive表中的数据的权限是不一致的。原来的权限是现在的权限是对比两次的提交不一致的地方，发现在提交的时候有加一个参数spark.sql.hive.convertInsertingPartitionedTable = true 加上之后会出现问题，改为false 不会出现权限的丢失。问题复现在了解到qtt-hive和社区的hive的修改的部分问题后，发现qtt-hive是通过修改部分代码来保...

###JVM的组成class loader我们所说的类加载过程即是指JVM虚拟机把.class文件中类信息加载进内存，并进行解析生成对应的class对象的过程。举个通俗点的例子来说，JVM在执行某段代码时，遇到了class A， 然而此时内存中并没有class A的相关信息，于是JVM就会到相应的class文件中去寻找class A的类信息，并加载进内存中，这就是我们所说的类加载过程。由此可见，JVM不是一开始就把所有的类都加载进内存中，而是只有第一次遇到某个需要运行的类时才会加载，且只加载一次

在数据平台中，每天都会有上万个任务进行流转，如何准确，实时的完成任务，是非常关键的一步。公司在发展的过程经历了azikaban->airflow->dataflow(自研airflow支持k8s)->kepler的一个过程。目前使用的调度系统任务3w+，日执行10w+。上线0事故，非常稳定的运行。底层调度器用的是quartz，写调度系统之前肯定要了解调度器的源码。于是记录下。Quartz是Java领域著名的开源任务调度工具。Quartz提供了极为广泛的特性如持久化任务，集群和分布式任务

发展历程实时平台的建设可以通过搜索 趣头条基于Flink+ClickHouse构建实时数据平台 大佬分享的ppt来学习使用，本系列的分享主要是针对离线平台产品的研发使用迭代经历。数据门户数据查询:封装 Hive，SparkSQL，Presto 等底层查询引擎，为用户提供 SQL 入口的数据查询界面数据展示:提供实时 & 离线数据，通过指标块，趋势图，维度下钻等方式支持用户的报表 & 分析需求AB实验:提供科学流量分配&实验数据报告，为产品功能上线，算法策略优化等提供小

元数据的作用数据中台的构建，需要确保所有的口径一致，要先把原先口径不一致的，重复的指标进行梳理，整合成一个统一的指标字段（指标管理系统），而前提，要搞清楚指标的业务口径，数据来源，计算逻辑。这些东西就是属于元数据元数据包括哪些数据数据字典数据血缘数据特征下面举个例子任务 flow_dws_trd_sku_1d 读取表dwd 生成汇总表dws数据字典描述的是数据的结构信息。包括表名，注释信息，产出的任务，哪些字段，字段含义，字段类型等等。数据血缘指的是上游表是由哪些下游表生成，一般做故

生命周期的概要流程Bean 的生命周期概括起来就是 4 个阶段：实例化（Instantiation）属性赋值（Populate）初始化（Initialization）销毁（Destruction）[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-liS3QrIJ-1598322335610)(evernotecid://97E9B663-FEA6-4C0C-B3BB-2FFD94DC35AA/appyinxiangcom/16306208/ENResource/p2

@Import注解源码解析Spring 3.0之前，创建Bean可以通过xml配置文件与扫描特定包下面的类来将类注入到Spring IOC容器内。而在Spring 3.0之后提供了JavaConfig的方式，也就是将IOC容器里Bean的元信息以java代码的方式进行描述。我们可以通过@Configuration与@Bean这两个注解配合使用来将原来配置在xml文件里的bean通过java代码的方式进行描述@Import注解提供了@Bean注解的功能，同时还有xml配置文件里标签组织多个分散的xml文件

数据抽取工具调研1.数据抽取简述数据抽取是从数据源中抽取数据的过程。实际应用中，数据源较多采用的是关系数据库。从数据库中抽取数据一般有以下几种方式。(1)全量抽取全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成自己的ETL工具可以识别的格式。全量抽取比较简单。(2)增量抽取增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求

MySQL InnoDB MVCC 机制的原理及实现什么是 MVCCMVCC (Multiversion Concurrency Control) 中文全程叫多版本并发控制，是现代数据库（包括 MySQL、Oracle、PostgreSQL 等）引擎实现中常用的处理读写冲突的手段，目的在于提高数据库高并发场景下的吞吐性能。MVCC中对应的增删改查待补充InsertselectupdatedeleteMVCC中底层的实现undo log日志管理...

无锁 VS 偏向锁 VS 轻量级锁 VS 重量级锁这四种锁是指锁的状态，专门针对synchronized的。在介绍这四种锁状态之前还需要介绍一些额外的知识。首先为什么Synchronized能实现线程同步？在回答这个问题之前我们需要了解两个重要的概念：“Java对象头”、“Monitor”。Java对象头synchronized是悲观锁，在操作同步资源之前需要给同步资源先加锁，这把锁就是存在Java对象头里的，而Java对象头又是什么呢？我们以Hotspot虚拟机为例，Hotspot的对象头主要

安装mysql 社区下载mysql.dmg文件点击安装即可常见问题没有my.cnf文件默认mac安装是没有文件的，先执行:mysql --verbose --help | grep my.cnf得到:/etc/my.cnf /etc/mysql/my.cnf /usr/local/etc/my.cnf ~/.my.cnf新建一个my.cnf文件sudo vim my.cnf然后将# Example MySQL config file for medium syste

事务的并发带来了什么问题脏读当一个事务正在访问数据，并且对数据进行了修改，而这种修改还没有提交到数据库中，这时，另外一个事务也访问这个数据，然后使用了这个数据。例子：1. 张三初始工资1000元，人事修改为2000 但是未提交2. 张三读取工资 发现修改为2000 3. 人事发现修改错误，回滚了提交。张三再读发现变成了1000张三读到的2000就是脏数据幻读指事务不独立执行时发生的现象，表现为新增删除的时候。 事务A操作所有数据,变更了所有行的数据。然后事务B新增了一条

为什么要加锁在显示开启事务的情况下，如果不加锁 执行下面的则会出现数据的异常。会丢失更新InnoDB锁类型常见概念乐观锁 悲观锁乐观锁和悲观锁是两种并发控制的思想，可用于解决丢失更新的问题。悲观锁和乐观锁，也并不是 MySQL 或者数据库中独有的概念，而是并发编程的基本概念。主要区别在于，操作共享数据时，“悲观锁”即认为数据出现冲突的可能性更大，而“乐观锁”则是认为大部分情况不会出现冲突，进而决定是否采取排他性措施。乐观锁:通过版本号/cas算法实现 ABA问题悲观锁:synchron

docker的安装通过uname -r命令查看你的当前的内核使用root登录，确保yum包更新到最新yum -y update卸载旧版本yum remove docker docker-common docker-selinux docker-engine安装需要的软件包yum install -y yum-utils device-mapper-persistent-data lvm2设置yum源 并更新yum包索引yum-config-manager --add-repo