- 博客(25)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 80386寄存器
寄存器通用寄存器（32位）EAX:extensions accumulator register 低16位AX，高8位AH，低8位ALEBX:extensions base indexECX:extensions countEDX:extensions dataESP:extensions stack pointerEBP:extensions base pointerEDI: extensions destination indexESI:extensions source index
2021-10-12 19:43:38
156
原创 kylin的cube优化
1 针对按照时间分区的分区表，可以设置增量构建cube，partion start date 设置开始日期，auto merge thresholds 表示 每日构建一个segment, 7 天小合并，28天大合并2 设置聚合组，可以设置多个聚合组，inclues选定该聚合组的维度，mandatory 设置必选维度， hierarchy 设置层级维度， joint 设置1：1 出现的维度 例如province_id 与 province_name3 rowkey 设置， 频繁使用的过滤条件.
2021-03-31 17:08:21
122
原创 sqoop同步数据流程decimal
sqoop同步数据流程decimal文章目录sqoop同步数据流程decimal指定输入类指定orm指定输入类指定输出类指定输出路径指定mapper类map方法toAvro方法record 的put 方法第二步merge任务入口merge目录runMergeJob方法配置output配置mapper和reduce方法merge过程的map方法merge的reduce方法源码修改的源码指定输入类指定输入类ImportJobContext.classpublic ImportJobContext(
2021-03-29 13:27:07
395
原创 触发式azkaban
触发式azkaban文章目录触发式azkaban流程图添加任务执行azkaban任务获取sessionIdshell脚本中的回调命令azkaban回调函数流程图添加任务添加任务ZSYMethodsInfoServiceImpl.java // 添加任务 methodStatJobMapper.insert(methodStatJob); // 如果当前没有任务，该任务状态直接变为prepare,直接执行 if (methodStatJob
2021-03-26 12:05:21
294
1
原创 okhttphelper
okhttphelper文章目录okhttphelperokhttphelperokhttphelperokhttphelperOKHttpHelper.class//// Source code recreated from a .class file by IntelliJ IDEA// (powered by FernFlower decompiler)//import com.alibaba.fastjson.JSONArray;import com.alibaba.f
2021-03-26 10:28:24
254
原创 后端接口访问控制
后端接口访问控制文章目录后端接口访问控制filter过滤器filter过滤器接口filter过滤器配置类aopContext类filter过滤器filter过滤器ZSYUrlFilter.javapackage com.zhixinhuixue.armor.filter;import com.alibaba.druid.util.DruidWebUtils;import com.auth0.jwt.JWT;import com.auth0.jwt.JWTVerifier;import
2021-01-05 18:17:30
615
1
原创 ES中语句查询
ES中语句查询es语句es语句#get 请求logstash-zsy-api索引，logs类型的内容GET /logstash-zsy-api/logs/_search { # 查询结构不展示 "size": 0, "query": { "bool": { "must": [ { "match": { "requestUri": "GET[/ims/goods/up/list]" }
2020-12-31 15:43:35
269
原创 shell调度kylin的cube构建任务
shell调度kylin的cube调度任务shellshell 1 #!/bin/bash 2 3 echo "kylin_host_port:${1}" 4 echo "cube_name:${2}" 5 6 kylin=${1} 7 cube=${2} 8 9 # 构建cube 10 uuidstr=`curl -X PUT --header "Authorization: Basic YWRtaW46S1lMSU4=" --header 'Content-
2020-12-22 17:09:40
267
原创 pyenv和virtualenv
sources.listdeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bio
2020-12-20 18:42:15
82
原创 kylin构建cube
kylin 的cube 构建1 新建项目(略)2 新建model2.1选事实表和维度表如果维度表小，可以存到内存中，就不用skip snapshot for this lookup table2.2 维度2.3 度量2.4 过滤条件3 新建cube3.1 维度选择（维度表的method_name的类型为derived，构建cube时不计入cube的维度，cube构建后通过外键method_id来推导出来method_name对应的维度信息）...
2020-12-18 15:01:31
101
原创 kylin的datasource配置
kylin的datasource配置文章目录kylin的datasource配置parquet(decimal)kylin的datasourcekylin 配置获取kylin datasourceconnection 的代理对象生成构造方法invoke方法wait方法notify方法parquet(decimal)spark写parquet数据，decimal类型在hive中无法识别问题解决StudentExamScoreStatSpark.java//处理个别数据类型(eg. decimal
2020-12-18 12:11:35
473
原创 logback配置文件
logback配置文件文章目录logback配置文件logback-spring.xmllogback-spring.xmllogback配置文件logback-spring.xml<?xml version="1.0" encoding="UTF-8"?><configuration debug="false"> <!--定义日志文件的存储地址 勿在 LogBack 的配置中使用相对路径--> <!--定义变量，在下面可以通过${x
2020-12-18 00:13:38
65
原创 gradle 构建 idea 插件
一 配置gradle1 官方网站：https://gradle.org/install/#manually提供了两种下载方式，Binary-only是只下载二进制源码，Complete, with docs and sources是下载源码和文档。如果有阅读文档的需求可以下载第二个，没有需要的下载Binary-only即可。2 配置环境变量（gradle user home 使用maven 仓库），并添加到path 路径3 配置gradle仓库源allprojects {..
2020-12-11 12:03:03
787
原创 idea 插件文档
idea 插件文档文章目录idea 插件文档新建action展示添加笔记标题备注弹窗笔记列表对话窗笔记列表对话窗补充写出文档使用freemark写文档接口写文档具体实现ftl文件新建action新建一个action，在右键菜单栏中多出一个添加笔记的工具，并且通过api 获取选取的内容以及文件名称和文件类型，将这些信息保存在公共类中，方便掉用PopupAction.javapublic class PopupAction extends AnAction { /** * 获
2020-12-11 00:24:15
717
1
原创 hive 列转行，行转列
1 列转行select * from student_relation 展示原始数据select master_student_id,student_id from student_relation lateral view explode(split(relation_student_id,',')) temTable as student_id 结果如下2 行转列select * from tmp 原始数据如下：select master_student_...
2020-12-07 14:10:54
101
原创 朴素贝叶斯
1 朴素贝叶斯的作用根据已有数据的概率（先验概率），推算全局数据的概率（后验概率）2 为什么叫‘’朴素''贝叶斯因为假定各个条件相互独立，而现实中这种场景基本不存在，由于严苛的假定条件，所以叫朴素贝叶斯3 为什么不能用已有的数据，推算概率因为 p(嫁|不帅、性格不好、身高矮、不上进) ！= p(嫁|不帅)* p(嫁|性格不好)* p(嫁|身高矮)* p(嫁|不上进)而p(不帅、性格不好、身高矮、不上进|嫁) = p(不帅|嫁)* p(性格不好|嫁)* p(身高矮|嫁)* ...
2020-11-27 12:41:50
155
原创 hbase入门
1 hbase 结构1.1 zookeeper1 master 保存master位置，利用zookeeper 选举机制避免master单点故障2 保存-root-表位置3 regionServer 注册到zookeeper, master 感应 regionserver的健康情况1.2 master1 regionserver 的负载均衡2 用户增删改查table数据3在Region Split后，负责新Region的分配4 regionserver 挂掉后，重新分配..
2020-11-17 19:33:19
250
原创 avro 序列化框架
1 问题描述mysql decimal 类型，通过sqoop 导入到hdfs 过程中，当decimal 精度小于等于18时，spark 无法解析2 原码片段avro fix 类型 需要byte 位数 根据decimal 的精度确定 public static final int[] PRECISION_TO_BYTE_COUNT = new int[38]; // 例如有4位精度，则Math.log(Math.pow(10.0D, (double)prec) - 1...
2020-11-13 18:25:33
343
原创 float 精度 问题
float 组成结构： 1 bit 符号位 + 8 bit 指数位 + 23 bit 尾数 指数位使用补码，（-128 ~ 127）尾数位使用科学计数法： 默认一位为1，不计算在 23 位范围之内， 2^23 =8388608 2^24 =16777216如果 一个数为16777217，用float 表示则会出现精度损失，所以 float 的精度保障7位，当小于16777216 ，可以保障8位学习float的时候，看到了补码，顺带复习一下：原码：...
2020-11-11 20:04:37
309
原创 vue生命周期(beforecreate,create,beforemounted,mounted)
代码var vm = new Vue({el: “#container”,data: {test : ‘hello world’},beforeCreate: function(){showData(‘创建vue实例前’,this);},created: function(){showData(‘创建vue实例后’,this);},beforeMount:function(){showData(‘挂载到dom前’,this);},mounted: function(){sh
2020-11-07 12:03:24
1133
原创 mysql字符集和字符序
1 概念字符集：mysql 数据字符编码方式字符序：mysql 数据字符排序的方式2 字符集类型和大小字符集类型：latin1,gbk,utf8,utf8mb4 四种类型字符集大小：Latin(1byte),gbk(2byte),utf8(<3byte),utf8mb4(<4byte)3 mysql涉及的字符集character_set_client：客户端请求数据的字符集character_set_connection：客户机/服务器连接的字符集character_set_
2020-11-05 13:39:55
407
原创 mybatis
web项目tomcat的个人理解浏览器通过ip:port可以访问到tomcat,在tomcat的webapp 下有已经发布的项目，项目结构为项目名，（jsp,web-info）,web -info 下包括（classes,web-xml以及lib）,浏览器通过url，访问指定的的servelet，如果没有这个servlet,那么会访问默认servlet (缺省)，该servlet 将会指向指向w...
2019-07-07 23:47:05
61
原创 bit byte ASCII码 utf-8 unicode
bit 最小单位byte 通常八位ascII : 一个英文字母，符号，一个字节（byte）utf-8 : 一个中文，中文符号，3个byte，英文都是一个unicode: 全部两个byte
2019-01-01 01:19:11
85
原创 python的运行以及import模块
python的运行有五种方式：1 控制台：python my.py2 python命令下：多行循环，例如for i=1,i<10,i++print(i)循环体结束后要连续按两次enter键，之后才能输出循环的内容3 IDE方式，eclipse和pydev的结合，是一种好的选择4 exec(xx.py) ,相当于把py文件复制到了exec处5 from … import … ...
2019-01-01 00:55:58
147
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人