- 博客(128)
- 收藏
- 关注
RSS订阅原创 MySql拓展
目录1 分区及分表http://blog.csdn.net/yongchao940/article/details/552666031.1 横向分区与纵向分区1.2 分区的内在涵义1.3 分区的常见语句及注意事项1.4 分区和索引1.5 MySQL分表2 binlog2.1 binlog2.2 binlog开启2.3 binlog试用2....
2020-03-22 16:41:02
464
原创 精益数据分析-读后感
目录一、精益意识二、指标选择的指导思想三、指标选择实践一、精益意识精益创业-》精益数据分析我们必须灵活应变，已发展的眼光来看企业的问题。企业有着其生命周期，创业不同的阶段的关注点不同，因为首先需要对自身企业所处的阶段有一个明晰的定位。在不同的阶段 重点考察不同的指标。比如初期关注用户的增长，后期关注营收。二、指标选择的指导思想1.指标应该是比率形式，具...
2020-03-22 16:36:29
547
原创 动态规划DP学习
目录1 DP理论1.1 简介1.2 基本思想1.3 适用场景1.4 其他2 DP实例2.1 杨辉三角2.2矩阵取数问题2.3 最长子串2.4 背包问题3 dp总结1 DP理论1.1 简介动态规划(dynamic programming)是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。20世纪5...
2020-03-22 16:35:22
369
原创 时序分析-季节因素
目录1时序分析的基础1.1 简介1.2 分类2 分析套路3 主流时序分析模型3.1移动平均3.2 指数平滑法3.3 组合模型3.4 ARIMA4 研究细分领域4.1 异常值检测4.2 季节序列分析4.1 同期平均法4.1.1 简单季节指数法4.1.2 趋势季节指数法4.2 长期趋势剔除法4.2.1 长期趋势剔除法+简单移动平...
2020-03-22 16:31:38
8614
1
原创 ARIMA学习
目录1 ARIMA理论介绍1.1 模型构成1.1.1 AR模型1.1.2 MA模型1.1.3 ARMA模型1.1.4 I差分1.2 模型定阶2 模型分析2.1 是否选择ARIMA模型2.1.1 Prophet2.1.2 holt-winter模型2.1.3 ARIMA模型2.2 实现方式2.2.1 Python实现2.2.2 Jav...
2020-03-22 16:23:02
1359
原创 概率论学习
目录1 描述性统计1.1 描述集中趋势1.2 描述离散趋势1.3 分布2 推断性统计2.1 参数估计2.2 假设检验4 相关分析：4.1 回归分析4.1.1 一元线性回归4.2 时间序列分析5 其他5.2 协方差9 参考资料1 描述性统计1.1 描述集中趋势变异系数是无单位指标(无量纲量)移动平均其实就可以用来反应整体趋势...
2020-03-22 16:19:10
167
原创 贝叶斯及贝叶斯网络
目录1 贝叶斯理论1.1 简介1.2 相关概念2 朴素贝叶斯2.1 思想2.2 应用举例2.3 使用形式与场景2.4 难点3 贝叶斯网络9参考资料1 贝叶斯理论1.1 简介从一阵子复习了统计与概率论，应该是属于频率派。频率派把需要推断的参数θ看做是固定的未知常数，即概率虽然是未知的，但最起码是确定的一个值，同时，样本X 是随机的，所以频...
2020-03-22 16:17:52
556
原创 Kafka学习
目录一、基本概念1.1 问题1.2 相关概念二、 push or pull三 存储机制四 高可用五 资料一、基本概念http://dataunion.org/6275.htmlhttp://valleylord.github.io/post/201607-mq-kafka/1.1 问题## 解决了什么问题## 和相关产品的差异1.2 ...
2020-03-22 16:09:14
121
原创 Druid学习
1 基础介绍1.1 特点支持流式数据的摄入以及现场聚合内存化 字典 位图 编码index （哪些部分聚合，如何内存化、如何建立索引）水平扩展？？？实时分析： 历史数据以segment的形式组织。轻聚合的数据存储在哪？ Hbase还是hdfs???聚合是实时聚合？？？1.2 基本概念1.2.1 数据格式时间列、维度列、指标列1.2.2 数据摄入实时...
2020-03-22 16:05:13
650
原创 Java-JVM
目录1 Java与jvm1.2 JVM1 JVM模式Java是编译型和解释型混合 mixed modejava的解释器逐条解释，这个逐条解释的问题就是我们理解的那个逐条解释，也就是说如果有个for循环，解释器在每个循环都会解释执行循环体。针对这种场景，jvm采用JIT的方式的进行优化，将这种循环体编译成机器码，这样就不用每次循环都去解释执行，而是直接执行，省去解释的过...
2020-03-22 15:49:41
109
原创 Netty基础
目录1 背景知识1.1 同步/异步 阻塞/非阻塞1.2 Unix 五种 I/O 模型1.3 Java NIO1.4 Netty疑问2 Netty2.1 Netty组件2.1 Channel2.2 回调&Future2.3 事件和ChannelHandler2.4 eventLoopGroup eventLoop3 problem3....
2020-02-11 19:32:31
317
原创 一致性原理学习Raft&Consul
目录1 简介1.1 一致性简介1.1.1 一致性的描述性定义1.1.2 一致性和CAP理论1.2 一致性协议/算法发展历程2 Raft协议原理2.1 Raft协议简介2.1 Leader选举2.1.1 选举简述2.1.2 选举细节2.1.3 实例分析-异常情况2.1.4 选举问题分析2.2 日志复制2.2.1 日志复制原理2.2.2...
2020-02-11 19:30:51
1457
1
原创 语法解析及Antlr
目录1 语法解析1.1 语法解析器1.1.1 执行流程1.1.2 语法树好处1.1.3 解析方法LL与LR1.1.4 抽象语法树（AST）1.2 语法规则文件2 Antlr2.1 解析方法2.1.1 递归下降语法分析器2.1.2 ALL(*)解析器2.2 语法解析树2.3 使用方法2.3.1 使用流程3 Listener ...
2020-02-11 19:28:00
4102
原创 字节码生成-ASM
目录1 ASM介绍2 JVM2.1 动态生成/修改字节码理论基础2.2 class文件规范3 ASM编程模型3.1 编程模型3.2 demo0 参考资料1 ASM介绍ASM是一个Java字节码操纵框架，它能被用来动态生成类或者增强既有类的功能。ASM可以直接产生二进制class文件，也可以在类被加载入Java虚拟机之前动态改变类行为。Java cl...
2020-02-11 19:26:35
629
原创 索引和数据存储
目录1 磁盘相关1.1 基础认知1.2 case2 索引相关2.1 二叉树及b-tree问题2.2 b+tree 问题：2.1 LVM树3 关于内存寻址和磁盘寻址的一些思考7 总结8 疑问9 参考资料很久之前在看美团技术博客的时候，就对其中“磁盘预读和io”的章节的感觉理解得不是特别清晰，这也导致了从b-tree到b+tree的发展的背景或者说...
2020-02-11 19:24:43
373
原创 SQL解析工具对比分析
目录1 SQL引擎基础认知2 SQL工具引擎对比分析3 参考资料1 SQL引擎基础认知功能：将用户输入的SQL语句序列转换为一个可执行的操作序列，并返回查询的结果集。SQL的解析引擎包括查询编译与查询优化和查询的运行，主要包括3个步骤：查询分析 ---> 制定逻辑查询计划（优化相关）---> 制定物理查询计划（优化相关） 查询分析： 将SQL语句表...
2020-02-11 19:22:38
850
原创 ElasticSearch学习
目录1 基本概念1.1 检索概念2 Lucene2.1 简介2.1.1 Lucene基本流程2.1.2 Lucene特性说明2.2 基本概念及操作2.2.1 检索建模2.2.2 创建索引2.2.3 更新索引2.3 Lucene底层数据结构及原理2.4 Lucene的评分机制3 ElasticSearch3.1 定位及竞品对比3.2 分布式...
2020-02-11 19:19:22
220
原创 内存管理-分段加载查询数据调研
目录1 背景2 JDBC2.1 jdbc协议2.2 数据查询-JDBC实现2.2.1 Mysql3 使用游标分批获取数据3.2 Mysql&Doris3.3 Kylin4 Spring jdbcTemplates8 结论9 参考资料1 背景在处理天璇大查询的过程中，遇到一些问题： 哪些数据库能够实现分批加载(MySQL、Dor...
2020-02-11 19:15:36
285
原创 Java 对象占用内存大小探察
1 内存布局Java对象内存布局：对象头 + 实例数据 + 对齐paddingnote:对齐padding是这个内存对象布局计算padding的，和对象头没有关系1.2 指针压缩除了classPointer还能压缩哪些内容， 数组的对象头中的表示长度的为啥也能压缩？？？note:指针压缩对于jdk1.8是默认开启的，实验的不用时去开启1.32 对象头64位机器：...
2020-02-11 19:13:48
203
原创 java 并发编程
1 并发编程模型1.1 jdk并发模型1.1.1 基本概念RunableFuture体系，代表执行逻辑及执行结果的获取。Executor体系代表这对任务生命周期的管理。AbstractExecutorService 抽象类对接口的部分实现。ThreadPoolExecutor表示线程池(线程全生命管理者)。AbstractExecutorService实现了sub...
2020-02-11 19:12:03
264
1
原创 mac pro如何玩自走棋
1 由于完美的dota2 国服客户端呢只有win版。因此我们需要使用steam来安装 dota2 客户端。2 下载steam --> 在steam官网下载了个，是英文版的。steam是英文，感觉没啥影响，就这样了3 安装DOTA2，然后启动 --> 默认启动不是国服4 设置启动选项 -perfectworld -->发现界面语言还是英文 继续加启动项 -la...
2019-04-12 19:54:25
7528
原创 Docker理论与实践
1 docker入门1.1 安装https://cloud.tencent.com/developer/article/1108133建议使用brew cask安装，安装完成后，会在mac的应用菜单中看到；也可以使用命令行查看 1.2 注册docker账号略1.3 配置加速器获取最新镜像，加速镜像拉取https://www.docker-cn.com/regis...
2019-02-19 23:42:21
154
原创 虚拟化基础学习
1 虚拟化基础1.1 虚拟化相关关键词：虚拟机 VMware、OpenStack、 容器 、Docker、K8s、Hulk虚拟化:不同层次的虚拟(虚拟机、容器）1.2 容器的优势容器的优势：基于系统内核实现的隔离，所以是系统之上的一种环境，像个沙箱。所以启动速度非常快，是秒级的。虚拟机启动是分钟级的而且容器占用的空间非常小，只有几M；虚拟机占用1~2G虚拟机生态...
2019-02-19 23:40:39
217
转载 Java8-如何将List转变为逗号分隔的字符串
转自：https://blog.csdn.net/benjaminlee1/article/details/72860845Converting a List to a String with all the values of the List comma separated in Java 8 is really straightforward. Let’s have a look how...
2018-09-14 11:57:42
7521
原创 Error : Truncated incorrect DOUBLE value & ON DUPLICATE KEY UPDATE
1 背景建表语句：CREATE TABLE `student` ( `id` int(11) DEFAULT NULL, `cname` varchar(30) DEFAULT NULL, `score` double DEFAULT NULL, `age` int(11) DEFAULT NULL, `sex` tinyint(4) DEFAULT NULL, ...
2018-08-21 19:54:42
578
定时调度
Springboot定时调度1 方法一只是说是 fixedRate 任务两次执行时间间隔是任务的开始点，而 fixedDelay 的间隔是前次任务的结束与下次任务的开始。@Configuration@EnableSchedulingpublic class SchedulingConfig { @Autowired XXX xxx @Scheduled(fixe...
2018-08-08 20:54:45
201
原创 Java8新特性实践
在Presto中有大量Java8新特性的使用，非常值得学习。这些新的特性，为‘优雅编程’提供了大量的实践方式。1 Optional这个其实源自Guava的optional类，使用该类可以从代码形式上有效的减少ifnull的判断，使得代码简洁不少，逻辑更加清晰。1.1 Optional创建1.1.1 of/ofNullable/empty1.1.2 判空ifPresent这个...
2018-08-07 19:29:56
380
原创 Hive原理及优化
1. join原理(common join)join 以连接字段为key，通过shuttle的过程，将待连接的两张表的相同key的记录打到一个reduce节点上，在该节点上对这两张表的记录进行合并。还有一种特殊的join方式 就是map join。顾名思义就是在在map端进行join，其实现的基础是小表放入内存和大表比对，然后完成join。如果产生了数据倾斜，而且符合这种大...
2018-08-05 12:16:48
954
原创 Presto相关算子
1 所有查询基于 select nationkey,sum(totalprice) from orders a left outer join customer b on a.custkey=b.custkey group by nationkey;2 逻辑节点1 ScanFilterAndProjectOperator(SourceOpeator)1.1 重要方法不需要a...
2018-08-05 12:12:21
1756
原创 presto整体流程及重要概念
1 Presto概览1.1 presto设计思想及特点多数据源：且支持扩展计算方式：完全基于内存进行计算，并没有使用mapReduce。支持标准SQL：pipeLine设计:这个pipeLine如何理解？？？ 1.2 基础架构及执行过程典型的主从架构，coordinator负责调度，worker上的进程负责接受调度，执行具体的task。每个task读入具体...
2018-08-05 12:11:05
7328
2
原创 深入Java虚拟机之Gc
1 gc1.1 堆内存分布jvm的内存中堆内存所占比例最大。内存回收主要是针对堆内存的，当然永久代(以前的名字)也会有gc。堆内存分为年轻代和老年代，这两者在堆内存上的默认比例是1：2。也就是说年轻代大约占堆内存的1/3。1.2 gc时机minor gc的发生full gc发生1.3 gc算法1.3.1 对象存活判断首先GC主要是针对堆内存的gc。gc...
2018-08-03 11:55:34
172
原创 Spring注解问题
1 注解单例问题component和Service和controller注解问题三个注解都是单例。突然一下发蒙，忘记了这个地方的注解的单例是什么意思。spring框架怎么会使得一个类成为单例，一个类成为单例得把构造方法设为私有。spring框架也完成不了啊。后来查阅资料发现，这里的单例是指被注解的类是多个请求对应着一个对象，还是来一个请求创建一个对象。 2 contro...
2018-08-02 15:27:09
288
原创 FastJson和get方法的问题
fastJson转化为字符串时其中的key的决定因素：在项目过程中使用FastJson发现其序列化对象为Json字符串的时候是依赖getXX方法的，即将所有get开头的方法后xx都会变成json字符串中的一个key。即key是依赖get方法。Gson在这方面则完全是依赖于属性的，和get/set方法无关问题：但是却没有提供方法层面对哪些序列化和非序列化的控制（只能作用在属性上进行控...
2018-08-01 23:13:15
8231
原创 关于思维和方法论类书籍的一些思考
1 思维类书籍 国外这种思维类书籍比较多，有一些在国内还是鼎鼎大名。其中有些倍为推崇有： 《金字塔原理》《你的灯还亮着》《高效能人士的七个习惯》等。 这些书以前就细致读过，工作后再拿来翻翻，每次读都有一些不同的感受。 其中有个感受是越来越强了。那就是花时间读这些书，不值啊。其实并不是说这些书没有道理，而是说花费的时间与收益完全不成正比，不值当。 1.1 高效能人士的七个习惯书中提到的七个习惯，哪个...
2018-07-14 12:20:17
7192
原创 数据仓库之维度
变化维度缓慢变化维度(SCD)SCD处理方法一般有三种 scd分析覆盖旧记录如果符合要求，这是最简单的处理方式添加一列xx, yy, new_attr, old_attr 优势: 省空间，把变化前后的属性放在一起，能直观的反映属性的变化 劣势: 只能追溯前一次的属性，也就是只能反映属性的一次变化拉链表拉链表，极限存储，但是无需为了拉链而拉链。能用第二种方法解决就无需拉链。大部分场景都是反映最近
2017-12-10 20:07:11
880
转载 MySQL 整型长度的含义
转自：http://www.jianshu.com/p/61293b416335发现公司数据库中很多整型数据限定了长度, 明显不是为了 "Zerofill/补零功能". 推测大家可能是搞错了"整型长度"的含义, 误以为"整型"后面的数字代表的是"允许存储的最大宽度", 比如, 误以为 int(1) 不能存储 10.PS. MySQL的 int 和 tinyint 的默认长度是 int(11) 和
2017-10-21 17:09:38
4732
1
原创 mac下载神器
http://bbs.feng.com/read-htm-tid-9585996.htmlhttp://www.jianshu.com/p/1290f8e7b326http://www.jianshu.com/p/d7e01982e474chrome被劫持，一直弹出到天猫超市或者天猫精选页面。
2017-04-05 11:04:55
535
原创 brew install 报错Cowardly refusing to `sudo brew install
现象如下图解决办法 如上图 原因是权限不够
2016-06-06 23:06:59
740
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人