切克闹的博客

原创 config should be a string or a nested array of strings up to 10 levels deep

config should be a string or a nested array of strings up to 10 levels deep

原创 log4j 1.x 升级到 2.x 依赖不兼容问题的解决

文章目录1. 前言2. 解决3. 后记1. 前言log4j 出现了重大漏洞，黑客可以通过ldap的注入漏洞而篡改后台代码，因而全球的技术部门几乎在同一时间进行着log4j的升级。我司一个老产品用的是log4j 1.2.15的版本，虽然并不受这次漏洞的影响但领导还是要求升级到最新的log4j 2.1.17产品架构采用jersey作为web框架，再部署到tomcat作为容器启动直接替换jar，移除log4j 1.2.15版本的jarlog4j-1.2.15.jar，增加新版本jar:log4j-1.2

原创 SQL 时间中取日期 Date()

从一个时间字段start_time'2020-01-01 7:00:00'中得到日期，可以使用Date()函数：date(start_time)可以使用在查询中：select tag, date(start_time) start_time from A;可以使用在条件或分组、排序等语句中： select t2.tag, date(start_time) start_time, sum(if_like) if_like,sum(if_retweet) if_ret from tb

原创 SQL 计算时间差 timestampdiff

计算start_time与end_time相差的时间：timestampdiff(second,start_time,end_time)第一个参数为返回值的单位：枚举为：DAY、HOUR、MINUTE、SECONDNote: 结果只会取整！

原创 SQL 日期比较 datediff

datediff(date1,date2) 返回 date1-date2的相差天数。用在select语句：select datediff(date((select max(start_time) from tb_user_video_log)),date(start_time)) from tb_user_video_log用在where条件：where datediff(date((select max(start_time) from tb_user_video_log)),date(st.

原创 数仓建模理论——高质量数据建模

数据模型的概念和意义 - DIKW低质量数据模型十宗罪：没有准确的不过到需求：调研不完备，理解不充分，缺乏沟通，测试不足,etc. 造成后期大量的调整数据模型不完整：a. 设计时对需求把握不准确，缺少相关表，不能覆盖需求。b. column限制，表、字段描述信息缺失。各层模型与其扮演角色不匹配。（概念模型，逻辑模型，物理模型）数据结构不合理。主键一定不能为空，相同字段在不同表里定义必须一致。抽象画不够，造成模型不灵活。没有或者不遵循命名规范。缺少数据模型的定义和描述。库改了很多轮模

原创 Hive 调优总结2

无需MapReduce在hive-default.xml中hive.fetch.task.conversion默认是more，老版本是minimal，该属性改为more后，在全局查找、字段查找、limit查找等都不走mapreduce。Expects one of [none, minimal, more]. Some select queries can be converted to single FETCH task minimizing latency. Currently .

原创 Hibernate 一级缓存源码级

>一. 一级缓存是Session级别的。二. 判断Entity是否存在于缓存中是根据`Identifier`区分。三. 当从DB query回结果，会根据结果中的数据生成`Identifier`与缓存中的`Identifier`比较。如果不存在则存入缓存，如果存在则无操作。四. `session.setCacheable(true)`，同一条重复的SQL完全从缓存中读取数据跳过DB。五. `session.setCacheable(false)`，执行（3.）中的逻辑。 六. 因此只能跳过读取DB

原创 Hive 调优总结

1. 通常，可以通过设置属性hive.map.aggr值为true来提高聚合的性能。hive.map.aggr=true;这个设置会触发在map阶段的“顶级”聚合过程。（非顶级的聚合过程将会在执行一个GROUP BY后进行）不过这个设置将需要更多的内存。2. 无需MapReduce也就是所谓的本地模式。Hive可以简单的读取employees对应目录下的文件。例如：select * from employees;或者加where和limit也是可以的。此外，如果属性hive.exec.mo

原创 Kafka权威指南 —— 读书笔记

Kafka权威指南，Apache Kafka

原创 Hive 练习（带数据）

Hive HQL

原创 MapReduce - Hadoop Streaming - 练习

几个入门级别的MapReduce练习基于版本：Python2.6.6，Hadoop2.6.5

翻译 HDFS 2.6.1 Command

HDFS命令shiyongappendToFilecatchgrpchmodchowncopyFromLocalcopyToLocalcountcpdudusexpungegetgetfaclgetfattrgetmergelslsrmkdirmoveFromLocalmoveToLocalmvputrmrmrsetfaclsetfattrsetrepstattailtesttex

转载 Derby数据库如何返回指定行数

derby limit

原创 Hibernate 启动问题： A ResourcePool could not acquire a resource from its primary factory or source.

com.mchange.v2.resourcepool.CannotAcquireResourceException: A ResourcePool could not acquire a resource from its primary factory or source.java.sql.SQLException: Connections could not be acquired from the underlying database!

原创 attempted to assign id from null one-to-one property [com.xxx.xxx]

attempted to assign id from null one-to-one property

原创 [INS-20802] Oracle Net Configuration Assistant

原因：LISTENER 没有启动解决办法：在安装路劲下找到\V982656-01\bin\lsnrctl.exe双击打开lsnrctl.exe执行命令start LISTENERe.g.LSNRCTL for 64-bit Windows: Version 19.0.0.0.0 - Production on 31-8月 -2020 13:19:57Copyright (c) 1991, 2019, Oracle. All rights reserved.欢迎来到LSNRCTL,

原创 英语语法——特殊结构

1. 补充 as 专题as 意思总结as+n 作为v+…+as 此时as的意思取决于前面动词- regard… as…- view… as…- define… as…- classify… as…as + 句子 as可翻译成：当…时候、因为、虽然尽管、好像似乎、和…一样。还有可能是定语从句。As a logic consequence of this development, separate journals have now appeared aimed mainly towar

原创 五天搞定英语语法系列汇总

直接开整：1. 简单句–了解句子的组成部分和必要成分2. 并列句– 简单句组合成并列句的方法3. 名词性从句– 用从句拉长句子4. 定语从句– 用从句完成修饰5. 状语从句– 用从句完成修饰6. 句子成分小结– 不同词性可充当的成分7. 特殊结构– 强调，倒装，虚拟完结...

原创 英语语法——句子成分总结

主谓宾表同定状n实义动词nnnnadv代系动词代代代代介短非非非非非非从句从句从句从句从句从句adjadj介短介短表语是修饰主语的，定语是修饰名词的，二者成分一致。举例1：My ma is an elegant lady.My ma is a lady of elegance.My ma is a lady as elegant as a lily.My m...

原创 英语语法——状语和状语从句

状语 状语从句 考研英语 英语

原创 英语语法——定语从句

考研英语 定语 定语从句

原创 英语语法——名词和名词性从句

一、名词能充当的成分主语，The movie looks terrific.宾语，I admire his mother表语，Gump is a man.同位语，I enjoy the part, the beginning.同位语：用来解释名词的成分。I like Eason, a well-known singer from Hongkong....

原创 英语语法——并列句

一、什么是并列句就是用连词连接两个句子。I love you, you love that dog. //上一讲已经讲过这句存在语法错误。改写：I loving you, you love that dog. // 独立主格I love you but you love that dog. // 并列句Although I love, you love that dog. // 让步状语从句二、常见的并列连词平行：and, not only... but also...similarly

原创 英语语法——简单句

一、什么是英语句子二、句子的基本结构一、什么是英语句子英语的句子必须具备主谓结构。主语一定是谓语动作的发出者。如果有宾语，宾语一定是谓语的承受着。首都机场就要到了。The airplane is arriving the airport. 我要去剪头。误：I will cut my hair.(我剪我自己头？？？） ==》一个理发师将要为我剪头。我要求一个理发师为我剪头。 猪喂了吗你？（实际主语是你，谓语喂，宾语猪）二、句子的基本结构1. 主谓 He died...

原创 java.util.logging简介

Improper Output Neutralization for Logs (CWE ID 117)java.util.logging.Logger

原创 机器学习 算法基础 十一 EM算法

原创 机器学习 算法基础 十 聚类

聚类聚类是针对给定的样本，依据他们特征的相似度或距离，将其归并到若干个“类”或“簇”的数据分析问题。在某些场景下聚类和降维是一个意思。聚类算法只作为pipline上对特征降维使用。相似度/计算方法当 μx==μy==0\mu_x == \mu_y == 0μx​==μy​==0 时二者相同K均值所以我们希望在初始的时候四个聚类中心互相离的远一点。...

原创 机器学习 算法基础 九 SVM实践

SVM代码实践这里写自定义目录标题练习1：鸢尾花分类练习2：SVM实现一个多分类器练习3：SVM选用不同核参数练习4：手写数字识别练习1：鸢尾花分类#!/usr/bin/python# -*- coding:utf-8 -*-import numpy as npimport pandas as pdimport matplotlib as mplimport matplotl...

原创 机器学习 算法基础 八 SVM

支撑向量机(Support Vector Machine): 在19世纪末火爆十年分类模型学习内容：目标函数，计算过程和算法步骤，线性SVM，增加软间隔达到线性可分的SVM（分类效果更好），核函数，参数的计算方法SMO。各种概念线性可分SVM：数据集存在一条抽象的线可以完全将数据分成两类。线性SVM：允许一定错误率的前提下，才满足第1条。非线性SVM：核函数。线性可分SVM...

原创 CSDN写博客（MarkDown） 输入矩阵的方式

$$\begin{gathered}\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix}\quad\begin{pmatrix} 0 & -i \\ i & 0 \end{pmatrix}\quad\begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix}\quad\be...

原创 机器学习 算法基础 七 XGBoost

XGBoost 练习

原创 机器学习 算法基础 六 提升 Adaboost

什么是Adaboost?AdaBoost算法: 通过迭代弱分类器而产生最终的强分类器的算法，可以理解为在弱分类器之上增加了权重配置，使误差率小的分类器拥有更高的权重。我们已经学习过决策树这种分类器，并且知道可以通过随机森林的方式完成样本加权、分类器加权，从而使得由弱分类器得到强分类器。Adaboost就是分类器加权的一种方式，即多个分类器的集成。提升概念提升算法预...

原创 机器学习 算法基础 五 决策树实践

决策树代码练习例子代码实践注意代码安装完py依赖包后还需要安装Graphviz用于生成树结构图官方windows版本下载链接然后把 bin默认安装路径C:\Program Files (x86)\Graphviz2.38\bin添加到系统环境变量PATH，重启IDE就可以使用了。练习1：决策树#!/usr/bin/python# -*- coding:utf-8...

原创 机器学习 算法基础 四 决策树

决策树的好处训练速度快如何建立树？假设有N个样本：[n1,n2,n3,...nn]将N个节点都列为root节点假设有N个样本：[n_1,n_2,n_3,...n_n]将N个节点都列为root节点假设有N个样本：[n1​,n2​,n3​,...nn​]将N个节点都列为root节点，现在给出分类的标准(切一刀分成两部分)，讲样本分类成左边有N1个样本，右边有N2个，则N1+N2...

原创 机器学习 算法基础 三 回归实践

AUC注：多分类问题可以退化成二分类问题，后面的笔记会涉及到此类问题

原创 机器学习 算法基础 二 回归

机器学习 算法基础 回归

原创 机器学习 算法基础 一

最大似然估计 数据清洗 特征提取

原创 机器学习概论

机器学习基础-每日目标完成机器学习基础理论知识学习，为推荐系统算法实践提供理论基础，为成为一名算法工程师或推荐算法工程师构建基础理论体系。今日大纲推荐系统-机器学习理论基础详解1.大数据时代究竟改变了什么？(了解)3.大数据项目架构-以电信日志分析为例(理解)5.机器学习-人工智能概念区别和联系(掌握)6.机器学习-数据、数据分析、数据挖掘区别和联系(掌握)7.什么是机...

原创 Linux wc 命令统计行数 统计日志

Linux wc 命令统计行数 统计日志 wc命令 wc分析日志