- 博客(177)
- 资源 (35)
- 收藏
- 关注
RSS订阅
原创 ClickHouse原理及使用
一、ClickHouse 概述1.1 什么是ClickHouseClickHouse 是俄罗斯的 Yandex 于2016年开源的列式存储数据库（DBMS)，主要用于在线分析处理查询（OLAP），能够使用SQL 查询实时生成分析数据报告。1.2 什么是列式存储以下面的表为例：Id Name Age 1 张三 18 2 李四 22 3 王五 34 采用行式存储时，数据在磁盘上的组织结构为：好处是想查某个人所有的属性时，
2021-01-09 16:54:02
51854
27
原创 log4j2 的使用【超详细图文】
log4j2 的使用Apache Log4j2 是对Log4j 的升级版本，参考了logback 的一些优秀的设计，并且修复了一些问题，因此带来了一些重大的提升，主要有：异常处理，在logback中，Appender中的异常不会被应用感知到，但是在log4j2中，提供了一些异常处理机制。 性能提升，log4j2 相较于log4j 和 logback 都具有明显的性能提升，有18倍性能提升，后面会有官方测试的数据。 自动重载配置，参考了logback的设计，当然会提供自动刷新参数配置，最实用的就是
2020-12-06 16:11:03
59218
6
原创 干货资源下载 —— Java/Jvm/Flink/SparkML/MySQL/HBase/ElasticSearch
Flink_思维导图（干货）.xmind.zip 算法思维导图【全面】.xmind.zip Spark 机器学习.xmind.zip Java集合思维导图.xmind.zip TCP&SOCKET&三次握手全解.xmind.zip MySQL_思维导图(全面).xmind.zip 文章最后，给大家推荐一些受欢迎的技术博客链接：JAVA相关的深度技术博客链接 Flink 相关技术博客链接 Spark核心技术链接 ...
2020-09-20 09:30:14
2028
23
原创 什么是 DMP？
目录DMP （Data Management Platform）一、项目介绍二、技术方案DMP （Data Management Platform）数据管理平台，负责数据管理：收集用户数据；为用户数据打上标签；为DSP 提供数据服务业务介绍 技术实现对于业务介绍，比较困难的是理解广告交易过程中各个参与者是干什么的对于技术实现，大致就是如下两个步骤：报表 标签化报表显而易见，就是查看数据的组成，查看数据的图形直观特征标签化是整个项目的目的，最终其实就是要根据标签筛选
2020-09-19 17:28:59
18446
3
原创 深入聊聊Java 垃圾回收机制【附原理图及调优方法】
1、如何判断对象可以回收1.1引用计数法1.2可达性分析算法1.3四种引用2、垃圾回收算法2.1标记清除定义：Mark Sweep速度较快 会造成内存碎片2.2标记整理定义：Mark Compact速度慢 没有内存碎片2.3复制定义：Copy不会有内存碎片 需要占用双倍内存空间3、分代垃圾回收对象首先分配在伊甸园区域 新生代空间不足时，触发minor gc，伊甸园和from存活的对象使用 copy复制到 to中，...
2020-08-08 15:58:53
3702
8
原创 深入JAVA 的JVM核心原理解决线上各种故障【附案例】
什么是JVM?Java Virtual Machine - java程序的运行环境（java二进制字节码的运行环境）JVM好处？1、一次编写，到处运行的基石【重点】2、自动内存管理，垃圾回收功能【重点】3、数据下标越界检查4、多态，面向对象编程JVM、JRE、JDK三者比较：学习JVM有什么用？面试理解底层的实现原理中高级程序的必备技能JVM组成有哪些？常见的JVM涉及其关相关的技术链接：1.Hadoop相关技术博客链接2.S...
2020-07-30 20:23:41
4899
11
原创 超全干货--Flink思维导图，花了3周左右编写、校对
在流式分布式计算领域中，Flink可以和Spark Streaming、Storm叫板了。从我的使用流式情况来看，Flink在流式处理这块完全可以代替其他的框架了。Flink技术点多，容易忘记，为此专门整理了Flink思维导图。方便记忆。超级干货--Flink思维导图，花了3周左右编写、校对。下载链接：Flink_思维导图（干货）.xmind.zip以下是我自己整理的Flink相关笔记，同时与主流的Spark Streaming进行类比：JobManager，相当于Spark 中的Appl
2020-07-18 11:59:35
5369
12
原创 记删除CK不彻底问题 及 新增表TTL机制
这里有一种办法是找到ClickHouse安装目录下的配置文件，通常是/etc/clickhouse-server/config.xml。修改 并开启这两处配置，同时one by one 一台台节点修改重启，不建议大批量操作 防止业务数据查询受到影响。参考文章：https://blog.csdn.net/weixin_43464964/article/details/117459652。如果是表中数据量过大，默认CK是将超过50G 删除会不生效；但CK 删除数据是异步的 并不会报错提示数据未删除失败；
2023-12-16 12:04:37
467
原创 大数据仓库建设质量度量体系构建【已实践】
先来回忆一下数仓建设经常遇到的一些坑 或 现象~ 还在为如何评估数仓建设质量而犯愁么？本文在常规的分层建设、划分主题外将带大家一起探索出了一条可在大、小团队均可实施落地的数仓建设质量体系构建之路。 为此，从完善度、复用度、规范度、资源度全面衡量数仓建设质量。那问题来了，如何构建这4个核心指标呢。如下表所示： 现在有了数仓质量的度量指标体系，新问题也来了。现有的任务及库表在线上运行及相互依赖引用极多，直接贸然改动可能引起线上问题！！！那该如何“落地”呢？1、任务名称规
2022-10-24 22:38:02
687
原创 算法 —— 如何计算时间复杂度
Trie 树，即字典树，又称单词查找树或键树，是一种树形结构，是一种哈希树的变种。O(1): Constant Complexity: Constant 常数复杂度。O(log n): Logarithmic Complexity: 对数复杂度。O(n): Linear Complexity: 线性时间复杂度。O(n^2): N square Complexity: 平方。O(n^3): N square Complexity: 立方。O(2^n): Exponential Growth: 指数。
2022-10-07 15:58:14
909
原创 新测有效 -- Mac里Beyond Compare提示:授权密钥已被吊销
新测有效 -- Mac里Beyond Compare提示:授权密钥已被吊销
2022-07-01 10:49:00
1428
2
原创 卷起来 -- 数据结构与算法
线性结构线性结构作为最常用的数据结构，其特点是数据元素之间存在一对一的线性关系。 线性结构有两种不同的存储结构，即顺序存储结构【顺序表】和链式存储结构【链表】。 顺序存储结构的线性表称为顺序表，顺序表中的存储元素是连续的。 链式存储的线性表称为链表，链表中的存储元素不一定是连续的，元素节点中存放数据元素以及相邻元素的地址信息。 线性结构常见的有：栈、数组、队列、双队列、串(一维数组)、链表和栈。非线性结构非线性结构包括：二维数组，多维数组，广义表，树结构(二叉树等)，图结...
2022-03-11 14:34:59
862
原创 2021年收获满满，感谢粉丝、感谢自己
一、工作2021年全职在一线互联网大厂工作满1年了，这段时间经历了太多。从1到多，在工作中寻找方法，承担更多的责任这一年工作量在逐渐增加，自己负责的从单个模块逐渐扩展到多个项目中的多个模块，对接的项目组也从1个增加到4个。转变最大的就是承担责任的勇气和解决问题的能力——从“这个做不了”逐渐转变为“这个可以这样试试”不得不提一句，稿定设计的技术氛围、工作氛围都非常赞！在这里我得到了足够的成长～希望今年我能更加热爱coding。完成职级晋升在11月份参加了职级晋升，经过答辩“轻松”的晋
2022-01-03 21:10:24
767
16
原创 互联网指标体系构建及分析方法
帮助互联网创业公司搭建从0到1的指标体系建设，重点关注第一关键指标（One Metric）、AARRR（海盗）模型；根据自身产品的MVP阶段、增长阶段、变现阶段的划分以及数据的大、全、细、时特点，利用代码埋点、可视化埋点、无埋点等方式进行全部数据源采集，方便后续的多维数据建模及数据分析。
2021-12-26 13:01:52
3559
16
原创 在大厂的数据工程师工作日常工作分享
目录一、 本人大数据工作内容？二、高级/资深大数据架构涉及哪些内容？三、大数据学习路线？ 四、送给在学习路上的小伙伴一些建议首先说明一下数据类的岗位在大厂是会再细分，具体有数据工程、数据分析、数据科学这三大类。本人是在数据工程方面多一些。大数据开发在我们这边叫数据工程，其工作内容本质上没有什么区别，只是叫法不一样而已。 数据工程的定义：基于对业务和数据的理解，通过各种技术和管理手段，不断提升数据接入、建模效率以及数据质量（一致性、准确...
2021-12-19 22:33:04
3160
3
原创 过来人教你如何进大厂
本人学历普通二科，通过自己个人的努力以及扎实的技术功底，最后以社招的名义成功进入大厂工作。期间有拿到平安、顺丰、金融、以及一个一线大厂offer，其中一线大厂offer【2020年4月】因岗位工作内容我个人不喜欢放弃了；从此之后更加坚信可以继续通过自己的努力，可以收获到自己喜欢的Offer，最终在2020年11月幸运拿到喜欢的大厂Offer~ 其实一路走来我自己是走了很多弯路，所以想通过分享地方式让更多热爱技术的小伙伴也可以收获如意的机会。
2021-12-12 18:33:54
19011
19
原创 DDL/DML/DCL区别概述
目录DDLDDL的概述DDL的主要语句(操作)表的概念表的属性DMLDML的概述DCLDCL的概述DDLDDL的概述DDL(Data Definition Language 数据定义语言)用于操作对象和对象的属性，这种对象包括数据库本身，以及数据库对象，像：表、视图等等，DDL对这些对象和属性的管理和定义具体表现在Create、Drop和Alter上。特别注意：DDL操作的“对象”的概念，”对象“包括对象及对象的属性，而且对象最小也比记录大个层次。以表举例
2021-12-10 23:20:32
550
原创 通过Shell 脚本向CK集群群分发SQL指令
参考链接：ClickHouse官方文档存在节点目录：CK集群某个节点下的 比如：/user/test_user/ 目录使用方式说明：call_ck.sh是一个可执行脚本文件，只执行此脚本且在脚本后面添加上SQL即可；特色功能说明：支持同样的SQL在CK所有节点同步执行；无法单独在指定的节点上执行； 支持节点执行分行显示；采用颜色高亮分割； 支持在CK集群显示执行完成进度，以1/6方式显示；脚本示例：#节点调用脚本，即每个节点都执行同样的指令#!/bin/bashpcou..
2021-12-10 23:05:49
3702
原创 java命令行运行jar里的main类
java命令行运行jar里的main类一般运行包含manifest的jar包，可以使用java -jar <jar-file-name>.jar如果jar里没有 manifest，则可以使用java -cp foo.jar full.package.name.ClassName当main类依赖多个jar时，可以把多个jar打包到一个目录，然后用-Djava.ext.dirs指定该目录，引用依赖的多个jar。java -Djava.ext.dirs=<多个j
2021-12-04 11:27:53
3391
2
原创 向ClickHouse表插入复杂数据
1、创建表CREATE TABLE test_db.aa_local on cluster cluster_name ( fdate Int64, time_slot Int64, placement_id String, city_id String, city_name String, user_id String, request_id String, request_time_ms Int64,
2021-12-04 11:21:08
1249
1
原创 数据工程师的 IDEA 自定义快捷模版
配置maven：jdk<build> <sourceDirectory>src/main/java</sourceDirectory> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration>
2021-12-04 11:07:52
230
原创 IDEA 解决【中文字符显示乱码】问题
解决方式：修改IDEA配置，如下图从此不再乱码了，效果如下：文章最后，给大家推荐一些受欢迎的技术博客链接：JAVA相关的深度技术博客链接 Flink 相关技术博客链接 Spark核心技术链接 设计模式 —— 深度技术博客链接 机器学习 —— 深度技术博客链接 Hadoop相关技术博客链接 超全干货--Flink思维导图，花了3周左右编写、校对 深入JAVA 的JVM核心原理解决线上各种故障【附案例】 请谈谈你对volatile的理解？.
2021-12-04 11:02:51
1165
2
原创 使用 with as 优化SQL-深度剖析
背景： 当我们书写一些结构相对复杂或者行数过多的SQL时，可能某个子查询在多个层级多个地方存在重复使用的情况。在 SQL 中，WITH 子句提供了一种编写辅助语句的方法，以便在更大的查询中使用。WITH 子句有助于将复杂的大型查询分解为更简单的表单，便于阅读。这些语句通常称为通用表表达式（Common Table Express， CTE），也可以当做一个为查询而存在的临时表。WITH 子句是在多次执行子查询时特别有用，允许我们在查询中通过它的名称(可能是多次)引用它。WITH …… ...
2021-10-31 12:58:25
1531
3
原创 LEFT JOIN 与 RIGHT JOIN
一、SQL LEFT JOIN 关键字LEFT JOIN 关键字会从左表 (table_name1) 那里返回所有的行，即使在右表 (table_name2) 中没有匹配的行。LEFT JOIN 关键字语法SELECT column_name(s)FROM table_name1LEFT JOIN table_name2ON table_name1.column_name=table_name2.column_name注释：在某些数据库中， LEFT JOIN 称为 LEFT OUT
2021-08-25 07:20:38
2436
4
原创 Hive SQL 小表与大表Join 原理与实操
在数据开发时，经常遇到需要将大表某些暗文翻译成明文，正常的做法是将暗文与明文通过维度建立起映射关系，一般在数据分析时通过与维度进行join 关联。但往往 join的话，发现运行效率慢、耗时过长、甚至连接操作会发生OOM。本文就是通过介绍map join 解决小表与大表join 运行过慢的问题。
2021-08-07 23:27:07
8377
4
原创 数据仓库分层设计思想
为什么要对数据仓库进行分层合理的数据仓库分层一方面可以减少耦合，提高重用性，可读性，可维护性，另一方面还可以提高操作效率，影响数据需求迭代的速度。实际上，它影响了产品的及时性。建立数据层次结构可以优化公共层，避免烟囱发展，可见适当合理的数据仓库分层极为重要。通用分层设计思路工作上，我们一般会将数据模型分为三层：数据运营层（ODS）、数据仓库层（DW）和 数据应用层（APP）。可以这样理解为：ODS 层存放的是接入的原始数据，DW层是存放我们要重点设计的数据仓库中间层数据，APP是面向业务定制
2021-04-18 15:12:26
1034
4
原创 如何处理数据仓库的DWS层
关于数据仓库的分层，似乎我们都有共同的理解。但这是关于每个层应该如何建模的，也许每个人都有自己的理解。数据建模无疑是数据仓库建设的重中之重，那么在实际的开发过程中，大量的时间会花费在需求开发上，数据建模常常被忽略（在特殊的DWS层建模中）。 从长远来看，数据模型变得越来越混乱，指标的口径无法统一，结果是：尽管有很多表，但是很难获取数据。本文主要介绍DWS层建模的基本方法，希望对您有所帮助。为什么要对数据仓库进行分层合理的数据仓库分层一方面可以减少耦合，提高重用性，可读性，可维护性，另一方面还可以提高
2021-04-18 14:25:30
1581
1
原创 Hive窗口函数Over partition by
- 目录1、聚合函数+over 2、partition by子句 3、order by子句 4、★window子句（里面包含） - PRECEDING：往前 - FOLLOWING：往后 - CURRENT ROW：当前行 - UNBOUNDED：起点 5、★窗口函数中的序列函数：包含NTILE(n)，row_number、rank、dense_rank 简介本文主要介绍hive中的窗口函数。hive中的窗口函数和sql中的窗口函数相类似，都是用来做一些数据分析类的工作，一般用于ola.
2021-04-10 09:38:15
2322
3
原创 创建clickhouse 分布式表方式 及 分布式表数据增加、更新、删除、查询
创建clickhouse 分布式表方式 及分布式表数据增加、更新、删除、查询1、建表语句（1）、本地表：分别在每个节点都建立本地表，或者使用 on cluster【在其中一个节点执行即可】CREATE TABLE city_local on cluster ck_cluster_name (`fdate` Int64,`city_code` Int32,`city_name` String,`total_cnt` Int64) ENGINE = Replicat...
2021-02-12 20:05:21
18278
8
原创 MySQL添加新用户、为用户创建数据库、为新用户分配权限
1、登录MySQL[root@node-01 ~]# mysql -u root -pEnter password: 2、添加新用户允许本地IP访问localhost, 127.0.0.1create user 'test'@'localhost' identified by 'aa_bb_CC1234';允许外网IP 访问create user 'test'@'%' identified by 'aa_bb_CC1234';上述操作要生效的话，一定记得刷新授权fl
2021-01-23 21:49:37
724
1
原创 精准广告投放 —— 业务概念知识
一、互联网广告分类共分为五大类：搜索广告 展示类广告 分类广告 引导广告 电子邮件广告二、广告收费方式CPC (每点击成本 Cost peer Click) 结算为主，单价在3毛左右，价格浮动较大 CPA（cost peer action）（例如用户下载注册）付费，单价在0.6~4元之间。只要肯花钱，很容易就上到AppStore 排行版，很多APP 通过积分墙进行推广和刷榜。 CPM（千人展示成本，比如宝马品牌，不是所有人都能买得起，只要让大家知道有这个品牌就OK了）三、互联网广
2021-01-17 20:58:14
1707
5
原创 搞定Prometheus普罗米修斯监控系统
学习目录能够安装prometheus服务器 能够通过安装node_exporter监控远程linux 能够通过安装mysqld_exporter监控远程mysql数据库 能够安装grafana 能够在grafana添加prometheus数据源 能够在grafana添加监控cpu负载的图形 能够在grafana图形显示mysql监控数据 能够通过grafana+onealert实现报警任务背景AAA公司是一家电商网站，由于公司的业务快速发展，公司要求对现有机器进行为业务监控，责成运维
2021-01-17 00:33:59
9595
4
原创 -bash: lsof: command not found 问题解决
问题描述：[root@node-02 prometheus]# lsof -i:9090-bash: lsof: command not found问题解决：yum install lsof
2021-01-16 18:59:25
933
2
原创 Flink 通过开源中间件，写数据到ClickHouse
目录一、添加maven依赖二、编写Java Bean实体类三、输入数据，启动Flink 应用四、在ClickHouse 验证数据是否写入成功一、添加maven依赖 <dependency> <groupId>ru.ivi.opensource</groupId> <artifactId>flink-clickhouse-sink</artifactId>
2021-01-03 16:18:40
1622
6
原创 Flink 写数据到ClickHouse
目录一、导入clickhouse jdbc 依赖二、编写 Flink 写入ClickHouse代码三、创建ClickHouse 表四、运行向localhost，7777端口发送数据，并启动Flink应用程序五、查询ClickHouse 数据结果，验证数据是否写入成功一、导入clickhouse jdbc 依赖 <!-- 写入数据到clickhouse --> <dependency> <g.
2021-01-03 15:03:20
13014
12
原创 Apache Druid 集群搭建及使用【超全面】
一、Druid 简介1.1 大数据分析平台架构分类数据分析的基础架构可以分为以下几类：使用Hadoop/Spark 进行分析 将Hadoop/Spark 的结果导入 RDBMS 中提供数据分析；补充说明：RDBMS一般指关系数据库管理系统 将结果注入到容量更大的NoSQL中，解决数据分析的存储瓶颈，例如：HBase 将数据源进行流式处理，对接流式计算框架，例如：Flink、Spark Streaming，结果保存到RDBMS、NoSQL中 将数据源进行流式处理，对接分析数据库，例如：
2021-01-01 23:07:19
4050
9
原创 Apache Druid 从Kafka加载数据 -- 全流程分析
目录一、Kafka 创建topic、生产者二、向kafka生产数据三、Apache Druid 配置DataSource 数据源1) Start2) Connect3) Pase Data4) Pase Time5) Transform【可跳过】6）Filter 【可跳过】7）Configure Schema【重点配置】8）Partition9) Tune10) Pulish11) Edit Json spec四、查询示例说明一、Kafka 创
2021-01-01 23:03:51
1597
3
原创 多种java 日志框架【超详细图文】
一、目标日志的作用和目的 日志的框架 JUL的使用 LOG4J的使用 JCL的使用二、日志的概念2.1 日志文件日志文件是用于记录系统操作事件的文件集合，可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。在计算机中，日志文件是记录在操作系统或其他软件运行中发生的事件或在通信软件的不同用户之间的消息的文件。记录是保持日志的行为，在最简单的情况下，消息被写入单个日志文件。许多操作系统，软件框架和程序包括日志系统。广泛使用的日志记录标准是在因特网
2020-12-06 16:13:50
2397
5
Java集合思维导图.xmind.zip
2020-09-13
Spark 机器学习.xmind.zip
2020-09-13
Titanic_SparkMl_Train.csv
2020-09-13
Synchronized_思维导图(全面).xmind.zip
2020-08-22
Flink_思维导图（干货）.xmind.zip
2020-07-18
RPC研究，从浅到深，含研究笔记：超级全面，包懂
2020-07-18
HDFS文件系统JAVA api访问接口（基于hadoop大数据平台）
2019-06-11
图解Spark核心技术与案例实战
2018-11-15
C#版使用Halcon图像显示，PhotoDemo
2018-10-20
MySQL必知必会
2017-06-29
Apache Druid 3台集群搭建，可用配置 druid_conf.zip
2020-12-20
logback-core 和logback-access 1.2.3.zip
2020-12-06
MySQL 精简50题练习 school_score.sql
2020-11-14
Java后端开发学习路线.xmind
2020-10-24
大数据技术之高频面试题.pdf
2020-09-22
ElasticSearch 思维导图.xmind.zip
2020-09-20
hbase-思维导图.xmind.zip
2020-09-20
MySQL_思维导图(全面).xmind.zip
2020-09-13
Hbase总结.docx
2020-09-13
Kafka总结.docx
2020-09-13
Flink总结.docx
2020-09-13
TCP&SOCKET&三次握手全解.xmind.zip
2020-09-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人