自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

buildupchao的博客

跳出自己的极限（www.buildupchao.cn 个人网站）

我也要用

原创没有Spring cron时该怎么定点执行定时任务？

最近有个小需求，在普通Java项目里面，不能借助于Spring，也不能使用复杂的jar，来实现cron定点定时任务。通过查询资料，发现一个好用的工具：hutool <!-- https://mvnrepository.com/artifact/cn.hutool/hutool-cron -...

2020-03-17 23:08:08

阅读数 64

评论数 0

原创 Nacos自动刷新配置如何实现的？

【技术挑战】Nacos自动刷新配置如何实现的？

2020-01-13 21:20:33

阅读数 465

评论数 0

原创论掌握一项脚本技术的必要性

工作过程中，我们常常需要对一些我们可能会临时需要的数据进行清洗或者格式化等处理。这个时候就需要借助于一些奇淫技巧或者一些工具，诸如Windows平台下的notepad++，Mac/Linux平台下的vim等。最近大数据部在进行成本优化，需要对各业务使用带宽、数据量、访问量、以及pv、uv等各种可...

2019-12-26 00:59:47

阅读数 6856

评论数 3

原创考研前夕 — 成人的世界里没有那么多童话

成年人的世界里，没有那么多的童话，也没有那么多的逆袭从《令人心动的offer》听到柴律说到“成年人的世界里，没有那么多的童话，也没有那么多的逆袭”时，回顾过往，不由感慨：从年初确定要备考在职研究生开始，已经临近统考，这周六（后天，也就是2019年12月21日）就要前往北大（北京大学）参加入学考...

2019-12-20 00:16:46

阅读数 739

评论数 1

原创通过RDS事件数据同步来看不同软件工程师的区别

由彼观彼，而不是由己观彼。开始前，扯些许的题外话。我们经常会看到一些类似于初、中、高级软件工程师的区别的文章，觉得高级会如何，初中级又会如何，我们此次就不区分title，而是通过经验丰富与否、考虑问题是否全面、做事是否稳重来展开。 {:width=“300”} 1.问题描述有这样一...

2019-12-01 13:01:46

阅读数 234

评论数 0

原创我只是同步了下Redis数据，怎么就服务瘫痪了？

背景 bug千千万，今天到我家。简要描述：数仓WEB端进行新增事件后，会注入Redis中进行缓存，供给动参服务进行响应各端SDK的请求。下午，发现海内外redis中存储的事件数据中仅有停用事件，而没有启用事件数据，以为是个bug，然后找数据负责人、动参负责人以及产品等进行确认，对...

2019-11-30 01:04:33

阅读数 224

评论数 0

原创 EasyScheduler线上任务调度延迟1小时问题排查

一、背景早上，暴躁君W来了条信息:“小时计算任务延迟一小时执行,导致应该6点启动的计算3点数据的任务到7点才被提交执行，而计算4点数据的任务跑了两次,帮忙排查下这个问题。” 二、那么问题来了 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I5mK0LJw-15...

2019-10-22 22:55:18

阅读数 287

评论数 0

原创为何EasyScheduler升级v1.1.0后定时任务不调度执行？

一、背景 EasyScheduler升级v1.1.0后，进行任务测试，发现只能调度执行新的定时任务，而不能调度旧的定时任务。二、那么问题来了究竟是哪里出问题了？ 1.我的操作步骤出现了bug？ 2.EasyScheduler官方的升级脚本有问题？然而，从v1.0.3升级到v1.1.0...

2019-10-22 22:54:28

阅读数 142

评论数 0

原创年中总结之最后我们都成为了过往

“听见，冬天的离开。我在某年某月醒过来，我想、我等、我期待，未来却不能因此安排。” — 遇见做完了KingSight的交接工作，只身走向DW（数仓）。时间回到2018年7月5日早上，一份内容为 Rain, Jimina, Philip, I decide to do Big Data...

2019-08-02 21:40:48

阅读数 126

评论数 1

原创 Airflow[v1.10]任务调度平台的安装教程

0.背景真的是想不通，Airflow不论社区活跃度还是Github的star数都是远胜于Azkaban还有EasyScheduler的，但是为何却连一个完备的安装教程都没有呢？是我的需求太高？真的是心累不已，整整把搜索引擎还有youtube翻来覆去也没让我感到满足……不过好在，一步一坑一脚印的...

2019-06-14 03:42:00

阅读数 377

评论数 0

原创如何对数仓进行建模

如何对数仓进行建模，点击链接前往

2019-06-12 00:25:37

阅读数 226

评论数 0

原创基于Hadoop的数据仓库

1 什么是数据仓库数据仓库是面向主题的、集成的、具有时间特征的、稳定的数据集合，用以支持经营管理中的决策制定过程典型应用: 报表生成数据分析数据挖掘数据仓库其他特征数据量非常大（TB以上）是数据库的一种新型应用使用人员较少商用数据仓库典型代表: db2...

2019-06-10 01:18:03

阅读数 792

评论数 0

原创了解一下数据仓库

0.什么是数据库？数据库（DB）是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库数据库是长期存储在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为...

2019-06-10 01:16:43

阅读数 96

评论数 0

原创 Hive SQL查询效率提升之Analyze方案的实施

0.简介 Analyze，分析表（也称为计算统计信息）是一种内置的Hive操作，可以执行该操作来收集表上的元数据信息。这可以极大的改善表上的查询时间，因为它收集构成表中数据的行计数，文件计数和文件大小（字节），并在执行之前将其提供给查询计划程序。 1.如何分析表？基础分析语句 ANALYZ...

2019-06-07 15:44:46

阅读数 381

评论数 0

原创爱上Java诊断利器之Arthas

1. Arthas是什么？摘自Arthas的Github介绍： Arthas is a Java Diagnostic tool open sourced by Alibaba. Arthas allows developers to troubleshoot production i...

2019-06-06 23:46:45

阅读数 4009

评论数 5

原创 Hive集群合并之应用端的负载均衡算法

0.背景有这么一个场景，我们有两个Hive集群，Hive集群1（后面成为1号集群）是一直专享于数据计算平台的，而Hive集群2（后面成为2号集群）是用于其他团队使用的，比如特征，广告等。而由此存在两个主要问题：a) 两个Hive集群共享了同一份MetaData，导致经常会出现在HUE（建立与2号...

2019-05-12 22:55:51

阅读数 134

评论数 0

原创警报：线上事故之CountDownLatch的威力

2019.2.22号凌晨3点半，是一个让人难以忘怀的、和瑞哥最后一次一起奋战的夜晚。背景我们有这样一个业务场景：用户提供各种数据源配置信息，然后基于数据源配置的模板，再者在模板基础上构建报表，而大数据计算平台则会根据这些信息生成数据计算任务，以实时、离线、混合的方式跑数，并将计算结果落到存...

2019-02-22 17:07:16

阅读数 114

评论数 0

原创设计一个分布式RPC框架

0 前言提前先祝大家春节快乐！好了，先简单聊聊。我从事的是大数据开发相关的工作，主要负责的是大数据计算这块的内容。最近Hive集群跑任务总是会出现Thrift连接HS2相关问题，研究了解了下内部原理，突然来了兴趣，就想着自己也实现一个RPC框架，这样可以让自己在设计与实现RPC框架过程中，也能...

2019-02-01 23:06:34

阅读数 1269

评论数 0

原创如何保存/恢复Java应用程序核心内存数据现场？

0. 背景不论是单体应用还是分布式应用，总是会有些许迭代或者紧急Fix bug上线的神操作。但是如果不是那么幸运，当时还存在大量核心内存中数据在进行计算等逻辑，此时终止项目，就会出现核心数据或者状态丢失的不利情况，后续即使上线完成也要尽快追加数据。那是否存在某种技巧???：在需要终止应用的...

2019-01-27 21:08:11

阅读数 420

评论数 0

原创 2018年度复盘，2019年度规划

2018年度复盘，比起前两度总结晚了将近一个月。2018年，经历了很多事情，也中途换了一份新工作，但追求技术的心仍然没有改变。 2018，可能是极其焦虑不安的一年亲儿子 ‘sales-order-portal’ 诞生了从代码构思、设计到Coding，以及中途进行的一次小重构，直至...

2019-01-23 17:42:49

阅读数 1199

评论数 2

原创为何通过java.sql.DatabaseMetaData获取MySQL的table remarks总是为空？

大数据平台存在这样一种场景，我们需要根据用户录入的配置信息，进行同步数据源/表相关的信息，此时就需要把数据库、数据表、数据表字段相关信息进行拉取。而我们获取数据源的元信息时，是在Connection连接通道之上，借助于java.sql.DatabaseMetaData进行获取详细信息（比如TABL...

2018-10-10 09:01:00

阅读数 652

评论数 0

原创【数据结构与算法01】- 数组、链表对比及应用

1. 数组和链表的区别 1.1 底层存储结构数组需要一块连续的内存空间进行存储链表通过“指针”将一组零散的内存块串联起来使用 1.2 性能链表和数组的（增删查）时间复杂度正好相反数组使用连续的内存空间，可以借助缓存机制提高效率；链表不连续，所以无法借助缓存机...

2018-10-04 18:46:58

阅读数 191

评论数 0

原创记一次时隔两年后的JavaWeb项目重构总结

两年前的2016年，我还没有大学毕业，也才大三下学期，也还有自己的team，一起学习，一起成长，一起技术研究与试炼。不缅怀……当时和自己的team一起开发了“科技计划项目电子辅助验收及评估平台”，然而因为team刚成立几个月，其次，项目也比较赶，在时间紧迫的情况下，只能个人保证自己模块不出问题，然...

2018-06-09 11:12:22

阅读数 1763

评论数 0

原创 Redis缓存设计之令人兴奋的OutOfMemoryError

2018-05-1421:07:50.691 WARN [qtp683718244-2772]org.eclipse.jetty.server.HttpChannel.handleException:517-/sales-order-portal/ org.springframework.dat...

2018-05-15 12:33:36

阅读数 1442

评论数 0

原创记一次Java运算符优先级的血训

如上图所示，按照我们普遍的思路，会认为newLength应该是11才对，但结果却出乎意料为5，造成数据的丢失。哎，一次血的教训！特此，重新记录下运算符的优先级为：单目乘除位关系，逻辑三目后赋值。单目: +（正数）， -（负数）, ++, ...

2018-02-04 16:55:25

阅读数 1903

评论数 10

原创 Java 8 Stream槽点之toMap引发的NullPointerException异常

众所周知，Java 8 Stream，是我们Java程序员的福音，可以简洁、高效的编写代码，可变通性的帮助我们开发项目，实现业务。然而，现实是，提供具体快捷方式的同时，也存在着潜在的危险，就比如说Stream中的toMap操作，就让博主掉入坑中而不能自拔。有这样一个场景：我需要通过仓库编号去获...

2018-01-19 20:52:20

阅读数 2809

评论数 2

原创 New Year, New Me

新的一年，新的开始2017年，是我的毕业年，也是我开始参加工作的一年，这一年，很忙碌，很充实，却也很累，但也在一一实现着17年的计划，直到今日，十之八九得到了一个圆满的结果。在2018即将到来之际，又在睡梦中爬起来，惯例，总结与规划。回顾2017 最后一个寒假 2017.12-2017.1.3 ...

2018-01-01 01:30:18

阅读数 427

评论数 6

原创 JPA槽点之multiple in list查询引发的问题

近段时间一直在参与公司P1 batch#2的开发，由于该项目是以micro service形式进行的架构，而且是完全的前后端分离，所以博主才能一心专注于后端代码设计与实现。而该项目开发技术栈中就涉及了JPA产品的使用，鉴于业务需求的繁杂，博主把Java 8 Stream (java.util.st...

2017-12-28 20:56:26

阅读数 4012

评论数 0

原创 web分层架构及责任分离之我想我见

Terms: Client：发送请求，End User。 Controller：调度请求，调用Service完成业务。会接收到复杂的数据类型，需要进行相应的校验、过滤、包装转换成干净的BO。 Service：业务层，真正的业务实现在这里完成。接收BO，进行BO的拆分，组合，再包装形成新的BO or...

2017-11-29 14:40:25

阅读数 172

评论数 0

原创 Spark Shuffle解密

Spark Shuffle解密继Shuffle解密（MapReduce Shuffle过程）博文后的又一解密性博文。（to be done）

2017-11-23 23:08:29

阅读数 203

评论数 0

原创【连载】快速排序算法的普通版和简化版实现

快速排序算法针对本算法仅提供核心部分代码。代码均是基于python。算法核心：分治思想步骤：找出一个元素（理论上可以随便找一个）作为基准(pivot),然后对数组进行分区操作, 使基准左边元素的值都不大于基准值, 基准右边的元素值都不小于基准值，如此作为基准的元素调整到排序后的正确位...

2017-11-23 23:03:30

阅读数 200

评论数 0

原创【连载】Floyd求最短路径算法设计 — Java版

Floyd求最短路径算法设计废话不多说，直接上代码。算法实现 Floyd.java package zychaowill.datastructure.graph.algo.impl;import java.util.Arrays;import zychaowill.datastructure.gr...

2017-11-22 23:39:47

阅读数 307

评论数 0

原创【连载】Dijkstra求最短路径算法设计—Java实现

Dijkstra求最短路径算法设计1. Dijkstra简介 What’s the shortest path?最短路径指两顶点之间经过的边上权值之和最少的路径，并且称路径上的第一个顶点为源点，最后一个顶点为终点。 Thought line of algorithm: How to realize...

2017-11-21 22:15:44

阅读数 712

评论数 0

原创 Spark MLlib机器学习之朴素贝叶斯小试牛刀

Spark MLlib机器学习之朴素贝叶斯小试牛刀废话不多说，直接上代码，以下代码均基于Scala实现。0. 机器学习工具类 BaseModelUtil.scalapackage com.jangz.recommendation.spark.mllibobject BaseModelUtil { ...

2017-11-21 21:50:44

阅读数 686

评论数 0

原创 MapJoin和ReduceJoin区别及优化

MapJoin和ReduceJoin区别Map-side Join（Broadcast join）思想：小表复制到各个节点上，并加载到内存中；大表分片，与小表完成连接操作。两份数据中，如果有一份数据比较小，小数据全部加载到内存，按关键字建立索引。大数据文件作为map的输入，对map()函数...

2017-11-18 11:17:10

阅读数 5332

评论数 0

原创用户日志分析系统实战（六）

用户日志分析系统实战（六）（to be done）

2017-11-18 09:56:18

阅读数 393

评论数 0

原创用户日志分析系统实战（五）

用户日志分析系统实战（五）（to be done）

2017-11-18 09:55:50

阅读数 441

评论数 0

原创用户日志分析系统实战（四）

用户日志分析系统实战（四）（to be done）

2017-11-17 22:48:52

阅读数 448

评论数 0

原创用户日志分析系统实战（三）

用户日志分析系统实战（三）1 资源管理（YARN）1.1 YARN产生背景运维成本 “一个框架一个集群”的模式会增加运维成本，而共享模式通常需要少数管理员即可完成多个框架的统一管理。数据共享。共享集群模式可让多种框架共享数据和硬件资源，将大大减少数据移动带来的成本。 1.2 YARN YAR...

2017-11-17 08:15:42

阅读数 1031

评论数 0

原创用户日志分析系统实战（二）

用户日志分析系统实战（二）1 日志收集1.1 常见数据来源非结构化数据机器产生的数据用户访问日志用户购买日志结构化数据 RDBMS：MySQL、Oracle等全量导入增量导入 1.2 数据收集与入库要求分布式数据源多样性数据源分散可靠性保证数据不丢失允许丢失部分...

2017-11-15 23:07:48

阅读数 546

评论数 0

提示

确定要删除当前文章？

取消删除