GatsbyNewton

天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣。人之为学有难易乎?学之,则难者亦易矣;不学,则易者亦难矣。...

Apache Flink 事件时间处理和 Watermarks

如果你正在搭建一个实时流程序,事件时间处理是你不久将不得不使用的一个功能之一。因为在现实世界中绝大多数用例的消息都是乱序的,你的系统应该有一个方法应对和处理可能延迟的消息。在这篇博客中,我们将会看到为什么我们需要事件时间处理和我们怎么在 Flink 中使用它。 EvenTime 是一个事件在现实世...

2019-04-07 12:55:55

阅读数 24

评论数 0

线上故障排查(二)——高MEM占用

1. 高内存占用 线上故障排查(一)——高CPU占用一文中介绍了高 CPU 占用程序的排查,今天我们介绍高MEM占用的程序。高内存占用的程序是指内存消耗比较大的程序。我们在开发 Java 应用程序的时候,一定见过 OOM(即 java.lang.OutOfMemoryError)。在 JVM 内存...

2019-03-10 20:58:06

阅读数 23

评论数 0

线上故障排查(一)——高CPU占用

1. 计算密集型任务 一般线上的任务会分为:计算密集型任务和IO密集型任务,其中计算密集型任务也叫做CPU密集型任务,是指CPU计算占主要的任务,CPU一直处于近乎满负荷状态。 在公司中,一般服务器CPU占用率超过一定的阈值,就会有报警,这时候我们就不得不去排查自己的线上任务在哪个地方导致了CPU...

2019-02-19 23:09:18

阅读数 14

评论数 0

Java 并发概述

并发(Concurrency),是指在某个时间段内,多任务交替处理的能力。并行(Parallelism),是指同一时刻同时处理多任务的能力。 在并发环境下,由于程序的封闭性被打破,出现了以下特点: 并发程序之间有相互制约的关系。直接制约体现为一个程序需要另一个程序的计算结果;间接体现为多个程序竞...

2019-01-01 11:46:13

阅读数 138

评论数 0

Java 数据结构与集合

1. 集合图谱 Java 集合图谱: 1.1 List 集合 List 集合是线性数据结构的主要实现,List 集合的遍历结果是稳定的。该体系最常用的是 ArrayList 和 LinkedList。 ArrayList 是容量可以改变的非线程安全集合。内部实现使用数组进行存储,集合扩容时会创建更...

2018-11-15 23:01:22

阅读数 130

评论数 0

RMQ(Range Minimum Query)

RMQRMQ(Range Minimum Query) 是指区间最值查询,即对于长度为 $ n $ 的数列 $ A $,回答若干询问 $ RMQ(A, i, j), (i,j <= n) $,返回数列 $ A $中下标在 $ i, j $ 之间的最小/大值。如果用 $ f(n) $ 表示算法...

2017-09-17 15:12:28

阅读数 594

评论数 0

MyBatis 笔记(五)——动态 SQL

在开发中,经常会遇到要执行的 SQL 语句其实并不是固定,而是随条件的变化而变化的。对于这种情况 MyBatis 也有解决方案。随条件变化的 SQL先看一个固定的 SQL 语句,查询指定 name 和 age 的人:<resultMap id="PersonMap" ty...

2017-08-25 23:35:47

阅读数 450

评论数 0

MyBatis 笔记(四)——实体类属性和表字段的映射

之前的章节将的实体类属性名和表字段名都是相同的,MyBatis 会自动去映射。那么问题来了,如果实体类属性名和表字段名不相同时,MyBatis 能智能地去映射到吗?答案是:不能。这里用两种解决方案: 1. 在使用 SQL 语句的时候,为每个字段定义别名; 2. 使用 MyBatis 映射文件的...

2017-08-23 22:49:31

阅读数 26794

评论数 1

MyBatis 笔记(三)——优化配置

在之前的讲解中,不难发现 MyBatis 的配置有些笨重,这一节就讲 MyBatis 的配置优化。毫无疑问,主要是两方面: 1. 优化 MyBatis 基础配置文件。 2. 优化 MyBatis 映射文件。优化 MyBatis 基础配置文件在 MyBatis 基础配置文件中,之前的数据库配置都...

2017-08-21 23:50:01

阅读数 607

评论数 0

MyBatis 笔记(二)——XML vs 注解

MyBatis 支持注解和 XML 两种配置。这一节延续 MyBatis 笔记(一)继续讲。1. 基于 XML 的配置基于 XML 的配置其实和 MyBatis 笔记(一)几乎是一样的。先看最基础的配置文件:<?xml version="1.0" encoding=&qu...

2017-08-19 23:06:23

阅读数 939

评论数 0

MyBatis 笔记(一)——快速入门

简介MyBatis 是支持定制化 SQL、存储过程以及高级映射的优秀的持久层框架。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。入门添加依赖在使用 Mybatis 的时候,需要添加数据库驱动包和 Mybatis 包,以 MySQL 为例,Maven 依赖:&...

2017-08-13 19:37:11

阅读数 485

评论数 0

Python定时任务调度——APScheduler

简介APScheduler 框架可以让用户定时执行或者周期性执行 Python 任务。既可以添加任务也可以删除任务,还可以将任务存储在数据库中。当 APScheduler 重启之后,还会继续执行之前设置的任务。 APScheduler 是跨平台的,注意 APScheduler 既不是守护进程也不...

2017-07-22 12:08:46

阅读数 3501

评论数 0

shell 之 test 命令

1. test 命令test 命令提供了在 if-then 语句中测试不同条件的途径。如果 test 命令中列出的条件成立,test 命令就会退出并返回退出状态码0;如果条件不成立,test 命令就会退出并返回退出状态码1,这样 if-then 语句就会失效。test 命令的格式非常简单:test...

2017-06-30 22:12:09

阅读数 338

评论数 0

Maven分离配置、依赖

在用Maven打包项目时,要像Hadoop、Spark、Hive等项目打包之后的文件包含bin、lib、conf之类的文件夹,同时可以动态的修改项目的配置参数,需要如下两步: 在 pom.xml 文件中引入 maven-assembly 插件; 在 assembly.xml 文件中制定各个文件...

2017-02-25 15:34:05

阅读数 1532

评论数 0

HBase row key hotspotting

在HBase中,RegionServer hotspotting现象是很常见的。hotspotting问题的描述是这样的:当使用一个连续的row keys(sequential row keys),以便于使用start key和stop key高效地读取数据时,此时将在写数据时,造成RegionS...

2016-07-10 11:27:25

阅读数 1367

评论数 1

Apache Kafka 0.9 KafkaConsumer

Kafka开始被设计时,带有一个Scala的Producer和Consumer。

2016-06-25 22:10:32

阅读数 9613

评论数 0

_all、_source、store、index的使用

1._all 1.1_all field _all字段是一个很少用到的字段,它连接所有字段的值构成一个用空格(space)分隔的大string,该string被analyzed和index,但是不被store。当你不知道不清楚document结构的时候,可以用_all。如,有一document...

2016-06-18 16:57:46

阅读数 1919

评论数 0

Hadoop Counter

Hadoop Counte是Hadoop自带的一个很实用的功能,它可以统计全局某个量的数量,如,MR中用Kafka发送消息,就可以用Hadoop Counter统计发送成功信息的条数、发送失败信息的条数,以及发送信息的总条数。其实我们每个MapReduce Job跑完都有Counter打印: 16...

2016-06-05 15:55:42

阅读数 1707

评论数 0

Java Label

在Java中“{”和“}”组成一个代码块(code block),如我们最常用到的static代码块,而每个代码块都可以用一个Label,Label不是Java中的关键字,而是一个任意的标识符。由于我们一般不怎么用Label,此时难免会有人问:Label到底有什么用呢?大家不要急,且听我慢慢道来。...

2016-06-04 11:31:17

阅读数 4792

评论数 0

from-size VS scroll-scan

1.from-size ElasticSearch可以用一种分页的形式来查询数据——from-size,https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-from-size.html。 ...

2016-05-12 22:46:40

阅读数 2559

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭