正义的键盘-CSDN博客

原创数据中台漫谈 — 数据接入

谈谈数据中台的大门口，数据接入系统。设计数据接入系统，首先不应该只局限于怎么将数据接入，而要根据整个中台的数据流向来综合考虑。从数据中台的最终目标来看，数据中台的使命是实现价值数据流抑或是为其他业务系统提供价值数据流。所以简单点来说，就是业务系统或者最终指标需要什么类型的数据，我就需要将这部分数据接入进来。但更深层次的问题在于，接入的数据是抽象的，是来源多样的。接入系统的设计就会和存储结构，也就是“接入”这部分的终点—数据湖有关。所以湖的设计，应该是需要能基本hold住所有的类型或者结构的数

2020-10-20 16:25:34 5225

原创 JVM垃圾回收—各类gc回收器关于full gc的区别

因为最近在项目中排查内存溢出的问题，所以特意回顾整理了一下GC的相关知识，发现网上的文章对于GC的触发条件与区别都各有不同，容易混淆。特此mark一下。这里回顾一下jvm的分代回收。JVM将堆空间(heap)划分为eden区，s0(survivor0)，s1(survivor1)，old区，metaspace（永久代jdk1.8），其中eden，s0，s1统称young gen(年轻代)...

2020-10-07 16:01:36 1288

原创 apache kylin的一些注意事项(解决kylin报错Storage schema reading not supported)

1.目前我所使用的kylin版本为2.6.2，有时在完成一次构建后会出现fail to locate kylin.properties的异常，如图所示经排查，定位到kylin源码中的org.apache.kylin.engine.mr.common.AbstractHadoopJob中的loadKylinPropsAndMetadata方法，如图所示我发现在执行cube构建任...

2019-10-28 11:18:28 2852 4

原创 Apache Kylin2.6.2安装文档

Apache Kylin-2.6.2安装文档官网：https://archive.apache.org/dist/kylin/根据hadoop版本和hbase版本选择对应的安装包kylin需要依赖hive，对应的hive版本需要到github上https://github.com/apache/kylin 选择对应的branch后再到.pom文件中查看对应hive的dependency版本...

2019-10-28 10:44:58 729

原创 Elasticsearch简介

Elasticsearch是一款开源的全文搜索引擎，基于apache lucene。后者只是一款开源搜索引擎库，如果想直接使用lucene，这将非常复杂，而且需要了解大量检索的相关知识。而elasticsearch使用Lucene作为核心组件，实现了所有索引和搜索的功能。并将复杂的部分隐藏封装，最终以restful api的形式展现到用户面前。同时，他也有以下几个特点分布式的实时文件存储，每个字段...

2018-06-14 09:32:50 178

原创在web应用中使用缓存技术

缓存是网站架构中必不可少的关键点之一，特别是对于构建高性能高响应的网站来说更是不可或缺的技术。在这里记录一下我是如何在我的web应用中使用缓存的。首先项目环境使用spring，framework版本4.x，缓存管理器选用ehcache+redis。这里只讲解一下缓存在项目中的用法，不涉及缓存集群的搭建。不管缓存管理器是否是集群状态，这里都不会影响框架内的使用。首先，配置ehcac

2018-06-14 09:18:45 1937

原创持续集成平台搭建：Jenkins，SonarQube

首先介绍一下技术：持续集成工具：Jenkins代码托管：svn或者Git构建工具：Maven或者Gradle审查工具：SonarQube发布容器：Tomcat或者Docker其次是系统配置信息以及一些额外要求：(1)OS内核需要高于linux5.3，(2)推荐运行内存为8G左右，至少需要大于4G(3)需要分配额外的用户和用户组来运行代码审查工具(4)若需持久...

2018-03-04 21:28:25 33646 4

转载 servlet，filter，listener，interceptor区别与联系

一、概念： 1、servlet：servlet是一种运行服务器端的java应用程序，具有独立于平台和协议的特性，并且可以动态的生成web页面，它工作在客户端请求与服务器响应的中间层。最早支持 Servlet 技术的是 JavaSoft 的 Java Web Server。此后，一些其它的基于 Java 的 Web Server 开始支持标准的 Servlet API。S

2017-11-08 11:43:39 294

原创 FastDFS详解（一）——简介

在使用fdfs之前，需要对其有一定的了解，这篇文章作为准备篇，将针对fdfs的简介，功能性，使用场景等方面进行介绍（一）起源淘宝网开放平台技术部资深架构师余庆先生首先回顾了自己在Yahoo工作时的经历，他表示Yahoo当时的相册和论坛系统整个结构都进行了针对大规模分布式存储和并发操作的改进。余庆从整个分布式文件系统的发展说起，谈到了FastDFS文件系统的概念和具体优缺点。

2017-11-06 11:05:26 14374

转载 Java注释@interface的用法【转】

java用 @interface Annotation{ } 定义一个注解 @Annotation，一个注解是一个类。@Override，@Deprecated，@SuppressWarnings为常见的3个注解。注解相当于一种标记，在程序中加上了注解就等于为程序加上了某种标记以后JAVA编译器，开发工具和其他程序可以用反射来了解你的类以及各种元素上有无任何标记。

2017-10-26 14:16:15 208

原创使用springMVC创建REST风格的服务器

越来越多的企业级应用都在由SOAP过渡到REST，REST API 客户端和服务器的交互由“行为”变成了“状态”（或表述），这样的风格对于客户端乃至整个系统的横向拓展都非常友好，REST API 的关注点在于资源而不在于行为，服务器端通过转换资源的各种表述形式来提供对更多客户端的支持，而不是仅限于现在或未来的某一种资源（json，html/text，xml，rss等等）。非常幸运的是sprin

2017-10-25 14:31:53 289

原创集合类自定义排序和springMVC viewResolver的顺序问题

看了springMVC的dispatcherServlet的源码，有个地方不是特别明白，一路找资料，懂了所以需要记录一下。关于initViewResolvers方法，我们知道springMVC里有一个视图解析器的概念。同一个项目可能会需要配置多个视图解析器。对于具有REST风格的服务器更是如此。通过对源码的查看，视图解析器在配置时，可以设置order属性，这个值关联到视图解析器的执行顺序

2017-10-25 10:10:32 1309

原创 spring aop和动态代理

首先简单介绍一下动态代理的概念。书面定义：为其他对象提供一种代理以控制对这个对象的访问。通俗的来说，想象一下这样一个场景。我想要去旅行，需要一张机票。但是这个季节的机票很难买，而且我不知道向谁买，如何选择等等。此时我通常就会去找代理商，这个代理商一定程度上代表了我，因为我提供给他了我的基本信息，他会按照我的信息去帮我购买机票（亦或是那些卖机票的人会来找我的代理商，我的代理商会把我的基本信息

2017-10-24 10:41:55 243

原创 spring的声明式事务

最近看了大量的spring关于DAO层和业务逻辑层的整合实现相关知识，有点混乱，趁此机会整理一下，让各个知识点更清晰，加深印象。关于spring的声明式事务，需要先说一说什么是声明式事务。DAO层的事务控制，通常是指对于数据库访问操作的事务处理，普通的实现方式即使用代码来控制事务的提交(commit)、回滚(rollback)等操作，这些代码若不使用框架进行整合，会造成DAO层和业务逻辑层

2017-10-12 14:05:38 531

原创在web项目中使用mongoDB（一）

MongoDB，作为优秀的非关系型数据库，更适合于存储文档等非结构型数据。彼此独立的文档更适合于使用mongoDB存储。而关系型数据，则需要将这些数据分散到各个表中存储，非常麻烦。非常幸运的是，spring下的子项目 spring-data已经集成了mongoDB的相关配置实现，只需要花上几分钟，我们可以很方便的在web项目中使用这种数据库了。步骤：1.在你的maven中添加sprin

2017-10-10 22:37:31 4317

原创 AOP中通知(advice)、切点（pointcut）和连接点（join point）的概念

借助Spring框架的帮助，业务模块被合理的纵向分割，彼此之间互相独立。而将这些纵向柱形的业务模块共同的，重复的部分横向切分放大，就称之为切面在AOP中，描述切面的术语有通知（advice），切点（pointcut），连接点（join point）。通知（advice）：它用于描述切面的目标即切面必须要完成的工作。通知定义了切面是什么以及何时使用。SpringAOP可以应用5

2017-09-01 09:41:22 10319 4

原创 spring的bean作用域详解

相信使用过spring框架的都接触过了解过spring bean的概念，它与java 的bean有所不同。springBean存在作用域这一概念。相信大家对于@Scope这个注解一定不会陌生。在默认情况下，springIOC中所有的bean都是以单例（singleton）的形式创建的，也就是说，不管给定的一个bean被注入到其他bean中多少次，每次所注入的都是全局唯一的一个实例

2017-08-30 21:45:59 680

原创根据环境装配你的bean——Spring中profile的应用

环境配置类注解的使用场景在于：有时候你的开发环境所使用的bean和测试环境以及生产环境不太一样，一般处理这类问题可能需要人工处理，你可能会在环境迁移的时候手动去掉其他环境的注入标识，费时且容易出错。举一个例子：数据库配置，多个环境的数据库配置肯定不一样，datasource类bean需要手动去切换，如果项目有多数据源那就更麻烦了。也可能在开发阶段，我需要一个嵌入式的Hypers

2017-08-30 14:59:22 4642

原创 Android游戏开发，宠物小精灵连连看

项目名称：Android游戏开发，宠物小精灵连连看使用工具：ADT（开发工具），Photoshop（图片处理），Visul VM（性能测试）项目构想：由于本人比较喜欢玩连连看，而网上的连连看大多都是积分制，利益为上。所以本人就想写一个连连看的手机游戏，没有积分制，采取过关的方式。每一关都有规定的时间，如果时间内没有完成，则判定失败，由于没有美工基础，所以界面不是特别友好，不

2014-11-26 17:28:18 1584

原创第一次软件工程作业

要求：写一个程序（语言不限），统计文本文件的单词频率，并打印前10个。并筛选出无意义的词。思路：由于本人对Android程序比较熟悉，也成功做出了几个项目。所以打算写一个Android程序，并在手机上实现两个功能，第一个是可以直接将文字粘贴到输入框并进行统计。第二个是选择手机内的txt文件读取并统计。使用语言：Android(JAVA)编程工具：And

2014-10-07 22:20:56 575

u011230736的专栏