自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 资源 (11)
  • 收藏
  • 关注

原创 一个由java.util.ConcurrentModificationException引起的血案

线上跑的一个flink任务突然报了异常,话不多,先把异常发出来Caused by: java.util.ConcurrentModificationException at java.util.ArrayList$ArrayListSpliterator.forEachRemaining(ArrayList.java:1388) at java.util.stream.AbstractPipeline.copyInto(AbstractPipeline.java:481) at ...

2021-05-31 18:51:41 1815

原创 Docker自学

从根本上说,一个容器不过是一个正在运行的进程,并对其应用了一些附加的封装功能,以使其与主机和其他容器隔离。 容器隔离的最重要方面之一是每个容器都与自己的专用文件系统进行交互。 该文件系统由Docker映像提供。 映像包括运行应用程序所需的一切-代码或二进制文件,运行时,依赖项以及所需的任何其他文件系统对象容器在Linux上本地运行,并与其他容器共享主机的内核。 它运行在一个单独的进程,不占用任何其他进程的内存,从而使其轻巧。相比之下,VM会产生大量开销,超出了应用程序逻辑所消耗的开销看一下...

2020-07-09 11:26:19 225

原创 Docker安装采坑

1 在windows ubuntu 子系统上安装docker时要选择ubuntu 18.04,如果选择20会出现各种问题2 之前看网上教程 如果使用 curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 阿里云的镜像安装的话会在/etc/apt/sources.list.d 下创建一个docker.list文件,里面存储了http://mirrors.aliyun.com/docker-engine/apt/repodo..

2020-07-08 15:23:30 444

原创 Springcloud Consul部署实战 -2

上一篇文章介绍了如何构建一个最简单consul集群,下面将继续详细介绍如何详细配置和使用consul。consul是支持多配置文件加载的,可以在/etc/consul.d/ 路径下创建任意名字的.json文件,如config.json可以在该文件中添加详细的consul agent配置。例如,设置如下json字段,设置log的级别为info,更改consul agent的节点的启动名字为n...

2019-06-18 12:31:51 1362

原创 Springcloud Consul部署实战 - 1

本文源自官方部署文档和其他网友的一些资料,有不对之处请帮助改正。以下是单数据中心的部署架构图所有的要部署consul的host都必须包含如下几部(systemd的配置是可选的)下载Consul 安装Consul 配置systemd(可选) 配置 Consul (Server)和(Client) 启动Consul下载Consul如果是linux主机,可是使...

2019-06-17 10:02:00 775

原创 hive 配置和java链接hive常见的一些问题

1 如何配置hive使用which hive查找到hive安装路径,hive/conf/路径下的hive-site.xml文件。以下4项分别配置使用jdbc链接hive底层元数据库的链接字符串、驱动类名、登录元数据库的用户名、登录元数据库的密码<configuration><property><name>javax.jdo.option.Conn...

2019-03-13 11:07:49 1079

原创 理解cassandra架构

本文是我在看cassandra官方文档时写的一篇翻译,由于能力有限,很多地方都翻译的不到位或者和原意有出入,希望大家可以给予指正,由于翻译的较早,而且没有全部完成,有些观点可能已经在最新的cassandra中被更新或者改变,我也会在之后的时间将这些内容补全和修复Cassandra是一种无性能损耗的高拓展性和可用性的分布式数据库。线性的可伸缩性以及被商品级硬件设施和云基础架构验证的容错技术使它成...

2019-01-02 09:04:13 4557 1

原创 使用redis实现分布式锁

 分布式锁是一种在分布式环境下实现进程间互斥的常用方式。redis的官方文档对如何用redis实现分布式锁进行了详细介绍,同时也有不同语言版本的源码实现如java的 https://github.com/redisson/redisson 。下面就官方文档中如何实现分布式锁进行详细介绍:一个有效的分布式锁必须满足3个最基本的属性:A 安全性:任何时刻只有一个客户端(或者进程、线程等等)...

2018-12-29 15:48:57 248

Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案(中文版) part4

本书主要介绍如何使用开源ETL工具来完成数据整合工作。 本书介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW类比较大型的应用外,Kettle 实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外,它还支持Excel、Access这类小型的数据源。并且通过插件扩展,Kettle 可以支持各类数据源。本书详细介绍了Kettle可以处理的数据源,而且详细介绍了如何使用Kettle 抽取增量数据。 Kettle 的数据处理功能也很强大,除了选择、过滤、分组、连接、排序这些常用的功能外,Kettle 里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大,都非常适合于各种数据处理功能。本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。 本书后面章节介绍了如何在 Kettle 上开发插件,如何使用Kettle处理实时数据流,以及如何在 AWS上运行Kettle 等一些高级主题。 除了介绍PDI(Kettle)工具的使用和功能,本书还结合Kimball博士的数据仓库和ETL子系统的理论,从实践的角度介绍数据仓库的模型设计、数据仓库的构建方法,以及如何使用 PDI实现Kimball博士提出的34种ETL子系统。

2016-06-20

Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案( 中文版 ) part3

本书主要介绍如何使用开源ETL工具来完成数据整合工作。 本书介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW类比较大型的应用外,Kettle 实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外,它还支持Excel、Access这类小型的数据源。并且通过插件扩展,Kettle 可以支持各类数据源。本书详细介绍了Kettle可以处理的数据源,而且详细介绍了如何使用Kettle 抽取增量数据。 Kettle 的数据处理功能也很强大,除了选择、过滤、分组、连接、排序这些常用的功能外,Kettle 里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大,都非常适合于各种数据处理功能。本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。 本书后面章节介绍了如何在 Kettle 上开发插件,如何使用Kettle处理实时数据流,以及如何在 AWS上运行Kettle 等一些高级主题。 除了介绍PDI(Kettle)工具的使用和功能,本书还结合Kimball博士的数据仓库和ETL子系统的理论,从实践的角度介绍数据仓库的模型设计、数据仓库的构建方法,以及如何使用 PDI实现Kimball博士提出的34种ETL子系统。

2016-06-20

Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案( 中文版 ) part2

本书主要介绍如何使用开源ETL工具来完成数据整合工作。 本书介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW类比较大型的应用外,Kettle 实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外,它还支持Excel、Access这类小型的数据源。并且通过插件扩展,Kettle 可以支持各类数据源。本书详细介绍了Kettle可以处理的数据源,而且详细介绍了如何使用Kettle 抽取增量数据。 Kettle 的数据处理功能也很强大,除了选择、过滤、分组、连接、排序这些常用的功能外,Kettle 里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大,都非常适合于各种数据处理功能。本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。 本书后面章节介绍了如何在 Kettle 上开发插件,如何使用Kettle处理实时数据流,以及如何在 AWS上运行Kettle 等一些高级主题。 除了介绍PDI(Kettle)工具的使用和功能,本书还结合Kimball博士的数据仓库和ETL子系统的理论,从实践的角度介绍数据仓库的模型设计、数据仓库的构建方法,以及如何使用 PDI实现Kimball博士提出的34种ETL子系统。

2016-06-20

Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案(中文版) part3

本书主要介绍如何使用开源ETL工具来完成数据整合工作。 本书介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW类比较大型的应用外,Kettle 实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外,它还支持Excel、Access这类小型的数据源。并且通过插件扩展,Kettle 可以支持各类数据源。本书详细介绍了Kettle可以处理的数据源,而且详细介绍了如何使用Kettle 抽取增量数据。 Kettle 的数据处理功能也很强大,除了选择、过滤、分组、连接、排序这些常用的功能外,Kettle 里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大,都非常适合于各种数据处理功能。本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。 本书后面章节介绍了如何在 Kettle 上开发插件,如何使用Kettle处理实时数据流,以及如何在 AWS上运行Kettle 等一些高级主题。 除了介绍PDI(Kettle)工具的使用和功能,本书还结合Kimball博士的数据仓库和ETL子系统的理论,从实践的角度介绍数据仓库的模型设计、数据仓库的构建方法,以及如何使用 PDI实现Kimball博士提出的34种ETL子系统。

2016-06-20

Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案(中文版) part2

本书主要介绍如何使用开源ETL工具来完成数据整合工作。 本书介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW类比较大型的应用外,Kettle 实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外,它还支持Excel、Access这类小型的数据源。并且通过插件扩展,Kettle 可以支持各类数据源。本书详细介绍了Kettle可以处理的数据源,而且详细介绍了如何使用Kettle 抽取增量数据。 Kettle 的数据处理功能也很强大,除了选择、过滤、分组、连接、排序这些常用的功能外,Kettle 里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大,都非常适合于各种数据处理功能。本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。 本书后面章节介绍了如何在 Kettle 上开发插件,如何使用Kettle处理实时数据流,以及如何在 AWS上运行Kettle 等一些高级主题。 除了介绍PDI(Kettle)工具的使用和功能,本书还结合Kimball博士的数据仓库和ETL子系统的理论,从实践的角度介绍数据仓库的模型设计、数据仓库的构建方法,以及如何使用 PDI实现Kimball博士提出的34种ETL子系统。

2016-06-20

Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案(中文版) part1

本书主要介绍如何使用开源ETL工具来完成数据整合工作。 本书介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW类比较大型的应用外,Kettle 实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外,它还支持Excel、Access这类小型的数据源。并且通过插件扩展,Kettle 可以支持各类数据源。本书详细介绍了Kettle可以处理的数据源,而且详细介绍了如何使用Kettle 抽取增量数据。 Kettle 的数据处理功能也很强大,除了选择、过滤、分组、连接、排序这些常用的功能外,Kettle 里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大,都非常适合于各种数据处理功能。本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。 本书后面章节介绍了如何在 Kettle 上开发插件,如何使用Kettle处理实时数据流,以及如何在 AWS上运行Kettle 等一些高级主题。 除了介绍PDI(Kettle)工具的使用和功能,本书还结合Kimball博士的数据仓库和ETL子系统的理论,从实践的角度介绍数据仓库的模型设计、数据仓库的构建方法,以及如何使用 PDI实现Kimball博士提出的34种ETL子系统。

2016-06-20

大型网站技术架构:核心原理与案例分析.pdf

本书作者是拥有核心技术部门的一线工作经验,直接体验了大型网站构建与发展过程中的种种生与死,蜕与变,见证了一个网站架构从幼稚走向成熟稳定的历程。 没有晦涩难懂的术语,没有诘屈聱牙的文句,没有故弄玄虚的观点…… 明明白白的语句,清清楚楚的文法,干净利落的建议——让读者直接体会网站架构的紧要处,不容马虎的关键点——这恰好是一个优秀的网站架构所必备的要素。 如果说“水不在深,有龙则灵”,那么对于想了解网站架构的读者而言,这本书恰好是“书不在多,有它则行!”

2016-01-06

Windows服务编写原理及探讨

详细讲述如何建立一个自启动的windows服务,原理和代码都有

2012-03-09

重构-改善既有代码的设计

侯捷写的重构-改善既有代码的设计的chm版,比pdf版清晰,为完全版,不少内容

2011-11-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除