一叶不知秋

Avro 和 Parquet 是处理数据时常用的两种编码格式，它们同为 Hadoop 大家庭中的成员。这两种格式都是自我描述的，即在数据文件中带有 Schema。Avro 广泛的应用于数据的序列化，如 Kafka，它是基于行的格式，可被流式处理，而 Parquet 是列式存储格式的，适合于基于列的查询，不能用于流式处理。既然是一个系统中可能同时用到了这两种数据存储格式，那么就可能有它们之间相互转换的需求。本文探索如何从 Avro 转换为 Parquet 格式数据，以 Java 语言为例，所涉及到的话题.

管理一个远程机器最常规的做法是 SSH(Unix/Linux, Mac) 或 PowerShell/RDP(Windows)，这就要求远端机器要开通相应的访问端口及打开防火墙，配置好登陆用的用户名密码或 SSH Key。当选择一个 EC2 实例的时候，可以点击 "Connect" 按，它提供有三种连接选择：EC2 Instance Connect: 要求 EC2 配置了 SSH Key, 启动了 sshd 并开启了 ssh 的 Security Group，还要在实例上安装了ec2-instance-.

Java 单元测试最趁手的 Mock 组件当属 Mockito，虽然它最初是基于继承来实现 Mock 的，所以对私有方法，私有属性，静态方法，final 类，final方法，构造函数无能为力。于是有时不得不引入 JMockit 或 PowerMockit 来辅助。不过现在的 Mockito 功力有所增强。首先是 Mockito 2.1.0 开始可以 Mock final 类和 final 方法，要在 classpath 下创建个文件mockito-extensions/org.mockito.pl...

又一月有半未落下一个符号了，越来越喜爱用 Python 来高效的辅助日常工作了。先前在 Shell 下使用 Python 代码，因为 Vim 可以配置 Kite 进行代码的自动完成。很早就知道 Jupyter Notebook, 但觉得它还不够漂亮，又没代码提示，也就一直没理会它，后来看到 Kite 可以支持JupyterLab, 一启动 JupyterLab 的那一瞬间，果然比 Notebook 高大上了许多。有了 Kite 加持，写代码更是顺畅的多，当然还飞不起来。Notebook 应该是一个更经...

在 Python 使用用json.dumps(data)时突然发现特别慢，data本身不大，但是一个包含很多元素的列表，所以促使本人寻找一个替代的 JSON 处理库。大概对比了一个 ujson(UtltraJSON), python-rapidjson(RapidJSON) 和 Python 自带的 json 库。还有一个simplejson是为兼容 Python 2.6 以前用的(json 是 Python 2.6 新加入的 API)，性能有些差。基本上姜还是老的辣，想要收获更好的性能，还...

Java 虚拟机分析工具用 JDK 自带的jconsole,jvisualvm, 和jmc(Java Mission Control) 就已经非常好了，还真极少情况下(甚至没有)非得用商业的 Profiler 工具如 YourKit Java Profiler 或 JProfiler 的情况。用于实时观察 JVM 的内存, CPU, 线程等运行状况，对比 Heap 快照，发现线程死锁的应用情景，我比较喜欢用jvisualvm(VisualVM)。有很长一段时间，因为在家办公司，只要连接到公司的...

使用了一段时间的 Vue.js 以后，其中有大量的 ES6 的export/import用法，如import axios from 'axios';import Home from '../views/Home.vue';export default { data() { .... }因为目前对 ES6 的export/import用法是一知半解的，所以基本上都是基于 vue-cli 创建的项目上依葫芦画瓢，更是不太理解 vue 的项目是如何由main.js->App...

记录一下在 Vue.js 项目中使用 vue-prism-editor 进行语法高亮显示代码，并兼具代码编辑功能。JavaScript 中有几个比较典型的语法高亮显示的代码库，例如SHJS,SyntaxHighlighter,Rainbow, highlight.js。本博客曾经使用过 SyntaxHighlighter 来显示日志中的示例代码，现今所采用的是基于 PHP 的Crayon Syntax Highlighter。除了只为了高亮显示代码外，有时候还需处理在线编辑代码，许多年前试用过...

一年半以前写了关于 Python 包管理及虚拟环境系列Python 包管理及虚拟环境的应用(一: pip) Python 包管理及虚拟环境的应用(二: virtualenv) Python 包管理及虚拟环境的应用(三: pipenv)其中历数了virtualenv,python3 -m venv,pipenv, 并提到了pyenv和 conda，但未作介绍，其中 conda 似乎不该错过，Pycharm 中对它也有很好支持。因此本文来了解一下 conda 以及 Anaconda。首先...

Python 接触的晚，所以接着体验一下 Python 3.8 带来的主要新特性继续往前翻，体验一下 Python 3.7 曾经引入的新特性，爱一门语言就要了解她真正的历史。一步一步慢慢给 Python 来个起底。先来看看 Python 网站的各版本使用情况Usage statistics of Python Version 3 for websites, 这里统计的 Python 开发的网站的数据，应该有 Python 3 大规模的用于其他领域。单网站应用 Python 来说，Python 2...

在去年的一篇Python 多线程编程中学习了 Python 中如何使用多线程来调度任务，工作中也不时从自己的博客中找来参考。在运用当中不时的碰到内存消耗殆尽情况，直接把命令行窗口打死，不得不强行关窗口或杀进程。之前一直未意识到问题所在，只知任务太多就必死无疑，现在要用 Python 来处理大量任务了，必须着手来解决一下它。其实原因很简单，和 Java 的 ThreadPoolExecutor 一样(看它们用的类名都是一样的)。Java 的 ThreadPoolExecutor 内部使用了一个Inte...

想要配置好 Apache + mod_wsgi + Flask 问题真是太多了，随便换一个 Linux 发行版，或者不同的 Python 版本就得让 Google 排很多温室气体。Nginx 可以使用 uWSGI 和 Flask 串联起来，配置起来第一直觉好像也不容易，所以打算换一种方式，直接用一个 Python 的 WSGI HTTP Server, 必要的话再往前面加一个反向代理的 Nginx。这里就来试下 Nginx + Gunicorn + Flask 的完整配置。在 Flask 的官方网站..

在 Flask 的官方文档mod_wsgi(Apache), 说来倒是轻巧，实际操作起来不得不时刻要凝视眼前的无数大坑，或许 Linux, Apache 都用上比较新的版本会好一些。而我所用的环境是 AWS 上的 EC2, AMI 镜像发行版用 cat /proc/version 看到的是 Red Hat 7.2.1-2，内核为 4.14。照着 Flask 的官方文档是没做成功的，yum install mod_wsgi 只能安装到 Python2 的模块，pip install mod_wsgi 也不..

本来只是为了研究一下 Flask 怎么去支持早已在 Python 的支持的 coroutine 功能，没想步子越迈越大，直顶到 aiohttp Web 服务器和 Flask 的异步实现版本 Quart。Flask 得费了好一番功夫去获得EventLoop，可知 aiohttp 和 Quart 的路由方法直接就允许async的，那个EventLoop自然就在其中。从async的路由方法出发去调用别的异步方法就是一件十分轻松的事情。下面来稍稍体验一下用分别用 aiohttp 和 Quar...

源于自己折腾的一个小 Flask 项目中，后台需访问多个 HTTP 服务，目前采用 ThreadPoolExecutor 多线程的方式处理的。但因访问 HTTP 服务有前后关联关系，如得到请求 A 的结果后再访问 B，这似乎用 Promise.then().then() 编程方式更合适些。于是巡着这一路子，翻出 Python 的各种相关部件来，比如 Python 对 coroutine(协程) 的支持，asyncio, 及后面的 async/await 关键子，aiohttp组件，requests 的 a.

在Python 常用日期处理 -- 内置模块 datetime探讨了 Python 如何使用 datetime, 如果是一个跨时区的应用(Web 应用都是)，就不能只存储一个时间而不带时区，如此，全球用户将会看到一个相同的时间字符串，白天黑夜就错乱了。比说用户信息的更新时间存储为 2020-07-07 13:46:08, 上海的用户和芝加哥的用户看到的是同一个时间字符串，实质上却相差好多个小时。我们可以这么做，在服务端只存储一个 Timestamp 长整型值或 UTC 时间，Timestamp 是...

紧接上一篇Flask 和 Vue.js 开发及整合部署实例，来体验一下它们与 Bootstrap/BootstrapVue 的集成。漂亮的网站少不得一个好的 CSS 框架，现在有许许多的 CSS 框架可选，纯 CSS 的, 轻量级的, 含 JS 的 CSS 框架，如Pure,Bulma,Spectre, 国产的Element等。而我总觉得 Bootstrap 更是五臟俱全，像 Element 专为 Vue.js 打造的一样，Bootstrap 也有 BootstrpVue 那样一个结晶品。本...

想做些简单的 Web 工具，首先想到的是 Flask + Vue.js, 当然可以完全用 Flask 自己的页面模板 Jinja2, 但一个网站项目不能享受到像 Vue.js, React 类似框架的灵活性真是太可惜了。于是 Flask 只专注于 API, 页面逻辑全用 Vue.js 的组合就成了我的首选，Flask 方面还能进一步选择 FlaskRESTful 框架。还需做得更漂亮的话，CSS 框架可选择 Bootstrap 或与 Vue 紧密集成的 BootstrapVue, 这是后话。本文主要参考

docker attach可以连接上 Docker 容器的标准输入，输出和错误输出。比如docker attach连接后就能显示容器中用 ENTRYPOINT/CMD 启动进程的输出内容内容。想要断开会话连接怎么做呢？ctrl - c, 控制台是不再显示了，可以容器也被终止了，显然这是一个危险的操作。ctrl - c不仅仅关闭了docker attach本身，因为它的默认参数--sig-proxy是true，所以SIGKILL信号同时传递到了 ENTRYPOINT/CMD 的 PI...

使用 Mockito Mock 方法式，一直以为可以用anyString(),any(Foo.class)等匹配null值，其实不行，null值必须显式的用null, 或eq(null)来匹配。anyString(),anyInt()等只能匹配非null值，查看它们的返回值实际是 "" 和 0 等, 而更为特别的是any(Foo.class)看到的是null, 仍然不能匹配null值。进一步用Mockito.mockingDetails(mock).printInvoc...

Python 集合的遍历,推导及 filter/map/reduce 操作中讲了对集合的 filter, map 和 reduce 操作，那还有 sort 排序呢？像 Java 一样，Python 也提供了 sort() 和 sorted() 方法。sort() 是 list 的实例方法， sorted() 是一个内置函数。Python 中也是只有 list 才有顺序。list.sort()方法查看 Python 3 中的list.sort()方法(help(list.sort))...

本文主要探讨一下在 Python 各种创建 list, set, tuple 和 dictionary 的方式。首先看最常用的创建方式 1 2 3 4 alist = [1, 2] # type(alist) <class 'list'> aset = {1, 2}# type(aset) <class 'set'> atuple = (1,...

对于基本的排序算法，前面介绍了冒泡，选择，插入和希尔(增强版本的插入), 还有快速排序，现在还剩下最后一种基本的排序算法，那就是归并排序。归并排序像快速排序一样采用递归算法对列表进行分而治之，每次平均一分为二，分到只有一个元素为止。如果列表为空或只有一个元素时，那么从定义上来说它就是有序的; 当然归并排序的拆分最终不会有空列表的情况。拆分成一个个元素后再往回归并，归并是指将两个较小的有序列表归并为一个有序列表的过程。比如说两个单元素列表归并为两个元素的有序列表，两个双元素的列表归并为四个元素的有充列表...

前面讲过的几种排序多是以排序逻辑来命名的，例如冒泡，选择和插入排序，以及其他如归并排序，当然还有觉得自己足够牛 X 快速排序命名。而本文要学习的排序算法叫做希尔排序是以其设计者 Donlad Shell 命令的排序算法，该算法在 1959 年公布，能以作者来命名的算法应该是很不错的，令设计者引以为傲的。最初写出冒泡和选择排序的就没以作者来命名，可能不好意说，更可能是公共思维。那么什么是希尔排序...

前面说过最原始的复杂度为 O(n2) 的冒泡和选择排序，也跳跃到了复杂度为 O(n log n) 的快速排序，现在又再看一个复杂度同样为 O(n2) 的插入排序。从排序名称结合代码我们理解了为什么叫做冒泡或是选择，快速排序自认高名，那么何以这又谓之插入排序呢？是怎么插入，从左边往右边插，还是从右边往左边插，这得搞清它的排序原理：它在列表较低的一端维护一个有序的子列表(从最左端一个元素开始)，...

熟悉了传统的 C++/Java类定义的风格，来感受一下 Python是如何定义类的。本篇是阅读 《The Quick Python Book》第二版关于类定义的笔记，由原书内容进一步引申，不过是依照本人的思考顺序来组织的。在理解Python类定义的同时头脑中应该闪现出JavaScript/Java如何定义类的情景。最简单的类定义class MyClass: pass...

冒泡和选择排序的简单粗暴也许在某些人眼里都不能称作算法，现在要进入一种更优雅的排序算法，快速排序。它使用分而治之(Divide and Conquer, D&G) 的策略，要应用到递归调用。快速排序敢说自己快速，也确实比选择排序快很多很多。冒泡和选择排序，尤其是选择排序是非常自然的排序算法，而快速排序就不是一般人会随意想出来的。快速排序的演绎需要用递归来思考循环的问题，然而我之前总是在...

因 COVID-19 漫延各自居家，也更有闲时，便拣起一本关于算法的书籍来研究。本不是科班出身，算法方面自然是自己的薄弱环节。平时用各种 SDK，只大概听说了些算法，仅能就自己如何选择哪种实现而作为参考。如今阅读的是一本入门的书籍，名为 《算法图解》，英文版书名是 《Grokking Algorithms》。 该书图文并茂，十分适合初学者，关于排序最基本莫过于冒泡与选择排序。该书并未提及冒泡，...

前边折腾了各种安装 Kubernetes 集群的操作，还跑到 AWS 上撸了一把 EKS，也在 Kubernetes 上部署过服务。继续更深一步的学习如何部署应用和怎么通过 Service 去访问 Pod 中的应用，顺带看看内部的网络是怎么流转的。测试平台还是以本地启动的三个 Vagrant 虚拟机组成的 Kubernetes 集群，安装方法见Kubernetes 学习笔记(一) - 初上手...

用自己Kubernetes 学习笔记(一) - 初上手一文中的方法用 Vagrant 虚拟机安装的 Kubernetes 集群，部署应用什么的都没问题，然而却在用$ kubectl exec -it <pod-name> -- sh试图登陆 docker 容器时出问题了，总是报错说error: unable to upgrade connection: pod d...

Java 多线程编程常用的一个接口是ExecutorService, 其实就一个线程池的接口，一般由两种方式创建线程池，一为 Executors 的工厂方法，二则创建 ForkJoinPool 实例，当然也有直接使用 ThreadPoolExecutor 的。关于什么时候用ForkJoinPool或普通的线程池(如 Executors.newFixedThreadPool(2) 或 ne...

在 AWS 上创建好 EKS 后，想要在本地用 kubectl 来管理 EKS，必须用aws eks update-kubeconfig来更新本地的~/.kube/config文件或者KUBECONFIG环境变量指向的别的配置文件。比如说你创建 EKS 的用户在本地~/.aws/credentials中的 profile 是my-aws-profile, 那么完整的upd...

前面从无到有或是分别以 Docker Desktop, Minikube, kind 来搭建过 Kubernetes 集群。而如今各大云服务提供商基本都推出了各自的 Kubernetes 服务，例如：Google GKE - Google Kubernetes Engine Amazon EKS - Amazon Elastic Kubernetes Service Microsoft A...

在Kubernetes 学习笔记(一) - 初上手中一上手就尝试了最原始级的安装 Kubernetes 的方式，花了不少时间，好处是能更好的理解 Kubernete 的组成以及各节点是如何协同工作的。从《Kubernetes in Action》第二版中了解了几种简单的方法，为什么要把以下几种方式列出来呢？为了让看到上篇的同学们不至于对 Kubernetes 的安装过程望而却步。下面的前两种方...

原本是继续阅读《每天5分钟玩转Kubernetes》一书的，发现该书所用的 Kubernetes 版本着实有点老旧( 1.7), 当前版本是 1.18。操作起来有些不同，所以找来了最新的 《Kubernetes in Action》第二版 来看，该书还在写作当中。第二章全是讲 Docker 的内容，本人读书有个不好的习惯，就是不喜欢跳过跳过。看了总会有收获的，这不，就从中稍微理清了 Docker ...

经过前几天从 Docker Swarm 到 Docker Compose 的历练之后，终于踏上了 Kubernetes 的学习征程了。虽说前两者并非必要的学习 Kubernetes 的基础，但了解它们之后与 Kubernetes 中的一些概念可以进行对比理解。本系列是阅读 《每天5分钟玩转Kubernetes》的笔记，书名倒是来的轻松，对我来说每天 5 分钟根本吸收不了什么知识。如果把阅读该书...

继续向 Kubernetes 进发，上一篇Docker Swarm 集群模式实操了解完 Swarm 后，有必要对 Docker Compose 了解一番。Docker Swarm 是把 Docker 宿主机组成集群，部署服务时只要告知 Manager 节点，它就会自动找到相应节点去运行相应的容器。Compose 完全是另一个概念，它把相关联的多个容器组织成一个整体来部署，如由负载容器，多个 W...

在正式进入 Kubernetes 之前希望能对早先的 Docker Swarm 有所了解，虽然它目前基本上没什么用处。Swarm 提供的是 Docker 宿主机的集群，集群中至少有一个 Manager(或多个), 再加上 0 或多个 Worker。它的大意是有个 Docker 服务(容器)通过 Manager 告诉用所管理的 Swarm 集群来执行，它就会在该集群中找到相应的宿主机来执行。Mana...

常要在 Linux 下分析日志或其他类型的文件，基本用的命令也就 grep, awk, sed, cut, vim, cat, find, xargs, tail, more 或 less。本人工作平台为 Mac OS X, 而 Mac 下的 grep, sed, awk 的行为与 Linux 下的 GNU 标准的相应命令是有差别的, 所以我总是在 Mac 下安装 GNU 的 grep, sed,...

通常我们注册 Spring Bean 是通过像 @Named, @Bean, @Component, @Service 这样的注解来注册的，或者用更为古老的 XML 配置文件的方式。难免有时候要根据实际业务需求在 Spring 运行期间动态注册 Spring Bean, 比如基本某种形式的配置文件或系统属性来注册相应的 Bean, 这好像又回到了 XML 文件注册方式，也不尽然。那为什么在运...

看到本文标题也许要奇怪了，Python 的 print 难道不是也上可以看到结果的吗？在 Python shell 下只要>> print('Hello world!')Hello world!不就立马能看到控制台输出的 "Hello world!" 吗。或者是一个 Python 脚本文件 hello.pyimport timefor i in range(3...

学习理解一个软件非常好的方法就是跟随每一个版本演进的新特性，好比一个人被别人看着长大的，知子莫若父。因此每个版本的 Changelogs 或 What's New 是非常值得一读的，见What's New In Python 3.8。因为接触 Python 比较晚，没能即时的重前往后的看过 Python 各版本的新特性，于是采用倒叙的方式来看 Python 的演进也不错。在正式进入 Pyth...

继续把 Kafka 捋一捋，还剩两个主要的组件了，分别为 Kafka Connect 和 Kafka Streams。而其中的 Kafka Connect 是在 Kafka 0.9.0.0 开始加入的我，Connect 的出现让 Kafka 与外部世界更紧密连接起来了，进而可以让其他外围组件通过 Connect 的 Source 与 Sink 紧密的团结在以 Kafka 为核心的消息中心。从此不再...

Kafka 默认情况下是没有启用安全机制，这让能连接到 Broker 的客户端可以为所欲为，自 Kafka 0.9.0.0 版本引入了安全配置，但是需要进行一些配置来开启它。Kafka 安全主要包含三个方面：认证(authentication)，授权(authorization), 和信道加密(encryption)。其中认证机制和授权分别通过 SASL(SimpleAuthentication...

由于数据安全，网速等要求，许多公司都会建立多个数据中心，每个数据中心有独立的 Kafka 集群。为保持不同中心间的数据同步，就有必要在 Kafka 集群间进行数据镜像。kafka-mirror-maker命令或应用 Kafka Connect 可用于在多个 Kafka 集群相同的 Topic之间互间同步数据。这里就来体验一下不同的 Kafka 集群间如何用kafka-mirror-mak...

以下内容完全毫无章序，是阅读一本 Redis 相关书籍所划的一些自己助记用的重点。本不访放到博客上来，只称放在个人 Evernote 当中，于此纯粹为了自己往后查阅，所以请不要读它。OBJECT ENCODING key 可以查数据存储的底层结构类型如redis> SADD numbers 1 3 5 7 9redis> OBJECT ENCODING numb...

承接近两年前的用 PreparedStatement 向 SqlServer 中一次性插入多条记录，其文后用 User-Defined Type 可用下面简单的代码把 Java 本地内存中表格数据一股脑的刷入到 SQL Server数据库表格中String sql = "INSERT INTO Customers SELECT * FROM ?";SQLServerPreparedSt...

现实中有这样的用法，创建一批在线程池中运行的 CompletableFuture 实例，然后等待它们全部执行完再继续后面的操作。比如说 AWS 的 Lambda, 单单提交任务到线程池，不等待所有任务全部完成便退出主线程的话，AWS 便认为 Lambda 执行完毕，无视线程池中正在执行的任务而强行结束该 Lambda 实例。以往我们通常的作法如下ExecutorService thre...

Redis 自 2.6 版本起加入了服务端的 Lua 脚本支持，即增添了EVAL,EVALSHA,SCRIPT相关命令。Lua 为何物，Lua 是一个非常轻量级，强大，高效，可内嵌的脚本语言; 产自于巴西，源码和二进制包都只有 200 多 KB。当前版本的 Redis 5.0.5 中 Lua 引擎版本是 Lua 5.1(自 Redis 2.6 起就没变，当前 Lua 为 5.3.5)，可用...

Python 可信手拈来写系统脚本，那么在 Python 中调用系统命令应该会比较便捷。所以本文来看看 Python 有几种方式调用系统命令，以及与回味一下其他几种脚本语言的类似操作。简单说来，Python 执行系统命令的方式有四种方式，即os.system(cmd) (建议用 subprocess 模块) os.popen(cmd) (Python 3 中还能用，但不推荐使用了) com...

在 Python 中如果把函数定义写在调用的下方可能会出错，例如下面的代码foo()def foo(): print("hello")执行时会报出错误NameError: name 'foo' is not defined这时候要把foo()调用代码放到该函数的声明后面def foo(): print("hello")foo()这样执...

使用 Python 书写 AWS Lambda 的一个好处就是能够在控制台中直接编辑源代码，非常方便进行快速验证测试 AWS 环境相关的。这只限于使用 AWS 为 Python Lambda 运行时提供的默认组件(比如 boto3)，尚若需要在自己的 Python Lambda 中使用其他的组件(如 redis), 就不得不把自己的代码及依赖打成一个 zip 包再部署，这时候就无法在控制台直接编辑...

在用 Python 编写 AWS 服务时，要用到 Boto 3 组件，而像 boto3.client('s3') 获得的对象只能被 IDE 识别为一个 BaseClient, 具体包含什么操作方法是在运行时由参数s3指示的基于 JSON 文件所描述的。因此 IDE 对s3 = boto3.client('s3')的s3对象无法提供有效的智能提示，每次用 Boto 3 时不得不打开 Bo...

Java 中有关抽象的可遍历的对象有 Iterator, Iterable 和 Java 8 的 Stream, Iterable 可简单的用如下代码转换为StreamStreamSupport.stream(iterable.spliterator(), false)再回过头来，为什么要把 Iterator 或 Iterable 转换为 Stream, 因为 Iterator 和 ...

在进行数据流处理过程中，需要一个高效苗条的流处理组件，比如对输入流能进行分组(窗口)，能进行流量控制(Back Pressure - 背压)，这也就涉及到响应式编程，流处理框架。这方面如果直接基于 Akka actor 来构建 Akka ActorSystem 也是比较复杂，依赖的组件也不少。还有构筑在 Akka actor 之上的 Akka Streams，再往上的 Flink Streamin...

在我们对数据库 DAO 类进行单元测试时，通常不应该依赖于一个外部数据库，所以会选用特定比较接近于真实数据库类型的内存或嵌入式数据库，如 HSQLDB(HyperSQL), H2, Derby 等。但总难免会用到特定数据库的特性，这时候就无法用前述各种数据库进行测试了。非要单元测试中覆盖到所用的数据库特性的话可以选择用 docker，如Testcontainers, 经过模块扩展，它可以由 do...

写 Java 代码至今，在应对可能冲突的共享资源操作时会尽量用 JDK 1.5 开始引入的并发锁(如 Lock 的各类实现类, ReentrantLock 等) 进行锁定，而不是原来的synchronized关键字强硬低性能锁。这里是应用 JDK 1.5 的Lock的基本操作步骤private Lock lock = new ReentrantLock();private ...

Java 1.5(Tiger) 个人认为最为激动人心的两个特性是泛型与注解(Java Versions, Features and History)。泛型自然是不必说了，注解对 Java 世界的改变比泛型伟大的多(现在框架的注解配置)，在 Java 1.5 之前我们只能在 Javadoc 注释中做文章，于是只能用 XDoclet 那样不伦不类的东西。Java 的注解发展到现在几乎可以使用在书写代码...

本文紧承上一篇Python 常用日期处理，因制于篇幅的大小需求才临时分立新篇，这里要简单提到 calendar 和 dateutil 模块的使用，其中 calendar 是 Python 内置的。相比于上一篇而言，此处主旨会更明确一些，只记录三个应用案例，分别是用 dateutil 灵活的解析 datetime字符串 给定起始日期后的连续日期 给定起始日期后连续的月末日期dateut...

仅以此篇记录一下个人常用的 Python 处理日期的库与函数，主要涉及的类库有 Python 自带的datetime,time和calendar，以及第三方的dateutil。说到日期处理基本上要覆盖的概念有 date, time, datetime, timezone, calendar, 时间的比较与差值，解析与格式化显示等。在 datetime 模块中类之间的继承关系如下：...

在 Spring 中应用 ServiceLocator 方式来获取 Spring Bean 的介绍参考了那么多，其实还是数官方的ServiceLocatorFactoryBeanJavaDoc 文档最言简意该了。Spring 的 ServiceLocator 仿佛用处不大，说到底就是类似于下方找寻某个 Spring Bean 一样：ApplicationContext context = ...

许久没记录笔记了，这回来重新熟悉一下 Spring 中 FactoryBean 的使用，顾名思义，它是用来获得相应 Bean 的工厂的。它与另一个 Spring 中的接口 BeanFactory 的作用不一样的，不能多说了。FactoryBean 和 BeanFactory 都是在org.springframework.beans.factory包中，谁能一看类名搞清楚它们的差别？Fact...

继续阅读 《Python Tricks: The Book》，书中说到 "Objects Can Behave Like Functions", 就是把对象当成函数来调用，在普通对象后加个括号就能调用相应的 __call__ 函数。下面是书中的例子class Adder:    def __init__(self, n):        self.n = n    def __cal...

本文为阅读 《Python Tricks: The Book》一书的 3.5 Function Argument Unpacking 的笔记与扩充理解。函数参数拆解是定义可变参数(VarArgs) *args 和 **kwargs 的反向特性。*args 和 **kwars 是函数可定义一个形参来接收传入的不定数量的实参。而这里的函数参数拆解是形参定义多个，在调用时只传入一个集合类型对象(...

借鉴于其他多数语言中集合的 map/reduce 操作，也想总结一下在 Python 中如何对集合进行 map/reduce。而不是对于 Python 集合只会用简单的 for ... in 遍历，处于之间的是 Python 的  Comprehension 操作，更倾向于译作推导; 在 Scala 中也有类似的  for-comprehension 语法。因此本文将涉及到三个方面的知识，基本...

就在 2019 年 1 月份微软收购了 PostgreSQL 数据库的初创公司 CitusData, 在云数据库方面可以增强与 AWS 的竟争。AWS 的 RDS 两大开源数据库就是 MySQL(Aurora 和 MariaDB 是它的变种) 和 PostgreSQL。而 PostgreSQL 跳出了普通关系型数据库的类型约束，它灵活的支持 JSON, JSONB, XML, 数组等类型。比如...

Python 在语法上除了冒号与强制缩进外其实也没有太多令人眼前一亮的东西，倒是它的装饰器(Decorator) 值得玩味。初读 《THE Quick Python Book》一书，关于 Decorator(装饰器) 这一节匆匆而过，只是觉得它像 Java 注解一样的东西，没太细究。后来慢慢看到还是不少地方在用装饰器，如 Python 的属性 @property, @name_attr.sette...

前两篇分别学习了 Python 如何进行依赖的管理，以及结合虚拟环境来使用pip进行依赖管理。而有人觉得把virtualenv与pip分开来操作太麻烦了，而且requirements.txt描述依赖的方式十分笨拙，所以在前两者之上创建了pipenv, 也谈不上重新发明了轮子吧。3. Pipenv: 新一代依赖管理与虚拟环境倘若不是经由virtualenv,venv而...

原本想在一篇之内覆盖到 Python 的包管理以及各类虚拟环境的应用，没想根本就是一发不可收拾，恐怕两篇都完不了，所以也要进行重构。这里只涉及到 Python 的虚拟环境venv和virtualenv，至于标题的话，也不想再改了，只作一，二，三编号，必要时仍能连缀成长篇。最后一篇将单独学习pipenv的应用。以下序号也是承接上一篇Python 包管理及虚拟环境的应用(一)。2....

话说 Python 的哲学之一就是:用一种方法，最好是只有一种方法来做一件事。可以用python -m this或在 python 交互界面下import this看到The Zen of Python有一句：There should be one-- and preferably only one --obvious way to do it.然而 Python 在关...

Web  编程中由于需要用 Form 或 URL 来传递参数，所以必然会有 urlencode 和 urldecode 的操作，Python Web 也不例外。Python 对 URL 的编解码操作提供了 urllib 模块，下面例子中所使用的 Python 版本是  3.6.7，不同的 Python 版本可能略有差异。简面言之本文就是关于以下六个函数的使用，更多关于 urllib 的用法请自...

JSON 表示布尔值标准的形式是 true  和  false，如果 Java 对应的类型是对象  Boolean，那么在 JSON 中也可以是  null。如果收到 JSON 数据是用 'Y'/'N', 或 'Yes'/'No' 来表示布尔值的，那么使用 Java 的 Jackson 库如何把它们反序列化为相应的布尔属性值呢？如果按照 JSON 规范必须把内容中的布尔值全部转换为 true ...

在使用  Python 进行数据库查询，通常情况下 cursor 的 fetchall, fetchmany 返回的是元组(Tuple) 的列表，所以对查询到的结果只能用索引下标来访问，而无法通过字段名来获取值。对 Java JDBC 的 ResultSet 操作，我们有两种获取值的方式，resultSet.getString(1) 和 resultSet.getString('name')。...

作为一个  Java 为母语的程序员来讲，学习起其他新的语言就难免任何事都与 Java 进行横向对比。Java 7 引入了能省去许多重复代码的 try-with-resources 特性，不用每回 try/finally 来释放资源(不便之处有局部变量必须声明在  try 之前，finally 里还要嵌套 try/catch 来处理异常)。比如下面的  Java 代码try(InputStr...

上一篇 Python 的模块搜索路径，介绍了 Python 的模块搜索路径，最终起作用的是 sys.path 路径列表。如果要自定义自己的搜索路径，就是要怎么定制 sys.path 的内容。可以简单的用 PYTHONPATH 环境变量前向添加，这儿将要说的是用 .pth 文件的方式。也可由此进一步理解 Python 依赖管理工具，像  virtualenv 等的工作原理。.pth 文件名是什么...

一种语言要使用到外部库(模块) 时必然会涉及到从哪里以及按何顺序加载依赖，就像 LD_LIBRARY_PATH, CLASSPATH 那样，Python 也有其默认的模块搜索顺序, 依序找到想要的模块即停止。Python 中 sys.path 返回的列表包含了模块搜索的顺序，我们可以程序中修改该列表，或用 PYTHONPATH 环境变量前插路径，甚至是用  .pth 文件来附加路径。简单的，可...

阅读到 Strings 中关于转换对象为字符串的内容，介绍了 repr 函数，趁着还没有真正了解 Python 面向对象的生疏与热度，感性上理解一下 repr 与 str 这两个函数的区别。Python 的全局方法 repr 和 str 会映射到对象的 __repr__ 和 __str__ 的方法调用，还有 str(obj) 时会调用哪个方法，以及 print(obj) 和调试 Python ...

Web 程序我还是喜欢用 Apache 来作为入口，因为我用的系统是 Mac OS, Apache 它就静静的躺上那儿了。最好是都像 PHP 那样的程序，无需启动额外的服务，这种使用方式的缺陷是不太适合于做微服务。这儿呢，我也是来探索如何在 Apache 中运行 Python 的 CGI 程序，这主要是涉及了 Apache 与 Python 的集成。集成方式有直接集成(mod_python)，...

两年前想摸摸 Python 的门道，简要记录了一篇 我的 Python 快速入门，当时只觉得那是一种与 C/Java 异样风格的编程语言，没领会到特别之处。如今对 Python 的感受就不一般了，因为是云服务，机器学习，人工知道大行其道的年代，所以更为急迫的想把它好好弄明白。Python 3 说是设计的比  Python 2 要合理的多，所以没有保持向后兼容，现在初学 Python 对于选择哪...

Kafka 消息的 Producer 在调用 producer.send() 方法发送消息时会先把消息放到本地缓冲中，然后由  Kafka 网络线程从缓冲中提取消息再送到 Kafka 代理上去。本地缓冲区大小由 buffer.memory 来配置，默认为 32M(32 * 1024 * 1024L)。如果发消息到网络慢于提交消息到缓冲区的话，缓冲区就可能会满就无法接受新的消息，这时候就要依照 bl...

得益于 Java 8 的 default 方法特性，Java 8 对 Map 增加了不少实用的默认方法，像 getOrDefault, forEach, replace, replaceAll, putIfAbsent, remove(key, value), computeIfPresent, computeIfAbsent, compute 和merge 方法。另外与 Map 相关的 Map....

本文记录 Spring Boot 与 Logback 是如何工作的，即记录 Spring Boot 中 Logback  是怎么一步一步初始化的。用以测试的 Spring  Boot 版本是 1.5.16, 而非最新的 Spring Boot 2。关于 Spring Boot 日志的官方文档在 Logging, 但不太详细或透彻。本文不承诺说理解得更有深度，只是为官方文档提供更多方面的参考。S...

Amazon 在 2018 年 6 月份宣布可以设置用 SQS 来触发 Lambda，SQS 不再是单纯用于 ECS 服务中，或用于伸缩控制的。这儿就来亲自尝试一下用 SQS 驱动的 Lambda，以及要注意的要素。首先使用 Java 编写 Lambda 的话，AWS 在 com.amazonaws:aws-lambda-java-events:2.20 版本开始加入了 com.amazona...

AWS Lambda 允许设置 Debugging and error handling, 在 Lambda 出现异常，达到最大的重试次数后，把以下信息放到选择的 SNS 或 SQS 主题作为死信队列(DLQ - Dead Letter Queue)，包括原始 Lambda 接收到的消息(基于 SNS 和 SQS 消息的总大小，可能会被截取，本人猜测，尤其是 Kinesis 的消息会比较大)...

如果一个 Java 类在初始化时会有外部依赖，这就给单元测试创建它的实例时造成困难。当然被测试类可以改造为依赖全部构造时注入或创建实例后延迟注入，这里不考虑这种改造。单说下面的例子public class OrderService { private PriceInquiry priceInquiry = new PriceInquiry(); ......... ...

Java 8 的 Lambda 特性较之于先前的泛型加入更能鼓舞人心的，我对 Lambda 的理解是它得以让 Java 以函数式思维的方式来写代码。而写出的代码是否是函数式，并不单纯在包含了多少 Lambda 表达式，而在思维，要神似。实际中看过一些代码，为了 Lambda 表达式而 Lambda(函数式)，有一种少年不识愁滋味，为赋新词强说愁的味道。从而致使原本一个简单的方调用硬生生的要显式...

本文准确来讲是探讨如何用 Jackson 来序列化 Apache avro 对象，因为简单用 Jackson 来序列化 Apache avro 对象会报错。原因是序列化 Schema getSchema() 时会报错，后面会讲到，需要序列化时忽略该属性。那么能不能在 getSchema() 上加上 @JsonIgnore 来忽略该属性呢？原理上是通的。不过手工修改的 avsc 生成的 Java 文...

Java 8 引入的 Optional 类型，基本是把它当作 null 值优雅的处理方式。其实也不完全如此，Optional 在语义上更能体现有还是没有值。所以它不是设计来作为 null 的替代品，如果方法返回 null 值表达了二义性，没有结果或是执行中出现异常。在 Oracle  做  Java 语言工作的  Brian Goetz 在 Stack Overflow 回复  Should ...

最初看到 Java 9 的这个新特性没太在意，及至重新关注到 Spring 5/Springboot 2 的响应式编程的时候才真正重视起 Reactive Streams(响应式流或反应式流)。应用响应式流的编程也就叫做响应式编程(Reactive Programming)，无论是翻译成反应式编程都有些令人摸不准头脑。与此对应的在 Web 设计方面有一个叫做响应式 Web 设计(Responsiv...

Java 六个月的版本迭代周期让我们突然间有些喘不过气来，又 Java 11 才会是一个长期支持版本，如果可能的话我们将会是从 Java 8 直接往 Java 11 跳去。在 Java 8 大行其道，裹足不前的当下，谈论着未来 Java 11 不确定的新特性，有一种看着别人家碗里的不过瘾，还要看着别人家锅里的感觉。本篇原本只是为了对 Java 11 潜在的原始字符串字面量(Raw String L...

一年前解决了 WordPress 在 Linux 下不能发送邮件的问题，后来有段时间很正常，我的网站接收邮件的邮箱是 Gmail 的。但是近来，网站上有留言时极少收到通知邮件，怀疑是 Debian 下的  exim4 又不能正常工作了。但是试了如下的 PHP 脚本$ php -aInteractive mode enabledphp&gt; mail('&lt;my_gmail_account&g...

上一篇 Linux 下配置滚动日志之 logrotate, 介绍了定时服务 logrotate 的方式对日志进行滚动，删除旧归档。logrotate 是目前流行 Linux 发行版内置的定时服务，默认每日根据配置文件来滚动日志文件。那么它可能有一个弊端就是，如果每日增长的日志超大，同时会暴盘，那么就必须调整 logrotate 这个 cron 定时服务为每小时，或自定义的 cron 表达式来控制。...

日志是个好东西，便于定位历史问题，但记录太多，不滚动，不除旧总暴盘的时候。如果是用日志框架输出的日志，像 Log4j 或 Logback 通过选择具有滚动特性的 Appender 就能实现日志的滚动，并删除旧的归档日志文件。但也有在程序当中难以控制的日志输出文件，这用的话必须采取事后补救措施，程序尽管往一个日志文件里写，由另一个程序来对该日志文件进行归档，清理操作。与此相关的工具，我们可以找到以下...

平台之所以谓之平台，以其能建立一个生态，并与之外围达成共赢。霸道点的平台也会反噬外围生态，像微软集成浏览器，媒体播放器。还有即将的 iOS 12 要把应用商店多是收费的 AR 皮尺放到它自己系统中来，走别人的路，让别人无路可走。从此众泰皮尺部的唯一的生产工具就会是人手一部能安装 iOS 12 iPhone 了。JDK 也不例外，Java 8 之前日期库的话 Joda-Time 是首要之选，Java...

什么是线程栈继续纠缠 Java 9 的新特性，仍然是一个边角料，即 Java 9 增加了对线程栈遍历的 API。那么什么是线程栈，JVM 在创建每一个线程的同时都会创建一个私有的虚拟机栈，每一桢代表着一个方法调用，每次方法的调用与退出意味着压栈与出栈。每一桢上有局部变量，操作数常量引用等信息，这也是为什么局部变量是能最快被销毁的对象。过深的栈(比如过多的递归调用) 会出现我们程序员赖以生存的 St...

我们知道 Java 的合法命名是以字母或下划线开头的字符串，当然，以前单个下划线 _ 也是一个合法的变量命名。但是自 Java 8 的第一个版本开始，单个下划线的变量名编译时会有警告int _ = 99;用 Java 8 编译时提示警告：Test.java:2: warning: '_' used as an identifier    int _ = 99;          ^    (use...

关于 Java 9 的新特性从某本书的最后一个说起：平台日志 API。个人没感觉这个有什么实质的用途，所谓的平台日志是指 JDK 自身代码，或者是 JVM 组件中的日志输出，而在自己应用程序代码中却不会去用这个平台日志 API。这个所谓的 Platform Logging API 名称的意义也就是在这里，平台用的，在诊断时用来观察 JDK 类或 JVM 中的日志输出，比如应该可以截获到  JVM ...

Java 9 出来了很久，买的书《Java 9 Revealed - For Earyly Adoption and Migration》，说怎么迁移到 Java 9，可是突然间 Java 9 就无法通过正常渠道从 Oracle 官网下载了，这书还让不让人看。当然要看，因为尽管 Java 10 出来了，但实际的变化全压在 Java 9 这个版本上的，就当是通过 Java 10 来学习 Java 9...

上一篇 使用 SQL Server 的 uniqueidentifier 字段类型 了解了 SQL Server 中如何使用 uniqueidentifier 字段类型后，现在来看下 PostgreSQL 中如何使用 uuid 字段类型。在 PostgreSQL 的字段类型是 uuid 了，所以创建一个带有 uuid 字段的表是CREATE TABLE customers (    id uuid...

SQL Server 自 2008 版起引入了 uniqueidentifier 字段，它存储的是一个 UUID, 或者叫 GUID，内部存储为 16 个字节。SQL Server 可用两个函数来生成 uniqueidentifier, 分别是 NEWID() 和 NEWSEQUENTIALID(), 后者只能用作字段的默认值。Java 也有一个 UUID 工具类 java.uti.UUID, U...