hzk1562110692的专栏

原创 Docker实战——身份证识别引擎容器化

本人在一家人脸识别公司做Java后端开发，因工作需要，要将AI引擎进行容器化，方便以后部署，这其中包括人脸识别引擎、身份证识别引擎等。这是一篇对引擎容器化的操作的记录和总结，本文不会过多涉及Docker的基本知识，以下示例针对身份证识别（OCR）引擎。适用人群：机器学习初学者，转AI的开发人员。容器化技术：Docker操作系统：Centos7显卡及驱动：CUDA 10.0应用容器化步骤...

原创 解决缓存和数据库的数据一致性

参考：阿里巴巴 MySQL binlog 增量订阅&消费组件Debezium for PostgreSQL to KafkaLogical Decoding Output Plug-in Installation for PostgreSQL解决思路总体思路，监听数据库操作记录日志（DML为主），将数据的变动发向kafka，然后应用端进行消费更新缓存。如下图所示：下面按照数据...

原创 Kafka发送大message配置

Kafka发送大message数据配置kafka达到最佳吞吐量的消息大小是10k，然而有些场景需要kafka发送很大的消息，比如消息中含有base64格式的图片或短视频信息等。项目中采用的spring集成kafka模块，如需支持大消息发送，需要进行以下两个方面的配置：1.Kafka服务配置1.1 broker配置server.properties中添加：message.max.byt...

原创 ReplyingKafkaTemplate的使用——Spring结合Kafka实现同步调用

ReplyingKafkaTemplate的使用——Spring结合Kafka实现同步调用一、应用场景二、使用实践1. 版本要求需要支持ReplyingKafkaTemplate的spring版本，即 2.1.3 及以上版本，kafka版本无要求2. 注意事项暂不支持配置文件方式（yml\properties），需要java代码实现config3. Producer3.1 prod...

转载 Spring Boot

转载 Web容器（三）：Servlet规范和Servlet容器

本文参照：极客时间-《深入拆解 Tomcat & Jetty》-03_你应该知道的Servlet规范和Servlet容器 & 04_打造和运行一个ServletServlet规范Servlet容器用来加载和管理业务类。HTTP服务器不直接跟业务类打交道，而是把请求交给Servlet容器去处理，Servlet容器会将请求转发到具体的Servlet，如果这个Servlet还没创建，...

原创 Elasticsearch（一）：ES简介及其发展历史与ELK

参考极客时间课程：https://github.com/geektime-geekbang/geektime-ELKElasticsearch主要功能分布式搜索引擎大数据近实时（Near Real Time）分析引擎课程内容与结构Elasticsearch基于lucenelucene的局限性：只能基于java开发类库的接口学习曲线陡峭原生并不支持水平拓展es vs...

转载 java并发编程：死锁

何为死锁使用细粒度锁可以提高并行度，是性能优化的一个重要手段。但是，使用细粒度锁是有代价的，这个代价就是可能会导致死锁。死锁的一个比较专业的定义是：一组互相竞争资源的线程因互相等待，导致“永久”阻塞的现象。如何预防死锁并发程序一旦死锁，一般没有特别好的方法，很多时候我们只能重启应用。因此，解决死锁问题最好的办法还是规避死锁。只有以下这四个条件都发生时才会出现死锁：互斥，共享资源X...

转载 Web容器（二）：HTTP协议

本文参照：极客时间-《深入拆解 Tomcat & Jetty》-02 | HTTP协议必知必会HTTP协议HTTP本质HTTP协议是浏览器与服务器之间的数据传送协议。作为应用层协议，HTTP是基于TCP/IP协议来传递数据的（HTML文件、图片、查询结果等），HTTP协议不涉及数据包（Packet）传输，主要规定了客户端和服务器之间的通信格式。下面我通过一个例子来告诉你HTTP的本...

转载 Web容器（一）：Web容器简介

本文参照：极客时间-《深入拆解 Tomcat & Jetty》-开篇词 | Java程序员如何快速成长 + 01_Web容器学习路径Web容器Web技术的发展史早期的Web应用主要用于浏览新闻等静态页面，HTTP服务器（比如Apache、Nginx）向浏览器返回静态HTML，浏览器负责解析HTML，将结果呈现给用户。随着互联网的发展，我们已经不满足于仅仅浏览静态页面，还希望通过一些...

原创 Java知识点梳理：多线程

synchronized 保证线程安全volatile具有可见性、有序性，不具备原子性(很容易读到脏数据)。禁止指令重排。https://www.infoq.cn/article/java-memory-model-4Volatile修饰的成员变量在每次被线程访问时，都强迫从共享内存中重读该成员变量的值。而且，当成员变量发生变化时，强迫线程将变化值回写到共享内存。这样在任何时刻，两...

原创 Java知识点梳理：垃圾收集器

垃圾收集 Garbage Collection 通常被称为“GC”。JVM 中，程序计数器、虚拟机栈、本地方法栈都是随线程而生随线程而灭，栈帧随着方法的进入和退出做入栈和出栈操作，实现了自动的内存清理，因此，我们的内存垃圾回收主要集中于 java 堆和方法区中，在程序运行期间，这部分内存的分配和使用都是动态的。本文参照：极客时间-《java核心技术36讲》-第27讲GC算法 垃圾收集器垃圾回...

原创 架构设计——缓存：分布式缓存架构

分布式缓存指缓存在多个服务器组成的集群中，以集群方式提供缓存服务。本文参照：《大型数据技术架构——核心原理与案例分析》 ——李智慧《亿级流量网站架构核心技术》 ——张开涛...

原创 架构设计——缓存：缓存的原理与应用

本文参照：《大型数据技术架构——核心原理与案例分析》

原创 架构设计——缓存：缓存的架构设计要点

虽然我们可以通过各种手段来提升存储系统的性能，但在某些复杂的业务场景下，单纯依靠存储系统的性能提升不够的：需要经过复杂运算后得出的数据，存储系统无能为力读多写少的数据，存储系统有心无力缓存就是为了弥补存储系统在这些复杂业务场景下的不足，其基本原理是将可能重复使用的数据放到内存中，一次生成、多次使用，避免每次使用都去访问存储系统。本文参照：极客时间-《从0开始学架构》-第17讲：高性能缓...

原创 机器学习（十四）：机器学习的跨平台部署——PMML

这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：机器学习初学者，转AI的开发人员。编程语言：Python操作系统：Windows模型训练好后的部署上线，如果考虑跨平台的问题，针对目前很多web应用，都是基于java框架的，那么就需要java能够解析python训练出的模型文件，这时候就要借助一个第三方语言工具—— PMML（预测模型标记语言）。Pyt...

原创 机器学习（十二）：数据预处理

这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：机器学习初学者，转AI的开发人员。编程语言：Python操作系统：Windows数据预处理主要包括异常值处理、去重、特征编码、归一化处理等，主要借助pandas进行处理。...

原创 机器学习（十三）：训练调参

这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：机器学习初学者，转AI的开发人员。编程语言：Python操作系统：Windows训练调参是所有机器学习（包括深度学习）最核心的部分，主要涉及交叉验证、学习曲线、网格搜索、误差分析、模型解释几部分。数快速建模及初步分析交叉验证学习曲线调参网格搜索验证曲线误差分析衡量指标ROC曲线与AUC值...

原创 Java知识点梳理： Java中的锁分类

https://blog.csdn.net/u010648018/article/details/79750608

原创 Java知识点梳理：Collection框架

java集合类是开发中经常用到的，比如ArrayList、HashMap、HashSet等，下面来系统的说一下。Collection类图Collections与CollectionCollection：是一个集合接口，提供了对集合对象进行基本操作的通用接口方法；Collections:是针对集合类的一个包装类，它提供了一系列静态方法实现对各种集合的搜索、排序以及线程安全化的操作，其中的...

原创 Java知识点梳理：ThreadLocal

ThreadLocalThreadLocal是一个数据结构，有点像HashMap，可以保存"key : value"键值对，但是一个ThreadLocal只能保存一个，并且各个线程的数据互不干扰。 ThreadLocal<String> local = new ThreadLocal(); local.set("hzk"); String value = lo...

原创 Java知识点梳理： Java并发类库提供的线程池

线程是不能够重复启动的，创建或销毁线程存在一定的开销，所以利用线程池技术来提高系统资源利用效率，并简化线程管理，已经是非常成熟的选择。本文参照：极客时间-《java核心技术36讲》-第21讲Executors提供的5种线程池创建配置通常开发者都是利用Executors提供的通用线程池创建方法，去创建不同配置的线程池，主要区别在于不同的ExecutorService类型或者不同的初始参数。E...

原创 Java知识点梳理：MySQL支持的事务隔离级别

提到事务，提到事务，你肯定会想到 ACID（Atomicity、Consistency、Isolation、Durability，即原子性、一致性、隔离性、持久性），今天来讲一讲I,隔离性。本文参照：极客时间-《java核心技术36讲》-第36讲极客时间-《MySQL实战45讲》-03隔离性与隔离级别悲观锁与乐观锁mybatismybatis架构自下而上分为基础支撑层、数据处理层、AP...

原创 Java知识点梳理：动态代理

通常认为，Java是静态的强类型语言，但是因为提供了类似反射等机制，也具备了部分动态类型语言的能力。本文参照：极客时间-《java核心技术36讲》-第6讲反射机制反射机制是Java语言提供的一种基础功能，赋予程序在运行时自省（introspect，官方用语）的能力。通过反射我们可以直接操作类或者对象，比如获取某个对象的类定义，获取类声明的属性和方法，调用方法或者构造对象，甚至可以运行时修改类...

原创 Java知识点梳理：Exception和Error

Java语言在设计之初就提供了相对完善的异常处理机制，这也是Java得以大行其道的原因之一，因为这种机制大大降低了编写和维护可靠程序的门槛。本文参照：极客时间-《java核心技术36讲》-第二讲ThrowableException和Error都是继承了Throwable类，在Java中只有Throwable类型的实例才可以被抛出（throw）或者捕获（catch），它是异常处理机制的基本组成...

原创 深度学习（二十一）：循环神经网络RNN

这是一系列深度学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：深度学习初学者，转AI的开发人员。编程语言：Python参考资料：吴恩达老师的深度学习系列视频吴恩达老师深度学习笔记整理唐宇迪深度学习入门视频课程深度学习500问RNN&LSTM笔记下载：深度学习个人笔记完整版序列模型(Sequence Model)首先我们要明确什么是序列数据，摘取...

原创 深度学习（二十二）：GRU与LSTM

这是一系列深度学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：深度学习初学者，转AI的开发人员。编程语言：Python参考资料：吴恩达老师的深度学习系列视频吴恩达老师深度学习笔记整理唐宇迪深度学习入门视频课程深度学习500问笔记下载：深度学习个人笔记完整版GRU单元（Gated Recurrent Unit）首先我们要明确什么是序列数据，摘取百度百科词条...

原创 深度学习（十八）：人脸验证（face verification）和人脸识别（face recognition）

这是一系列深度学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：深度学习初学者，转AI的开发人员。编程语言：Python参考资料：吴恩达老师的深度学习系列视频吴恩达老师深度学习笔记整理深度学习500问笔记下载：深度学习个人笔记完整版...

原创 深度学习（十六）：目标检测 Object Detection

这是一系列深度学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：深度学习初学者，转AI的开发人员。编程语言：Python参考资料：吴恩达老师的深度学习系列视频吴恩达老师深度学习笔记整理深度学习500问唐宇迪深度学习入门视频课程笔记下载：深度学习个人笔记完整版目标检测 Object Detection如何通过卷积网络进行对象检测，采用的是基于滑动窗口的目标检...

原创 机器学习（十一）：机器学习的流程

这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：机器学习初学者，转AI的开发人员。编程语言：Python操作系统：Windows关于机器学习的流程，大的方向都比较类似，基本都是需求分析、特征工程、训练调参、部署上线四个大步骤，细分下来会有些不同，各个步骤顺序也会稍有不同，下面将自己实际项目中采用的机器学习步骤、各个步骤用到的知识点进行总结分享给大家：...

原创 机器学习（十）：机器学习训练速度的提升技巧

这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：机器学习初学者，转AI的开发人员。编程语言：Python操作系统：Windows机器学习中最耗时也是最核心的两个阶段，一个就是特征工程，另一个就是训练过程了，训练过程，少则几个小时，多则几天，这个总是会占用不少时间，如果赶在向领导汇报或者业务方需要结果的是，这个真的是时间就是金钱。我在机器学习过程中一直...

原创 机器学习（九）：机器学习环境搭建

这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：机器学习初学者，转AI的开发人员。编程语言：PythonPython3还是Python2IDE——PyCharmAnaconda...

原创 深度学习（十五）：目标定位 Object Localization

这是一系列深度学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：深度学习初学者，转AI的开发人员。编程语言：Python参考资料：吴恩达老师的深度学习系列视频吴恩达老师深度学习笔记整理深度学习500问唐宇迪深度学习入门视频课程笔记下载：深度学习个人笔记完整版图像分类图片分类问题已经并不陌生了，例如，输入一张图片到多层卷积神经网络，它会输出一个特征向量，并反...

原创 机器学习（八）：样本分布不均衡问题的处理

这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：机器学习初学者，转AI的开发人员。编程语言：Python自己在项目中拿到数据，大部分情况下都是自己切分训练集、测试集，对于训练集，经常会遇到正负样本比例很不均衡的情况，即偏斜类（Skewed Class）问题，有些时候往往还很严重，比如数据量上负样本：正样本>=100,这是比较严重的偏斜类问题，下面针...

原创 《Python深度学习》Chapter 2——神经网络的数学基础

《Deep Learning with Python 》由Keras之父、现任Google人工智能研究员的弗朗索瓦•肖莱（François Chollet）执笔，详尽介绍了用Python和Keras进行深度学习的探索实践，涉及计算机视觉、自然语言处理、生成式模型等应用。本书以读书笔记的形式摘抄书中的重点，会加入一些自己的备注和理解（标红及斜体）。编程语言：Python深度学习框架：Keras...

原创 《Python深度学习》Chapter 1——什么是深度学习

《Deep Learning with Python 》由Keras之父、现任Google人工智能研究员的弗朗索瓦•肖莱（François Chollet）执笔，详尽介绍了用Python和Keras进行深度学习的探索实践，涉及计算机视觉、自然语言处理、生成式模型等应用。本书以读书笔记的形式摘抄书中的重点，会加入一些自己的备注和理解（标红）。编程语言：Python深度学习框架：Keras书籍...

原创 机器学习（七）：Pandas的使用技巧(三)

这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：机器学习初学者，转AI的开发人员。编程语言：Python自己在项目中经常用到pandas，尤其是数据分析与数据预处理这两部分，自己最直接的感受就是pandas像是SQL+excel,当然，pandas的功能远不止这些。（注：以下pd均表示pandas，df指pandas对象）映射MapDataFram...

原创 机器学习（六）：Pandas的使用技巧(二)

这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：机器学习初学者，转AI的开发人员。编程语言：Python自己在项目中经常用到pandas，尤其是数据分析与数据预处理这两部分，自己最直接的感受就是pandas像是SQL+excel,当然，pandas的功能远不止这些。（注：以下pd均表示pandas，df指pandas对象）数据切片pandas获取某...

原创 机器学习（四）：Python与Numpy的使用技巧

这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：机器学习初学者，转AI的开发人员。编程语言：Python下面从自己项目中遇到的一些python、numpy知识点整理出来：（注：以下np均表示numpy）python2与python3的几点不同python2与python3是目前使用最广泛的两个版本,一些新的代码都建议使用python3，对于一些经典...

原创 机器学习（五）：Pandas的使用技巧(一)

这是一篇机器学习的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。适用人群：机器学习初学者，转AI的开发人员。编程语言：Pythonpandas常用函数清单轻松处理浮点数据中的丢失数据（以NaN表示）以及非浮点数据大小可变性：可以从DataFrame和更高维的对象插入和删除列自动和显式的数据对齐：对象可以显式地与一组标签对齐，或者用户可以简单的忽略标签，让Series，Da...