- 博客(168)
- 资源 (21)
- 收藏
- 关注
RSS订阅原创 curl 和 python 代码访问 https服务出现 SSL certificate problem: unable to get local issuer certificate 的错误
curl 和 python 访问 let's encrypt 申请的 SSL 证书的 https 服务， 出现证书验证失败的错误提示 unable to get local issuer certificate。但是在 chrome 浏览器上访问，证书是正常的。
2023-03-06 23:53:25
56
原创 IntelliJ IDEA 中找不到 protocol buffer 生成的 Java 类的解决方法
IntelliJ Idea 中找不到 protocol buffer 生成的 class 类，而在命令行使用 mvn build, mvn package 项目是可以正常编译的。
2022-12-04 20:25:25
408
原创 分布式共识协议 Raft 是如何工作的？
提供一种共识算法（分布式一致性算法）。 Paxos是早先的一个分布式共识算法，Paxos 逻辑复杂而难以理解和实现。相比早先的 Paxos， Raft 提供一个容易理解和实现的共识算法，在很多的系统比如 etcd, ozone，tikv，RethinkDB 等项目中大量使用。
2022-12-02 13:55:33
409
原创 使用 Docker 快速搭建 Rust 的 Jupyter Notebook
在 Jupyter notebook 上面运行 Python 程序非常，实际上 Jupyter 也支持其他的内核。我们可以使用 docker 运行一个已经安装好 Rust + Conda + Jupyter Notebook 的的容器。
2022-11-19 20:12:18
1328
1
原创 向量检索（二）Faiss 不同索引的性能
faiss 中不同算法构建索引，不同的搜索参数， 搜索的性能和召回率差异巨大。 本文在召回率比较好的情况下 (>0.99)，对比常用的 IVF 索引和 HNSW 索引的性能差异
2022-11-08 16:50:53
584
原创 向量检索（一）Faiss 在工业界的应用和常见问题解决
传统的搜索，使用关键做精确的查找，利用倒排索引在索引库中搜索。日常在用的百度，Google都属于关键词搜索。在 AI 时代我们需要查找一张相似的图片，一个问题的答案，或者根据一段音乐查找对应的歌曲，这些情况下没有准确的关键词用来做检索。 这些图片，问题（文本），语音，不再是简单的一个一维量化的数字，而是包含了大量的属性特征。 因而不合适使用传统的关键字搜索引擎来查找。对于文本，图片，语音，视频，DNA信息等等，都可用向量来表示，数据被特征化处理后用来表示这条数据的向量称之为 Embedding
2022-11-07 21:19:17
1457
原创 三个步骤使用 maven release 管理 Java 项目的版本号
在多模块的 maven 项目中，模块的版本号升级，如果使用手工方式管理，很花时间，容易出错。 各个模块直接有依赖关系，更新版本号容易改漏。正确的做法是使用 mvn release 插件。这个插件不需要安装。 只需要在工程的 pom.xml 中设置项目的代码库地址即可。
2022-10-09 08:30:00
962
原创 使用 Harbor 2.6+ 搭建 私有的Docker Registry
Docker 官方的 Registry, Registry 2 的限制比较多，如果不设置证书，不能启用用户名验证。改用 Harbor 搭建了一个 Docker Registry 仓库服务，中间遇到不少问题，总结一下，以备后续参考。
2022-10-08 02:28:58
710
原创 Makefile 精要（常见规则总结-附示例）
Makefile 是 make 工具执行构建（编译应用程序）的规则文件。 make 和 makefile 在 C/C++ 项目中广泛使用， 甚至其他语言的项目中也会用到。缺少一篇简明扼要介绍 make 和 makefile 的文章， Google 结果中排名靠前的官方英文文档很长， 中文的文章翻译不当，翻译的一些内容很难理解。因此简要总结一下 Makefile 的使用（大致 15 分钟左右能够读完并且理解）。
2022-09-12 23:13:56
807
原创 如何用4行 C 代码实现一个跨平台的命令行 mp3 播放器
要实现一个 mp3 音乐播放器，首先要有能够播放音乐的类库，并且支持 mp3 协议。网上没有看到代码简洁清晰的最小命令行的 mp3 播放器的实现。 调研了几个类库之后实现了一个，供需要的朋友参考。
2022-09-09 23:56:48
1048
原创 Mac 从源码安装 wxWidgets 报错 fatal error: ‘tiff.h‘ file not found 的解决方案
在从源码编译安装 wxWidgets 的时候，报错：imagtiff.cpp fatal error: 'tiff.h' file not found
2022-09-07 22:37:05
274
原创 报错 Could NOT find OpenSSL, try to set the path to OpenSSL root folder in the system variable 的解决方案
Could NOT find OpenSSL, try to set the path to OpenSSL root folder in the system variable OPENSSL_ROOT_DIR (missing: OPENSSL_CRYPTO_LIBRARY...
2022-09-06 08:30:49
3768
原创 pip install kenlm 报错 ‘PyThreadState‘ {aka ‘struct _ts’} has no member named ‘exc_type’
Debian 上面 pip 安装 kenlm 的报错 PyThreadState 的成员找不到
2022-09-04 23:27:46
473
原创 如何配置 Docker 使用代理服务器
因为网络的原因，我们拉取不到 docker 官方的容器， 还有 gcr.io 的容器，github上的容器，因此需要通过代理来拉取容器镜像。使用 Docker 的时候，有3种情况需要使用代理服务器，配置的方法不一样。1.Docker pull 的时候，使用的 Docker 服务的环境变量来设置 dockerd 进程的代理。2.而在 Docker 内部容器运行时，需要设置 宿主机的 docker 的 config.json 文件来设置代理。3.另外在 docker build 镜像的时候，需要设置
2022-06-26 23:05:33
1938
原创 搭建一个家用的媒体服务器（支持电影、音乐和电子书）
搭建家用的媒体服务器，用来在不同的设备上面方便得看电影，听音乐，甚至阅读电子书。可以选择使用 Plex,Emby, 或者Jellyfin。 Plex 是商业软件，付费版本的功能更强大，免费版本也能用。 Emby 的早先版本是免费版本，后来商业化之后开源版本不再有更新。 Jellyfin 是基于 Emby 的后续社区开源版本，有持续的更新，且支持硬件解码。 对于我来说， Jellyfin 更重要的功能是，除了电影和音乐的支持，还支持电子书。 支持 PDF，EPUB 格式的电子书。...........
2022-06-26 22:52:03
7122
原创 Spring Boot 应用启动时 java.lang.reflect.InaccessibleObjectException 问题的解决
Spring Boot 的应用启动的时候遇到下面的错误 java.lang.reflect.InaccessibleObjectException: Unable to make private native ... accessible
2022-06-08 18:44:20
8094
2
转载 API 设计最佳实践的思考
阿里妹导读：API 是模块或者子系统之间交互的接口定义。好的系统架构离不开好的 API 设计，而一个设计不够完善的 API 则注定会导致系统的后续发展和维护非常困难。接下来，阿里巴巴研究员谷朴将给出建议，什么样的 API 设计是好的设计？好的设计该如何做？
2022-05-17 19:29:25
312
原创 Flink 流式数据处理（一）: Hello Flink
Flink 是一个流式计算引擎。既支持实时的 Streaming 模式对进来的数据进行逐一处理，也适合对批量的数据做 Batch 处理。 一句话，对实时/离线的数据处理做到了批流合一。Flink 对于数据和数据流做了非常好的抽象，在大数据处理里面得到非常广泛的应用。一个典型的场景是对实时输入的数据做分析处理后， 得到分析的结果。以接收从 Socket 传入的数据， 统计每5秒钟不同单词出现的次数为例， 分享如何开发第一个 Flink Job。 以下省去创建 Maven 项目的过程（建议使用
2022-05-17 16:08:35
1202
原创 如何在 Mac M1 上使用开源软件运行 Windows 11 ARM Preview
Windows 11 for Mac M1 的正式版本还没有出来。但可以使用 Windows 11 ARM Preview 版本，不需要费用。 只需要注册一下 Windows Insider Program 即可，这个也是不需要费用的。
2022-05-02 00:13:41
2053
原创 Tekton之三：快速理解 Tekton 是如何工作的
Tekton 是云原生环境下面的非常强大的 CICD 产品。 如果你按照 Tekton 的官方文档来学习，使用 Tekton， 可能会跟遇到很多障碍。 Tekton 的技术架构非常优秀，同时Tekton 不太好的产品体验，使得这个优秀工具的应用困难了很多。本文对这些常见的问题做一一的解答。
2022-04-21 17:14:57
2242
原创 Tekton之二：如何使用 Tekton 创建 CICD 流水线
Tekton的文档冗长而复杂， 如何快速在 Tekton 环境中创建一个简单的 Task， 并且运行 Task；如何快速在 Tekton 环境中创建一个 Pipeline， 调用 2个 Task；
2022-04-20 23:49:00
1819
原创 Tekton之一：如何部署起来 Tekton
Tekton 是云原生应用的 CICD 平台。可以非常方便地搭建起来云原生应用的自动化持续集成，持续部署，包含应用打包，应用的镜像构建，镜像发布，测试，helm chart 发布，部署到测试、生产环境。使用 Tekton 可以只部署 tekton pipeline， 通过命令行交互。 也可以部署 tekton pipeline + tekton dashbaord， 可以在 dashbaord 上面进行维护管理。原本安装 tekton pipeline 和 tekton dashboard 到 ku
2022-04-19 19:30:46
1690
原创 CICD 系统 Jenkins & Tekton 对比
Jenkins 的前身是 Hudson，一个诞生于 2005 年的持续集成系统，由于优秀的架构设计和良好的产品体验，Jenkins/Hudson 是第一个被大规模应用的持续集成产品。后面持续集成的概念持续演进，从 CI 演变到了 CICD。 不仅仅是 Continuous Integration（自动化打包，测试，版本发布），还包含 Continuous Delivery（自动化交付，跟进一步，部署到生产环境，自动交付到用户使用）。近几年随着云原生技术的发展，Tekton 应时而生...
2022-04-19 19:01:24
2289
原创 使用 podman 替换 docker
由于 Docker 在架构上的依赖比较多，存在单点故障，且依赖于特权账号运行，需要启动有 docker 服务，才能运行 docker cli。 出现了很多替代 docker，不依赖于特权账号，普通用户可以跑，也不依赖于后台服务的工具，比如 podman, img 等。我的Mac 上面的 Docker Desktop 越来越吃 CPU，跑起来机器非常卡顿， 看了几种不同的方案，podman 跟 docker 的兼容性非常好，可以很容易迁移到 podman上，决定从 docker 迁移到 podman。
2022-03-18 12:47:45
4190
原创 云原生服务的限流方案
限流的目的，是在系统流量过大的时候，对系统进行保护，避免因为流量过大，导致系统不稳定，甚至出现故障。云原生环境下的限流方案比较多。 轻量级的方案可以使用 Bucket4j +Hazelcast/ignite/infinispan 的内存数据结合的方案。 完整的方案可以使用 Sentinel 集群。
2022-02-24 17:00:00
1090
原创 语音处理/语音识别基础（六）- 语音的端点检测（EPD/VAD)
「端点检测」（End-point Detection，简称 EPD）的目标是要找到音讯开始和结束的位置，所以又可以称为 Speech Detection 或是 VAD (Voice Activity Detection)。端点检测在音讯处理与识别中，扮演重要的角色，可以基于时域，或者基于频域来做 EPD。
2022-02-24 10:28:26
12670
5
原创 语音处理/语音识别基础（五）- 声音的音量，过零率，音高的计算
如前面第3篇讲到，声音的几个主要特征有音量 Volume, 音高 Pitch, 音色 Timbre。另外有一个重要的特征是过零率 zero crossing rate。当我们在分析声音时，通常以「短时距分析」（Short-term Analysis）为主，因为音讯在短时间内是相对稳定的。我们通常将声音先切成帧（Frame），每一帧长度大约在 20 ms 左右，再根据帧内的信号来进行分析。计算音量（Volume/Intensity/Energe）「音量」代表声音的强度，又称为「响度」、
2022-02-14 09:45:00
6849
原创 语音处理/语音识别基础（四）- 语音文件读取与播放
本文分享如何在 matlab 里面读取 wav 文件，播放 wav 文件，以及如何录制语音文件，保存语音文件。代码中演示了如何改变音频文件的采样率（影响到播放速度），音量（影响到听到的声音大小）。
2022-02-13 22:10:12
3971
1
原创 语音处理/语音识别基础（三）- 声音的特征和声音的能量
前面分享了声音是什么，声音是如何产生，如何传播，以及如何数字化存储的。现在我们来看一下声音有哪些主要的特征（对于人来说），以及常说的声音的能量指的是什么。 本文尝试回答如下问题：1）.对于人来说， 声音有哪些主要的特征，会影响人的感知？2）.男人和女人，成人和儿童的声音听起来有差异，主要是什么特征起的作用？3）.不同乐器听起来有一差异，一听就能判断是什么乐器，主要是什么特征起的作用？4）.常常听说的声音的能量指的是什么？5）.如何可视化一段音频？当我们在分析声音时，通常以「短时距
2022-02-12 17:56:09
3962
原创 DevOps 能力检查清单
这里可以做关于 devops 能力的测评。 可以针对这些检查清单对自己的产品/团队的 devops 能力进行检查，如果所有的回答都是强烈同意，说明团队的 devops 能力非常强。 反之则有改善的空间。
2022-02-07 18:27:55
647
原创 自动化重复文件清理 Bash 脚本
有很多场景，需要做重复文件的清理，释放占用的磁盘空间。如何能够快速得找到重复文件，并且清理掉重复文件？可以使用 shell 脚本来处理。
2022-01-25 16:43:14
736
原创 阿里云 k8s 上面部署 etcd server 出现 pod has unbound PersistentVolumeClaims 错误信息的解决
AWS/GKE 上面都有默认的 StorageClass，而阿里云的 k8s 上面没有默认的 StorageClass，k8s 不能使用默认的 StorageClass 来创建存储卷，需要手工设置默认的 StorageClass。
2022-01-18 13:08:34
2272
原创 Dockerfile多阶段构建（一个 Dockerfile 导入多个镜像）
Docker 17.05版本以后，支持了多阶段构建，允许一个Dockerfile 中出现多个 FROM 指令。多阶段构建的作用是什么呢？
2022-01-18 10:00:40
7644
原创 K8S 中创建 etcd 集群
单节点 etcd 服务， k8s中启动etcd集群，创建 root 用户， 启用鉴权； 通过命令行客户端访问数据。
2022-01-08 16:56:28
1625
原创 使用 JKube 构建Springboot应用的Docker镜像
JKube 省去了配置 Dockerfile, k8s manifest 的过程。自动化了 docker 镜像的构建。极大提高了 Java 应用云原生环境集成的效率。使用 JKube 来构建 Java 应用的镜像， 只需要引入 kubernetes-maven-plugin 就可以了。
2022-01-07 22:58:06
734
原创 语音处理/语音识别基础（二）- 声音的存储
本文总结声音的存储，对如下问题做出回答。1.声音有哪些属性？2.声音转换成电脑文件（wav/mp3）的过程是怎么样的？3.PCM格式的音频文件和WAV格式文件的内容有什么差异？声音是物体振动产生的声波。声音通过介质（空气、固体、液体）传入到人耳中，带动听小骨振动，经过一系列的神经信号传递后，被人所感知。声音是一种波。物体振动时会使介质（如空气）产生疏密变化，从而形成疏密相间的纵波。频率（音调）：声音1秒内周期性变化的次数人耳的听觉范围在20Hz-20kHz。 低频的声音沉
2021-12-26 18:00:15
4359
原创 详解 ServiceAccount -- k8s的服务账号是如何工作的？
Kubernetes 的 Service Account 是如何工作的
2021-12-17 17:45:38
3994
13篇影响现代软件设计的经典架构文章
2021-12-04
中科大-数据采集与智能仪器-2018.zip
2021-02-16
maxdos.img 启动盘(maxdos 9.3)
2020-11-29
OOuP极速不完美产品开发之道--两个实践案例
2020-10-17
PyCon2016-挖出Django潜能-引爆你的生产力
2020-10-17
分布式爬虫与Prometheus + Grafana可视化监控系统设计
2020-10-17
北美求职白皮书
2019-05-04
2018年中国人才招聘趋势报告
2019-05-04
大数据实时计算系统实践Flink+Druid配套PPT
2019-05-04
Firefox插件集合(for firefox 3.6 and/or above)
2011-01-03
AutoHotKey的键盘鼠标自动化脚本：自动化对选中文本的google，MSDN，本地文件搜索
2010-01-24
iphone/itouch上的offline wikipedia server (touch2wiki server)
2010-01-23
iphone/itouch上的offline wikipedia 的数据包制作工具
2010-01-23
iphone/itouch上的offline wikipedia (离线的维基百科) server
2010-01-23
Scite Final for Programmer V2010.1.23(开发者的文本编辑器)
2010-01-23
Scite Final for Programmer V2010.1.1
2010-01-01
12个必不可少的Firefox插件
2010-01-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人