- 博客(49)
- 收藏
- 关注
RSS订阅原创 【JAVA】生产环境kafka重复消费问题记录
今天观测到定时任务的分片小任务存在被重复消费的问题，表现就在于数据库中存在多余的成功次数，比如本来大任务分了10个分片，但回写了25次任务处理成功，这是不合理的，因此问题的排查便开始了。代码会消费一次性拉取的最多五条消息之后，才会ack队列协调者，此时如果五条消息处理的总时间超过两小时，那么就会触发消费组重平衡，该消费者重新入队。此时我查看后台，确实存在消息堆积的现象，同时根据后台c++算法的日志，发现有许多分片在算法中pending了大概两三小时，有的甚至迟迟没跑出结果。通过日志可以判断，系统出现了。
2024-04-01 00:27:02
1167
2
原创 【Maven 引入依赖踩坑】Repositories (jitpack.io) 引入不生效问题
今天卡了很久的问题，最后终于给我解决了。问题Java Spring 项目使用 maven 构建项目和引用依赖，今天想引入Github 上的第三方库，就需要使用 jitpack.io 这一代理仓库。当我在 pom.xml 里引入了:<repositories> <repository> <id>jitpack.io</id> <url>https://www.jitpack.io
2021-08-26 15:54:35
5997
1
翻译 【Effective C++ 读书笔记】第二章
文章目录第二章: 构造/析构/赋值运算条款5: 了解 C++ 默默编写并调用哪些函数条款6: 若不想使用编译器自动生成的函数，就应该明确拒绝条款7: 为多态基类声明虚析构函数第二章: 构造/析构/赋值运算条款5: 了解 C++ 默默编写并调用哪些函数当 C++ 进行处理之后，一个空类就不再是空类了。因为编译器会为它声明编译器版本的一个 默认构造函数，拷贝构造函数，拷贝赋值运算符 和 析构函数。这些函数都是 public 的且 inline 的。编译器版本的 默认构造函数和析构函数主要是 调用基类和
2021-07-01 11:38:03
350
翻译 【Effective C++ 读书笔记】导读 + 第一章
文章目录导读条款 1: 将 C++ 视为一个语言联邦示例: 值传参？引用传参？条款 2: 尽量用 const, enum, inline来替换 #define宏 和 内联函数导读声明 是告诉编译器某个东西的名称和类型。定义 的任务是提供编译器 一些声明时所遗漏的细节。size_t 是一种 typedef，是 C++ 计算个数时用的某种不带正负号类型。默认构造函数是一个可以在不带有实参的情况下被调用的函数，即 没有参数 或者 每个参数都有默认值。被声明为 explicit 的构造函数通常比 non
2021-06-25 23:13:07
376
翻译 机器学习基础整理 (第八章) - 神经网络其他应用
文章目录自动编码器 (Autoencoders)堆叠自编码器 (Stacked Autoencoder)欠完备/过完备自编码器 (Undercomplete/ Overcomplete autoencoders)自动编码器和主成分分析稀疏自动编码器 (Sparse Autoencoders)除噪自编码器 (Denosing Autoencoders)更多编码器 - 成本函数自动编码器 (Autoencoders)从概念上讲，自动编码器是一个前馈网络 (feedforward network)，经过训练可
2021-06-12 22:50:41
681
翻译 机器学习基础整理(第六章) - 神经网络
文章目录总览神经元模型 (Models of a neuron)通用激活函数 (Common Activation Functions)阈值函数 (Threshold Function)逻辑函数 (Logistic Function)整流线性单元 (Rectified Linear Unit - ReLU)Softmax激活函数其他激活函数优点网络架构 (Network Architecture)单层前馈网络 (Single Layer Feedforward Networks)多层前馈网络 (Multil
2021-06-12 00:44:28
1416
翻译 机器学习基础整理(第五章) - 分类器的性能评估和改进
文章目录总览评估 (Assessment)整体思路判别性Holdout 估计 (留出法)交叉验证 (Cross Validation)Bootstrap 技术可靠性ROC二分类ROC规则模型的比较统计测试 (statistical test)ROC 比较分类器组合 (Combining Classifiers)多分类器系统 (multiple classifier systems) 的架构不同的特征空间 (Different feature spaces)公共特征空间 (Common feature spa
2021-06-11 18:36:05
1728
翻译 机器学习基础整理(第四章) - 核方法 (Kernel Methods)
文章目录核方法线性回归回顾岭回归回顾内核定义的非线性映射 (Kernel-defined nonlinear mapping)例子岭回归的核核方法将给定的数据嵌入到一个空间中，在该空间中可以将模式发现为线性关系。两个步骤:映射 由 所谓的核函数 (kernel function) 隐式定义 (取决于有关数据源模式的领域知识 domain knowledge regarding pattern in data source)。使用健壮的通用算法。算法高效，且需要 在数据项的大小和数量上是多项式
2021-06-10 21:58:39
3205
翻译 机器学习基础整理(第三章) - 回归 (Regression)
文章目录整体思路理论推导整体思路回归是一个通常被用于 预测任务中 (通过修改也可用于分类) 的监督式方法。线性回归模型可以是简单的，多元 (multiple) 或多变量 (multivariate) 的。简单线性回归 - 一个输入，一个输出。多元回归 (multiple regression) - 多输入和一个输出。多变量回归 (multivariate regression) - 多输入和多输出。通常，输出 (或称因变量 dependent variable) 被假设为是和输入 (或称自
2021-06-10 12:35:49
765
翻译 机器学习基础整理(第2章) - 模式分类
文章目录什么是模式识别/分类器？基础模型 - 模式分类器监督和非监督分类器贝叶斯决策规则最小误差 (Minimum Error)最小风险 (Minimum Risk)最小损失和最小风险的关系Neyman-Pearson决策规则什么是模式识别/分类器？我们理所当然地认为我们能够在我们的世界中走动并认识到：汽车，人类，动物，一般对象，尽管它们的形式和存在多种多样。在这些任务中，什么特征帮助我们识别？在模式识别中，我们研究如何设计能够辨认或分类"事物"的机器。我们研究能描述"事物"的特征的统计。
2021-06-10 00:25:34
1564
翻译 机器学习基础整理(第1章) - 什么是机器学习？
文章目录总体思路常见机器学习场景学习任务的分类任务分类 (Classfication)回归 (Regression)转录 (Transcription)机器翻译 (Machine Translation)结构化输出 (Structured Output)异常检测 (Anomaly Detection)合成和采样 (Synthesis and Sampling)缺失值的插补 (Imputation of Missing Values)除噪 (Denoising)密度估计或概率函数估计 (Density Est
2021-06-09 00:00:37
783
翻译 机器学习基础整理(第0章下) - 概率论篇
文章目录模式识别和概率的关系概率条件概率 (Conditional Probability)独立事件 (Independent Events)互斥事件 (Mutually Exclusive Events)联合概率分布 (Joint Probability Distribution)边际分布 (Marginal Distribution)条件独立 (Conditional Independence)随机变量 (Random Variables)二阶矩和方差 (Second Moment and Varian
2021-06-08 21:24:21
459
翻译 机器学习基础整理(第0章上)-线性代数篇
文章目录总览向量矩阵矩阵乘法基础矩阵和向量相乘矩阵相乘不符合交换律矩阵对称性非负矩阵单位矩阵 (Identity Matrix)对角矩阵 (Diagonal Matrix)矩阵加法内积 (Inner Product)总览假设我们要通过一些特征来描述一个人，比如: 身高，体重，颈部周长，手臂周长和年龄。每个人的这些特征可能都会不一样，让我们将他们用 x1,x2,x3,x4,x5x1, x2, x3, x4, x5x1,x2,x3,x4,x5 来代表。此时，我们就可以用 向量(vector) 来代表拥有这些
2021-06-07 18:41:22
960
翻译 计算机网络理论笔记 (3): 传输层 (Transport Layer)，UDP和TCP
文章目录总览多路复用/多路分解 (Multiplexing/demultiplexing)无连接的多路分解连接导向的多路分解UDP (User Datagram Protocol)UDP头部UDP校验和 (checksum)校验和例子UDP应用可靠连接的需求rdt 1.0rdt 2.0rdt 2.1rdt 2.2 (不需要NAK了！)rdt 3.0总览传输层通常运行在操作系统内核中。先说一下网络层，网络层可以帮我们在网络中找到合适的转发路径 (从一个主机路由到另一个)。但是其并不保证传输，这种被称为尽
2020-12-14 18:33:32
852
翻译 计算机网络理论笔记 (2-2): 应用层 (Application Layer)，DNS 和 P2P
文章目录DNS域名系统 (Domain Name System)DNS服务关键思想：层次结构 (Hierarchy)分层命名空间分层管理服务器层次 (Server Hierarchy)TLD, 权威服务器 (Authoritative servers)DNS域名解析DNS缓存，更新记录DNS记录DNS域名系统 (Domain Name System)在许多名称服务器的层次结构中实现的分布式数据库 (distributed database)。应用层协议：主机，名称服务器进行通信以解析名称 (地址/名称转
2020-12-01 16:19:20
1186
翻译 计算机网络理论笔记 (2-1): 应用层 (Application Layer)，HTTP 和 SMTP
应用层进程间通信 (Interprocess Communication - IPC)套接字 (Socket)客户端-服务器 架构 (client-server architecture)服务器客户端点对点架构 (peer-to-peer)优点缺点应用层协议需求进程间通信 (Interprocess Communication - IPC)进程通过进程间通信 (IPC) 相互交谈。若在单台机器上，则通过共享内存 (shared memory) 实现。若在多台机器上 (across machine)，则我
2020-12-01 00:27:52
2276
翻译 计算机网络理论笔记 (1): 总览
计算机网络总览互联网基本要素互联网服务视角协议 (Protocol)网络结构接入网 (Access Net)有线网络 (cable network)家庭网络 (Home Network)企业接入网 Enterprise Access Network (以太网 Ethernet)无线接入网 (Wireless Access Network)互联网基本要素数百万个已连接的计算设备: 主机 (hosts) = 运行着网络应用程序的终端系统 (end systems running network apps)
2020-11-29 12:40:52
1761
2
翻译 大数据分析和计算机视觉笔记 (8) - 卷积神经网络图像分析(Convolution Neural Network Image Analytic)
深度学习 - 卷积神经网络图片分析步骤视觉词袋法流程 (Bag-of-Visual-Word)深度学习 (Deep Learning)神经网络知识背景其他名词损失函数(loss function)激活函数多层感知全连接层 (Fully Connected Layer)挑战网络结构设计学习算法为什么选择卷积神经网络？深度学习模型 (Deep Learning Model)卷积神经网络卷积层 (Convolution Layer)池化层 (Pooling Layer)典型架构SGD训练过程超参数 (Hyperp
2020-11-25 14:36:01
1027
翻译 计算机视觉理论笔记 (13) - 物体检测 (Object Detection)
物体检测物体检测总览流程生成区域 (Generation of Regions)滑动窗口算法区域提案 (Region Proposal)选择性搜索 (Selective Search)相似度 (similarity)面部检测 (Face Detection)基于皮肤的面部检测 (Skin-based face detection)皮肤可能性 (Skin Likelihood)步骤优点缺点Viola & Jones面部识别Harr-like 特征简单特征分类器物体检测总览给定图像或者视频序列，定
2020-11-25 00:40:03
2443
3
翻译 计算机视觉理论笔记 (12) - 图像分类和面部识别 (Image Classification & Face Recognition)
图像分类和面部识别总览在机器学习中的主要步骤机器学习的训练和测试面部识别 (Face Recognition)人类方法应用面部特征 (本地local和整体holistic)配置信息 (Configure Information)计算机视觉方法面部识别系统早期设计特征脸 (Eigenfaces)主成分分析 PCA特征脸算法特征脸算法 - 检测线性判别分析 (Linear Discriminated Analysis - LDA)局部二进制模式 (Local Binary Patterns)人脸归一化 (Nor
2020-11-24 21:29:16
3303
3
翻译 计算机视觉理论笔记 (11) - 运动估计 (Motion Estimation)
运动估计光流法 (Optical Flow)限制Horn＆Schunck 全局方法 (global method)光流法约束等式 (Constrain Equation)小幅度动作问题全局方法和局部方法的比较全局方法局部方法基于块的运动场 (Block-based Motion Field)动作估计 (Motion Estimation - ME)动作估计算法顺序或完全搜索 (Sequential or Full Search)二维对数搜索 (2D Logarithmic Search)分层搜索 (Hier
2020-11-24 17:21:53
17351
4
翻译 计算机视觉理论笔记 (10) - 变更检测和背景建模 (Change Detection and Background Modelling)
变更检测和背景建模动态视觉 (Dynamic Vision - DV)变更检测 (Change Detetcion)目标方法帧差异 (Frame Difference)问题更加稳键的方法基于可能性比的变更检测 (Likelihood Ratio based CV)背景建模&减除 (Background Modelling & Subtraction)目的方法问题基本原理平均数和中位数 (Average/Median)选择性 (selectivity)限制运行高斯平均 (Running Gau
2020-11-24 14:08:57
1291
翻译 大数据分析笔记 (7) - 时间序列分析(Time Series Analysis)
大数据分析笔记 - 时间序列分析总览Box-Jenkins方法ARIMA (自回归求和移动平均模型)自相关函数 (ACF)自回归模型部分自相关函数 (Partial autocorrelation function - PACF)移动平均模型 (Moving Average Models - MA)自回归移动平均模型 (ARMA - Autoregression Moving Average Model)ARIMA Model总览时间序列分析试图模型化一段时间内观测到的数据的底层结构。一个时间序列 (表
2020-11-24 00:45:09
8718
翻译 计算机视觉理论笔记 (9) - 图像分割 (Image Segmentation)
图像分割总览分割方法基于聚类的图像分割 (Clustering-based Image Segmentation)不同的簇化策略(grouping strategies)阈值化启发式方法Otsu's method数据聚类算法K-means 聚化算法优点缺点均值移动分割 (Mean Shift Segmentation)优点缺点其他分割方法基于区域方法: 拆分和合并(region-based method: split and merge)基于图的方法：NCut (Graph-based Method)图像遮
2020-11-23 21:12:30
7172
6
翻译 计算机视觉理论笔记 (8) - 形状检测 (Shape Detection)
形状检测总览直线检测 (line detection)Hough Transform (霍夫变换)垂直线的问题 (The Problem of Vertical Lines)直线定位(Line Localisation)直线粗细形状检测路标识别圆形检测 (Circle Detection)应用霍夫变换的注意事项总览为了识别物体，我们需要提取和分析其结构元素(structural elements)。典型的结构元素是线条(lines)和基本几何结构(basic geometric shapes)。直线检
2020-11-23 17:28:28
4261
翻译 计算机视觉理论笔记 (7) - 关键点检测 & 本地描述符 (Keypoint Detection & Local Descriptors)
关键点检测 & 本地描述符总览Harris拐角检测器(Harris Corner Detector)求拐角响应度 (measure of corner response)算法拐角的使用总览在过去的几十年中，已经发现拐角及其空间排列(spatial arrangement)以及拐角周边的局部强度(local intensity)/颜色分布(colour distribution)携带了大量有关物体的分析。Harris拐角检测器(Harris Corner Detector)思路：我们应该能够通
2020-11-23 00:22:46
3248
1
翻译 计算机视觉理论笔记 (6) - 二值图像处理 (Binary Image Processing)
二值图像处理 - Binary Image Processing总览二值形态学操作 (Binary Morphology)基础操作腐蚀 (Erosion)膨胀 (Dilation)边界提取 (Boundary Extraction)开操作 (Opening)闭操作 (Closing)连通分量分析 (Connected Component Analysis)邻点(Neighbor)连通分量标记(Connected Component Labelling - CCL)算法总览在应用阈值运算之后，图象只有两个
2020-11-22 22:27:57
2598
翻译 计算机视觉理论笔记 (5) - 边缘检测 (Edge Detection)
边缘检测 - Edge Detection总览边缘(edges)基于梯度 (gradient)的边缘检测检测不连续性(detection of discontinuities)1D2D梯度强度阈值 (threshold)噪声影响其他算子(不同核)基于零交叉(zero-crossing)的边缘检测更高阶的导数Laplacian of a Gaussian (LoG)边缘细化和链接(edge thinning and linking)边缘链接 (edge linking)Canny边缘检测 (Canny edg
2020-11-22 21:17:48
5130
1
翻译 大数据分析笔记 (6) - 文本分析 (Text Analysis)
大数据分析笔记 - 文本分析总览文本分析步骤挑战第一步：收集原始文本数据(Collecting Raw Text)第二步：表示文本 (Representing Text)第三步：词频-逆文档频率(TFIDF - Term Frequency - Inverse Document Frequency)词频 (Term Frequency)Term Frequency 问题词语的文档频率 (Document Frequency of a term)逆文档频率 (Inverse Document Frequenc
2020-11-22 16:25:57
17652
2
翻译 大数据分析笔记 (5.2) - 朴素贝叶斯分类器 (Naive Bayers Classifer)
大数据分析笔记 - 朴素贝叶斯定义贝叶斯定理 (Bayes' Theorem)朴素贝叶斯分类器定义朴素贝叶斯是一种基于贝叶斯定理(Bayes’ theorem)的概率分类方法(probabilistic classification method)。朴素贝叶斯分类器假设一个类的特定特征的存在和其他特征的存在与否是无关的。(条件独立假设 conditional independence assumption)一个合理的分类会认为一个球形、黄色且重量小于 60 克的对象可能是网球。即使这些特征相互依赖或
2020-11-22 10:54:52
1676
翻译 大数据分析笔记 (5.1) - 决策树 (Decision Tree)
大数据分析笔记 - 决策树分类问题 (Classification)决策树 (Decision Tree)定义用例算法熵 (Entropy)条件熵 (Conditional entropy)信息增益(Information Gain)结束标准算法示例(ID3)评估决策树评估方法决策树中的过度拟合决策树属性分类问题 (Classification)分类是一种在数据挖掘相关应用中出现的基础学习方法。分类器 (classifier) 的基本任务在于将标签分配给新的观测数据。分类算法是监督学习的，从一组带标签的
2020-11-21 21:46:57
1876
翻译 机器人感知与规划笔记 (8) - 感知和行为学习
机器人笔记 - 感知和行为学习学习与适应行为 (learning & adaptive behavior)学习什么？学习方法分类技术强化学习 (Reinforcement Learning)是什么？开销在混合架构中的强化学习进化学习 (Evolutionary learning)遗传算法 (Genetic Algorithm)从演示(demostration)中学习自动推导行为 (Automatically Deriving Behaviours)方法归纳逻辑学习 (Inductive Logic
2020-11-21 10:06:51
1118
1
翻译 机器人感知与规划笔记 (7) - 行为架构 (Behavioral Architectures)
机器人笔记 - 行为架构机器人系统中的不确定性(uncertainty)现场机器人 (Situated Robotics)自主控制系统协商式控制架构 (Deliberative Control Architecture)决策过程 (decision-making processes)规划 (Planning)优点缺点反应式控制架构 (Reactive Control Architecture)ANN 人工神经网络 (Artificial Neural Network)优点缺点机器人系统中的不确定性(unc
2020-11-21 10:06:41
2818
1
翻译 机器人感知与规划笔记 (6) - 运动控制与编程
机器人笔记 - 运动控制与编程运动 (locomotion)轮式 还是 腿式？要解决的问题站立和行走时的稳定性动态平衡 (Active/Dynamic Stability)六脚机器人 (Hexapods)三脚架步态交替的特点：算法步骤：两足机器人 (Biped Robots)设计方法 (Design Methodologies)挑战动力学(Biped dynamics)和控制策略(control strategies)运动 (locomotion)使用执行器(effectors)的两种基本方法:移动
2020-11-21 10:06:20
2671
翻译 机器人感知与规划笔记 (5) - 自动导航
机器人笔记 - 自动导航导航问题定位 (localization)基于行为的导航(Behavior-based Navigation)基于模型的导航 (Model-based Navigation)传感器噪声来源结果解决方案传感器混叠 (Sensor Aliasing)是什么？结果解决方案里程计Odometry (航位推算 Dead Reckoning)是什么？怎么使用优点改进里程碑误差集成误差的分类导航问题机器人定位 (我在哪？)地图建立 (其他地点是如何和我联系的)路径/动作规划 (我如何到达
2020-11-21 10:06:09
3784
翻译 机器人感知与规划笔记 (4) - 基于感知的模型
机器人笔记 - 基于感知的模型内部世界模型 (Internal World Model)映射(mapping)时的问题声纳传感器模型占据栅格最大似然图 (Maximum Likelihood Map)动态扩展占据栅格 (dynamically expanding occupancy grids)定位标志性定位 (Iconic localization)基于特征的定位 (feature-based localization)Monte-Carlo定位同时定位和映射（Simultaneous Localisat
2020-11-21 10:05:55
1031
翻译 机器人感知与规划笔记 (3) - 视觉感知及处理
机器人笔记 - 机器视觉计算机视觉总览应用人类视觉分辨率光流法 (optical flow)运动场 (motion field)光流和运动场图片采集系统图像失真计算机视觉处理灰度水平阈值图像分割 (Image Segmentation)主动式3D机器视觉系统机器视觉系统计算机视觉总览计算机视觉的目标在于写能够解释图片的程序。图片不限于2D或视觉光谱，这还包括了3D图像，视频，红外和X射线成像。应用人脸识别对象与动作识别，跟踪无需密码使用指纹识别，面部识别即可登录基于视觉的生物识别 (虹膜模式
2020-11-21 10:05:33
1385
翻译 机器人感知与规划笔记 (2) - 传感器(Sensor)类型及其限制
机器人笔记 - 传感器总览传感器能量变换器 (Tranceducers)传感器种类机器人导航时使用的传感器得到位置和地点的传感器轮式编码器 (成本较低)GPS (成本较高)感应磁性 (magnetic) 的传感器感知朝向 (orientation) 的传感器触觉传感器 (Tactile Sensors)感受器 - 晶须(whiskers)保险杠 (Bumpers) 和护板 (Guards)电阻式模拟触觉传感器 (Resistive Analog Tactile Sensors)红外传感器(IR)范围和位置激
2020-11-21 10:05:15
5826
翻译 大数据分析笔记 (4.2) - 逻辑回归分析(Logistic Regression)
大数据分析笔记 - 逻辑回归分析总览应用模型 (Model Description)诊断偏差和伪R2 (Deviance and the Pseudo-R2)偏差和对数似然率检验(Log-likelihood test statistic)ROC曲线概率直方图模型选择和注意事项总览在线性回归中，输出变量是连续变量。当结果变量是分类型(categorical)的，那么逻辑回归可以用来基于输入变量预测结果的可能性。逻辑回归可以应用于有多个值的结果变量，但是本文的讨论研究的都是两个值的结果变量。比如真/假，通
2020-11-19 14:56:39
12697
1
翻译 大数据分析笔记 (4.1) - 线性回归分析(Linear Regression)
大数据分析笔记 - 线性回归分析总览线性回归 (Linear Regression)应用模型 (Model Description)误差项 (error term)注意事项标准化残差 (residual standard error)R-squaredF统计 (F-statistic)诊断 (Diagnostics)评估线性假设(linearity assumption)评估残差(residuals)评估正态性假设(normality assumption)N重交叉验证 (N-fold Cross-Vali
2020-11-19 12:22:44
5526
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人