- 博客(22)
- 收藏
- 关注
RSS订阅原创 线性判别分析-LDA
线性判别分析LDA同PCA一样，也是一种常用的降维方法，但有所不同的是LDA属于有监督的降维，PCA则属于无监督的降维。本篇文章将从原理推导、python实现以及案例分析三个方面进行讲解。
2023-07-16 15:22:07
268
原创 轴承故障频率计算
笔者之前曾从事过风电机组的轴承故障诊断工作，对于其中轴承故障频率的计算总是一知半解，最近又重新翻阅了一些资料进行研究，以防忘记，通过此博客将其中的重点进行记录总结。
2023-07-16 07:45:40
1418
原创 主成分分析-PCA
PCA的用途十分广泛，可以进行降维、高维数据的可视化、噪声过滤、特征选择等。但是该算法也容易被数据集中的异常点干扰，因此也产生了一些效果更好的变体PCA，比如RandomizedPCA和SparsePCA，其中RandomizedPCA使用了一个非确定方法，快速地近似计算出一个维度非常高的数据的前n个主成分，而SparsePCA则引入了一个正则项保证成分的稀疏性。
2023-07-09 13:02:41
167
原创 Git项目创建流程
作为一个程序员，大家或多或少都会在平时的工作中使用Git工具来管理项目，那么如何将自己本地的项目通过Git工具推送到远程的GitHub端呢？下面就带大家一步一步来建立一个本地仓库，并推送到远程。
2023-07-08 10:24:17
2601
原创 Zookeeper系列二：Java API介绍
之前曾经介绍了Zookeeper的一些基础概念以及一些shell操作，这次笔者将介绍一下如何通过Java API操纵Zookeeper，并且通过Zookeeper实现一个简单的分布式锁服务。
2023-04-22 21:20:58
171
原创 Zookeeper系列一：基础概念
对于每个接触过大数据开发的同学而言，Zookeeper一定是不陌生的。它是一个开源的分布式服务框架，主要的用处就是为其他分布式框架的稳定运行提供服务。它有很多应用场景，比如分布式配置管理、分布式锁等。笔者将从架构设计、数据模型、选举机制、读写数据流程、Watch机制五个方面展开。
2023-04-22 21:19:47
144
原创 Kaggle数据竞赛-房价预测
通过这次比赛的学习，算是初步了解了kaggle的整个流程。特征工程其实做得不够，特征太多了，可以做一下特征选择的工作模型也没有经过调参验证只是用了传统的机器学习模型，没有尝试深度学习模型，或许能减除特征工程这步如果有时间的话，可以再做一下后续的工作。
2023-03-26 14:36:30
1376
原创 分布式锁详解
分布式锁是指分布式环境下，系统部署在多个机器中，实现多进程分布式互斥的一种锁。为了保证多个进程能看到锁，锁被存在公共存储（比如 Redis、Memcached、数据库等三方存储中），以实现多个进程并发访问同一个临界资源，同一时刻只有一个进程可访问共享资源，确保数据的一致性。
2021-12-06 22:34:55
918
原创 分布式事务
分布式事务前言对于网上购物的每一笔订单来说，电商平台一般都会有两个核心步骤：一是订单业务采取下订单操作，二是库存业务采取减库存操作。通常，这两个业务会运行在不同的机器上，甚至是运行在不同区域的机器上。针对同一笔订单，当且仅当订单操作和减库存操作一致时，才能保证交易的正确性。也就是说一笔订单，只有这两个操作都完成，才能算做处理成功，否则处理失败，充分体现了“All or nothing”的思想。在分布式领域中，这个问题就是分布式事务问题。什么是分布式事务学过数据库的人都知道什么是事务：事务（T
2021-12-06 20:59:19
119
原创 操作系统实战45讲-环境配置
操作系统实战45讲-环境配置前言最近在极客时间上学习彭东老师的课程《操作系统实战45讲》，内容干货满满，就是自己太菜了，很多汇编代码只能边看边学。下面是关于课程中涉及到的环境配置总结，将过程中遇到的坑记录一下，防止下次忘记。环境准备 物理机操作系统：Windows 10 虚拟机工具：VirtualBox 虚拟机JoinApper操作系统版本：Ubuntu 18.04 我主要使用VirtualBox来进行此次实验环境的配置，创建了两个虚拟机环境：一个JoinApp
2021-11-21 22:01:52
3329
原创 MapReduce总结
目录MapReduce总结前言MapReduce编程模型MapReduce的应用场景MapReduce的实现机制MapReduce的协同MapReduce的容错MapReduce的性能优化把程序搬到数据那儿去通过 Combiner 减少网络数据传输备份任务MapRedcue的debug信息遗憾与缺陷总结参考MapReduce总结前言MapReduce是一个分布式计算的框架，由Google在2004年的论文中发表，之前已经对该论文进行
2021-11-21 20:45:47
1773
原创 The Design of a Practical System for Fault-Tolerant Virtual Machines论文翻译
Fault-TolerantABSTRACT通过提供故障容错性的虚拟机，我们已经实现了一个商业化的企业级系统，它建立在复制一个主虚拟机的执行过程到另一个服务器上的备用虚拟机的基础上。我们已经在VMware vSphere4.0上设计了一个完整的系统，它运行在商业用的服务器上，很容易使用，同时应用的性能通常仅有少于10%的降低。另外，为了让主VM和二级VM的执行活动保持一致，对于几个实际的应用而言，需要的数据带宽少于20Mbit/s，这也允许实现更长距离的故障容错的可能性。一种容易使用，在故障后自动恢复备
2021-10-09 08:22:25
274
原创 MySQL日志
MySQL日志日志类别MySQL中的日志文件是很重要的一部分内容，其记录了影响MySQL数据库的各种类型活动，可以帮助我们对MySQL数据库的运行状态进行诊断，常见的日志文件有四种：错误日志(error log)慢查询日志(slow query log)查询日志(log)二进制日志(binlong)错误日志简介错误日志文件对MySQL的启动、运行、关闭过程进行了记录。不仅记录了所有的错误信息，也记录了一些警告信息或正确的信息。我们可以通过下面的命令来定位该文件：# 查看错误日志文件
2021-09-26 23:04:10
62
原创 信号与系统-绪论
绪论信号与系统概念什么是信号处理？对信号进行某种加工或变换，其目的是：削弱信号中的多余内容；滤除混杂的噪声和干扰；或者是将信号变换成容易分析与识别的形式，便于估计和选择它的特征参量。什么是系统？广义讲，它设计的范围十分广泛，不仅限于电路、通信和控制方面，还应包括各种物理系统和非物理系统、人工系统以及自然系统。信号的描述、分类和典型示例信号的描述描述信号的方式：数学表达式函数图像变换域表示分配函数信号的分类信号可以从不同的角度进行分类：确定性信号与随机信号确定性信号：信
2021-09-05 22:29:54
430
原创 信号与系统-绪论
目录信号与系统概念信号的描述、分类和典型示例信号的描述信号的分类典型信号信号的运算阶跃信号与冲激信号信号的分解系统模型及分类线性时不变系统LTI系统分析方法扩展参考资料信号与系统概念什么是信号处理？对信号进行某种加工或变换，其目的是：削弱信号中的多余内容；滤除混杂的噪声和干扰；或者是将信号变换成容易分析与识别的形式，便于估计和选择它的特征参量。什么是系统？广义讲，它设计的范围十分广泛，不仅限于电路、通信和控制方面，还应包括各种物理系统和
2021-09-05 15:21:44
754
原创 MapReduce论文翻译
目录前言AbstractIntroductionProgramming ModelExampleTypesMore ExamplesImplementationExecution OverviewMaster Data StructuresFault ToleranceRefinementsConclusions 结论前言最近在开始学习6.824分布式系统，第一节课就要求读Google在2004年发表的《MapReduce:Simplified D
2021-08-30 13:41:11
838
原创 Python文件加密-Cython(Cythonize)
前言在使用Cython的时候，简单地使用了一下cythonize首先，需要准备一个python文件def fib(n): """Print the Fibonacci series up to n.""" a, b = 0, 1 while b < n: print b, a, b = b, a + b
2021-08-26 13:32:50
4558
原创 C/C++/Python混合编程系列（一）Python用ctypes调用C/C++
最近由于工作需要，在研究如何通过Python调用C++程序。在这里记录一下当中遇到的一些问题，以备后用，当然如果能够帮助到其它同学，那自然是不胜荣幸。在学习guo'cheng'h'zon'n
2021-06-07 10:16:21
607
2
原创 概率论与数理统计系列1-初识概率
目录概率基础样本空间与事件事件的运算事件的蕴含事件的互斥事件的和事件的积事件的差概率的定义概率的统计定义概率的公理化定义古典概率定义计算过程组合与二项式条件概率与独立性条件概率定义性质计算独立性全概率完备事件群全概率公式贝叶斯参考资料概率基础样本空间与事件事件是某种情况的陈述，正确与否取决于试验的结果。更具体地讲，其一般含义如下：有一个明确界定的试验。这个试验的全部可能结果，是在试验前就明确的。有一个明确的陈述，这个陈述界定了试验的全部可能结果中一个确定的部分。这个陈述就叫做一个事件，而单
2020-12-20 17:59:42
555
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人