楚江客-CSDN博客

原创滚动轴承振动序列的预处理--CWRU数据集

1.内容对CWRU轴承数据集中的12KHz采样数据进行：读取指定的.mat文件；标签标注和数据提取；数据增强处理；标准化设计；对标签为"normal"的数据进行降采样；2读取mat文件和数据标注这部分的思路是，通过scipy.io.loadmat 载入mat文件，然后设计一个(X，y)的生成器；其中，X表示数据data， y是数据标签label。...

2020-06-01 11:19:42 12247 48

functools.partial 固定函数的一些形参值from functools import partialRECORD_SIZE = 32with open('./data/files.data', 'rb') as f: records = iter(partial(f.read, RECORD_SIZE), b'') for r in records: print(r)b'1 2 3 4 5 6 7 8 9 10 11 12 13 14'b' 15

2021-09-14 18:26:45 298

原创编程基础：functools.partial和字典到变量的映射方法

1. functools.partial 固定函数的一些形参值from functools import partialRECORD_SIZE = 32with open('./data/files.data', 'rb') as f: records = iter(partial(f.read, RECORD_SIZE), b'') for r in records: print(r)b'1 2 3 4 5 6 7 8 9 10 11 12 13 14'b'

2021-08-05 10:58:22 188

原创 DeepAR论文笔记

1. what is motivation？研究动机在近年来，时间序列预测出现新局面：海量（上千甚至是上百万）相关时间序列的预测。例如，预测城市中每户居民的用电量，大型零售商所有商品的销量等。在上述所有场景中，可以使用那些过去相似、或相关的时间序列来对单个时间序列进行建模预测。这样做的优势是：可以拟合复杂模型而不产生过拟合，免去传统机器学习中所必须的大量人工特征制作的过程。2. What is the problem the paper wants to solve？论文想要解决的问题是什么？海量（

2021-07-15 22:21:47 1124 1

原创 python工程化代码之argparse

argparse实现代码和环境的有限交互argparse功能是让代码具有更多的功能，而且这些功能可以由argparse传入的参数控制。例如：import argparseparser = argparse.ArgumentParser()parser.add_argument("--name", type=str, default="Zhang San") parser.add_argument("--mode", type=str, default="cn") # en和cn两种args =

2021-07-05 10:11:18 201

原创 PoissonRegression

1.3 Poisson回归1.3.1 Poisson回归建模的动机我们所感兴趣的因变量y\bold{y}y是计数数据count data，而且不是正态分布的，即是稀有事件。例如，生产线上的不合格产品的数目，软件中的bug数，每天接到电话的数目。而且1（1）在一个短区间Δz\Delta zΔz内，发生一次事件的概率与Δz\Delta zΔz成正比： ηΔz\eta \Delta zηΔz 。（2）在短区间Δz\Delta zΔz内发生两次及以上事件的概率可以忽略。（3）在不重叠的短区间Δz\D

2021-04-26 11:32:10 852

原创 Poisson随机现象

1. Poisson随机现象1.1 引言文献[1]中的例子：1898年由Ladislaus Bortkiewicz在《小数法则》中提出了一个实际应用的例子。当时他得到一个任务：调查1875到1894年的20年间普鲁士军队14个军团中偶然被马踢伤而致死的士兵数量。这 20×14= 280 个纪录, 见“./data/因马踢伤死亡士兵数.xlsx”，按死亡人数来分，则如下表左二栏所示：表1-1 因马踢伤致死的士兵数x=每年因马踢伤死亡士兵数记录数(次/团年)0141.

2021-04-23 15:51:40 580 1

原创迁移学习笔记

迁移学习：深度学习模型的举一反三技能为什么需要迁移学习？训练数据集所在场景中训练的模型，无法直接在新的应用场景下使用。例如，使用青少年的微博文本训练的情绪识别模型，无法直接使用到中老年用户群体上。俗称让深度学习能够“举一反三”。迁移学习指的是将源域数据集（青少年群体微博文本， “一”）学习到的模型迁移到目标域数据集（中老年微博文本， “三”）上。通常源域数据集是有大量标签的，而目标域数据集要么是标签数据样本少，要么是数据样本少。1. 迁移学习适用条件和关键适用条件：“举一反三”的前提是“一”和

2021-03-21 16:16:36 299

原创一次面试过程记录--有关机器学习基本理论

正常提问的目的：考察理论知识基础；临场应变能力，不会从别的角度出发去理解，或者对不确定的点要提示。（1）机器学习的基本理论：偏差-方差是什么？从偏差-方差的角度理解决策树和GBDT，决策树和随机森林？偏差-方差：解释算法模型泛化性能的工具。因为机器学习算法很容易受数据或模型初值影响，模型的性能，并不都是完全不变的，每次训练都会有一些随机性在里面。偏差指的是，在所有可能数据集上多次训练得到的模型预测误差。方差，不同数据集上训练出来的模型的预测误差。GBDT是串联决策树，拟合残差，要实现的目的是减小模型

2021-03-13 16:36:09 64

原创 Deep domain generalization combining a priori diagnosis knowledge阅读笔记

Deep Domain Generalization Combining A Priori Diagnosis Knowledge Toward Cross-Domain Fault Diagnosis of Rolling Bearinghttps://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=91749121. 作者的目标是什么？或者已经实现了什么？目标：提高滚动轴承的跨域诊断问题。作者实现的内容：结合先验知识（a priori

2021-03-06 14:27:15 389 1

原创领域泛化文献综述阅读笔记

Generalizing to Unseen Domains: A Survey on Domain Generalizationhttps://arxiv.org/pdf/2103.03097.pdf1. 领域泛化（Domain Generalization）的目标是什么？或者已经实现了什么？目标：从若干个具有不同数据分布的数据集（领域）中学习一个泛化能力强的模型，以便在未知 (Unseen) 的测试集上取得较好的效果。2. 文献中总结了哪些方法，每个方法的关键是什么？2.1 领域泛化的三类

2021-03-05 21:10:10 1880

原创时间序列迁移学习论文阅读笔记

Transfer learning for time series classificationhttps://arxiv.org/pdf/1811.01533.pdf1. 作者的目标是什么？或者已经实现了什么？目标：对于时间序列分类（Time Series Classification, TSC）问题，如何迁移深度CNN模型。作者实现的内容：基于DTW（Dynamic Time Warping）方法选择与给定目标数据集最相似的源数据集，改善TSC迁移学习的效果。本文TSC迁移学习方法：（1）在

2021-03-05 16:40:36 953

原创 ch-11-移动窗口函数

移动窗口函数移动窗口函数可以理解为时FIR滤波器，只不过这里是滤波器在运动，而不是信号在运动。但是从相对运动的角度来说，移动窗口函数就是FIR滤波器数据样例载入一个时间序列，并且按照工作日频率进行重新采样。import pandas as pdimport numpy as npimport matplotlib.pyplot as plt# %matplotlib inlineclose_px_all = pd.read_csv("data/stock_px_2.csv") close

2021-01-01 23:28:44 457

原创读书笔记 -- 电子商务相关的数据指标

指标只有放在一定的场景下，找到最合适的对象，并且使用最重要的数据源才有意义，这句话同样适用于零售数据的特征工程。1. 电商数据分析指标和销售策略分析指标线上零售不受时间和空间限制，可以靠每个品类的长尾产品的累积销售来生存。电商的数据更大，包括营销数据、流量数据、会员数据、消费行为数据等，这些数据24h不停地产生。1.1 电商数据（1）营销数据：营销费用、覆盖用户数、到达用户数、点击用户数；（2）流量数据：浏览量（PV）、访客数（UV）、登录时间、在线时长；（3）会员数据：会员姓名、出生日期、真实

2020-12-06 21:39:47 659

原创读书笔记--零售业概览：未来和现在

零售业认识<个人的读书笔记和神神叨叨的理解，写在这里，记录自己的认识和理解>目的：零售业基本认识：零售概念，特点。未来新经济环境和数字环境下的零售业。1. 零售业基本认识1.1 零售概念市场经济中，交易使得社会分工成为可能，零售就是一种重要的交易方式。狭义零售是指大批量购入产品，然后小批量出售给消费者的买卖行为，如小卖店、便利店和超市就是零售代表。广义零售指的是企业向大量消费者出售产品或服务的行为，例如银行或保险服务的销售。顾客不仅会为售卖的物美价廉的产品买单，还会为零售商的人

2020-12-06 16:23:27 215 1

原创读书笔记：为啥要有Hive？Hadoop上查询性能问题

因为提数需要用到Hive，于是阅读《Hive实战》，并整理成笔记，下面是来自我：一个数据开发路人甲的理解，如何不当欢迎留言或私信。1. 再认识Hadoop粗略地说，Hadoop是针对大数据处理的创新技术。而对于创新，书中提到了一个很有意思的认识框架“创新至少需要3个要素”：一种迫在眉睫的需求，一个可以识别的问题，和金钱。按照这里理论，书中给我们提供了一个新的认识Hadoop技术的角度：Hadoop为解决何种类型公司的何种业务需求？Hadoop要解决的什么类型的可识别问题？1.1 Hadoop为解决何

2020-11-28 16:14:29 391

原创读书笔记：影响销量的因素

接下来一段时间要做个门店的销量预测的项目，对于研究对象，我们要有准确和全面认知，于是就开始了门店销量方面的阅读积累。1. 产品销量的问题认识从最简单的客户购买过程入手，有两方面因素影响客户购买决定：（1）客户希望购买的物品是物美价廉的。（2）购买过程中得到满意的服务。所谓满意的服务即是人性化服务。这两方面因素影响比重不同，第2个人性化服务因素占比近70%，这个很重要。而且比较重要的是“人性化客户服务质量”这个因素比较稳定，不会短时间内突变。据此，我们假设“人性化的客户服务质量”是和产品销量强相关的。

2020-11-27 21:50:07 1046

原创一维序列数据处理：FIR高通滤波器设计

1. 加窗法设计滤波器为什么要加窗设计滤波器？因为为了降低DFT的频率泄露。那什么是DFT频率泄露以及为什么加窗设计就可以降低DFT的频率泄露？解释这个之前，我们先介绍一下DFT（离散傅里叶变换）和三角函数的正交性知识，再介绍加窗设计的原因。首先是DFT：X(m)=∑n=0N−1x(n)e−j2πnm/N=∑n=0N−1x(n)[cos(2πnm/N)−j(sin(2πnm/N)]X(m)=\sum_{n=0}^{N-1}x(n)e^{-j2\pi nm/N}=\sum_{n=0}^{N-1}x(n)

2020-11-11 21:21:05 2712

原创由FIR滤波器到卷积神经网络的卷积核尺寸的类比

众所周知，卷积就是滤波，于是从滤波的角度考量FIR滤波器中抽头数（同比与一维卷积核的尺寸）对卷积效果的影响，得到以下结论和推论：FIR滤波器的抽头数并不是越大越好。随着抽头数增加，滤波效果是先快速下降，然后整体趋势呈振荡爬升，并在一个稳定值附近震荡。将其类比到卷积神经网络里，可以类比推出卷积核的大小并不是越大越好，也不是越小越好，而是存在一个最优值。1. FIR滤波器滤波器就是对一个信号做处理，允许我们想要的频谱分量通过，而衰减掉不想要的频率分量。数字滤波器处理的是离散信号。FIR滤波器最简

2020-11-10 21:36:58 930

原创使用Numpy解决线性代数问题

numpy中的线性代数内容矩阵乘法内积矩阵对应位置相乘矩阵的逆求线性方程组的解求行列式特征向量和特征值矩阵对角化1. 矩阵乘法 np.dot(a,b) 和 np.matmul(a,b)两者只有在a，b能否为标量上有区别，其他都基本相同。np.matmul(a,b)是严格数学意义上的矩阵乘法，输入必须是arrays,标量是不允许的。np.dot(a,b) 是允许a，b是标量的，不妨称之为广义上的矩阵乘法a*b，排除标量的情形，两者运算的前提条件可以简单概括为:a的列数要等于b的行数

2020-11-10 15:53:57 612

原创求最小K个数的快速排序解法

1. 题目分析因为只需要求解最小k个部分，所以不一定需要对左右两半都进行递归。在代码上来说，只有递归部分和快排不一，分组部分不需要更改。2. 左右部分的递归控制左右部分递归控制方法如下：（1）[l,...,r] ==> [l,..,p], [p+1,.., r] （2）关注最小k个部分落在哪里： i. 只落在左半时，p >= k, 只在左半进行递归 ii. 至少有部分在右半时，p < k, 只在右半进行递归3. 代码class Solution {

2020-10-31 12:08:11 300

原创记录一次Anconda无法启动的修复记录：There is an instance of Anconda Navigator already running

1. 描述问题There is an instance of Anconda Navigator already running.2. 问题原因系统中存在两个pythonw.exe进程，即便是重启电脑，他们依旧存在（见下图）。而且无法杀死，无论是管理员权限下进行强制杀死，也行不通。这两货依旧岿然不动。3. 解决办法猜测和系统问题有关，在管理员权限下，运行下列命令,进行系统扫描和修复：sfc /scannow当时图书馆将要闭馆，时间匆忙，没有来得及验证是否有效。我就紧接着重启电脑进入系统修

2020-10-30 22:32:37 2117

原创一段代码引发的自我反思：MECE法则与三思而后行

一段代码引发的自我反思：MECE法则与三思而后行1. 问题背景这段代码长下面这个样子。我的目标是将spark.DataFrame数据类型转换为可以在python中接受的数据格式以便能够画图进行可视化分析。方式1是将spark.DataFrame转换成spark.RDD然后再以list格式返回给驱动程序，再转换为字典的数据格式。想法很美好，但是一直无法运行，并且让我纠结了两个小时。方式2是在洗漱时候突然想到的解决方法，直接将spark.DataFrame转换成pandas.DataFrame。我要反思

2020-09-30 11:50:38 244

原创 mapReduce原理和PySpark

相关练习题代码见链接，代码是ipynb带有运行结果，配合查看更容易理解。内容：MapReduce的基本原理Pyspark的基本数据结构RDD和DataFrame的创建和查询1. MapReduce原理初步认识说明例子：统计多个文件中单词的数量；如果是单个文件的话，一般的做法是：遍历文件中每个单词，然后建立单词到数量的哈希映射（即map过程），这样就得到了每个单词的数量统计；简单理解为单兵作战。现在问题变成有多个文件，数据量增加了，这种情况下如何快速高效地统计单词数量？显然在单线程上能做的

2020-09-26 17:31:12 1089

原创数据化决策-数据分析与高效经营1

本书的特点是，将数据分析和企业经营管理结合的很好，内容实例很详实，很能印证作者的观点。其中，很多统计学的知识并不新鲜，多数的大学课堂都有学过，但是这些知识和企业的营销方式和管理决策结合部分内容，令人耳目一新，会对统计学知识有了更鲜活的理解。1. 数据科学家专业素养专业素养原因备注重视不同的标准只有这样才能关注到那些和目标最相关的标准《点球成金》中男主比恩选择了上垒率，而不是传统经验的安打率和奔跑速度；设定并不断完善关键指标真理本身就需要不断被完善，此外浩如烟海的数据容易

2020-09-24 16:38:17 1415

原创 DAG模型下动态规划问题

DAG模型下的动态规划1. 巴比伦塔1巴比伦人有n种长方形方块，每种有无限个，第i种方块的三边边长是xi,yi,zi。对于每一个方块，你可以任意选择一面作为底，这样高就随确定了。举个例子，同一种方块，可能其中一个是竖着放的，一个是侧着放的，一个是横着放的。他们想要用堆方块的方式建尽可能高的塔。问题是，只有一个方块的底的两条边严格小于另一个方块的底的两条边，这个方块才能堆在另一个上面。这意味着，一个方块甚至不能堆在一个底的尺寸与它一样的方块的上面。你的任务是编写一个程序，计算出这个塔可以建出的最高的高

2020-09-18 17:07:44 198

原创 cin 使用实现常见的输入

cin 使用实现常见的输入-1- 输入多行字符串，每一行字符串放入 vector data1中遇见空格，会将空格后面的视为新的string输入1 2 3 --> data1 = {“1”,“2”,“3”};string row = "";vector<string> data1;while (cin>>row) { data1.push_back(row);}for (auto&e: data1) { cout << e &

2020-09-16 14:27:34 493

原创必须了解的编程基础 -- 二叉搜索树小节

1. 二叉搜索树特点和基本操作左子树不为空的话，左子树值均小于等于根节点，右子树不为空的话，右子树的值均大于等于根节点。取等号的情况，只可能出现在根节点的一侧。二叉搜索树的中序遍历：中序遍历是先遍历左子树，再遍历右子树；二叉搜索树的中序遍历结果是从小到大的升序。所以，二叉查找树又叫二叉排序树；二叉搜索的基本操作：节点定义：struct TreeNode{ int val; TreeNode *left; TreeNode *right; TreeNo

2020-09-10 20:07:00 121

原创 MyTinySTL源码阅读笔记：vector部分笔记1

1. 预处理指令#ifdef max#pragma message("#undefing marco max")#undef max#endif // max这段预编译代码的功能是：(#ifdef max) 如果标识符 max 已经用宏定义进行过定义，那么执行下面内容：在编译输出窗口打印文本 “#undefing marco max” (#pragma message("#undefing marco max"))删除事先定义的宏定义 max (#undef max)2. 模板类 v

2020-09-08 22:56:38 915

原创必须了解的编程基础 -- 二分搜索小节

1. 二分搜索1.1 leetcode35 搜索插入位置1给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。你可以假设数组中无重复元素。示例 1:输入: [1,3,5,6], 5输出: 2示例 2:输入: [1,3,5,6], 2输出: 1示例 3:输入: [1,3,5,6], 7输出: 4示例 4:输入: [1,3,5,6], 0输出: 0按照二分法思路列举示例归纳规律：[1,3,5,6]begin

2020-09-08 16:44:42 106

原创必须要了解的编程基础--哈希与字符串

哈希粗略理解就是实现key到value的映射。显然，这里面有很多种实现方式, 比如哈希函数+链表、hash map等。1. 简单题目1.1 LeetCode 409. 最长回文串1给定一个包含大写字母和小写字母的字符串，找到通过这些字母构造成的最长的回文串。在构造过程中，请注意区分大小写。比如 “Aa” 不能当做一个回文字符串。注意:假设字符串的长度不会超过 1010。示例 1:输入:"abccccdd"输出:7解释:我们可以构造的最长的回文串是"dccaccd", 它的长度是

2020-09-06 16:36:20 163

原创必须了解的编程基础--动态规划篇小节：从简单、中等到困难题

写在前面动态规划题目，状态定义很关键，超级关键。状态如何定义：靠积累、靠结合题目要求思考、靠举例归纳。1. 简单题目1.1 [LeetCode 70 爬楼梯]1通过这个简单题来理解动态规划和回溯法和区别与联系。同时说明动态规划的原理。简单题目简单在于状态转移方程特别直观好想。1.1.1 回溯解法：暴力搜索首先，这种解法是超时的，之所以还这么做的原因是为了在面试的时候保底。多练习递归或者暴力搜索法，以防在面试的时候，啥都不会。爬楼梯抽象出来就是将一个整数不停地减小，每次只有两种选择：策略

2020-09-02 23:20:11 237

原创必须了解的编程基础--动态规划篇小节：简单和中等难度的题目

必须了解编程基础 – 动态规划小节1. 简单题目1.1 [LeetCode 70 爬楼梯]1通过这个简单题来理解动态规划和回溯法和区别与联系。同时说明动态规划的原理。简单题目简单在于状态转移方程特别直观好想。1.1.1 回溯解法：暴力搜索首先，这种解法是超时的，之所以还这么做的原因是为了在面试的时候保底。多练习递归或者暴力搜索法，以防在面试的时候，啥都不会。爬楼梯抽象出来就是将一个整数不停地减小，每次只有两种选择：策略1：减去1；策略2：减2，直到减为0。问一共有多少种不同的策略组合方式

2020-09-01 17:50:06 211

原创必须了解的编程基础--动态规划篇小节

1. 简单题目1.1 [LeetCode 70 爬楼梯]1通过这个简单题来理解动态规划和回溯法和区别与联系。同时说明动态规划的原理。简单题目简单在于状态转移方程特别直观好想。1.1.1 回溯解法：暴力搜索首先，这种解法是超时的，之所以还这么做的原因是为了在面试的时候保底。多练习递归或者暴力搜索法，以防在面试的时候，啥都不会。爬楼梯抽象出来就是将一个整数不停地减小，每次只有两种选择：策略1：减去1；策略2：减2，直到减为0。问一共有多少种不同的策略组合方式。以3和4为例，问题的求解可以变成求

2020-08-30 19:07:19 117

原创必须了解的编程基础 -- 递归篇小节：递归、回溯、分治算法及其在子集、组合、N皇后、归并排序等方面的应用

递归、回溯和分治小节1尊重经验、独立思考、热爱分享1. 递归有些递归很简单理解，比如说链表的递归。画画图就能理解。1.1 剑指 Offer 22. 链表中倒数第k个节点2关键一条是要保证在每一级调用函数对k的影响都是全局性的。实现方式是，在返回的时候返回要访问的节点。递归函数的功能：将head指向倒数第k个节点；递归出口：head为空/** * Definition for singly-linked list. * struct ListNode { * int val;

2020-08-29 17:06:27 327

原创必须了解的编程基础--归并排序

必须了解的编程基础–归并排序1. 归并排序流程分解：对数列进行简单地二分，分成左右两部分。不像快速排序要求左部要小于右部。对子序列排序：分解到子序列只有1个元素，此时各个子序列便都是有序的。合并：合并两个有序的子序列到临时空间b[]中，最后将临时空间b[]中的数复制到a[]对应的范围内；前面的分解是通过递归实现，而这个合并是在回溯的过程中完成的。2. C++代码实现1#include<bits/stdc++.h>const int MAXN = 1000005;int a[M

2020-08-29 13:48:52 74

原创必须了解的编程基础:递归回溯小节

递归和回溯小节尊重经验、独立思考、热爱分享1. 递归有些递归很简单理解，比如说链表的递归。画画图就能理解。1.1 剑指 Offer 22. 链表中倒数第k个节点1关键一条是要保证在每一级调用函数对k的影响都是全局性的。实现方式是，在返回的时候返回要访问的节点。递归函数的功能：将head指向倒数第k个节点；递归出口：head为空/** * Definition for singly-linked list. * struct ListNode { * int val; *

2020-08-27 20:42:44 156

原创增长黑客笔记2：方法论与底层逻辑

增长黑客笔记2：方法论与底层逻辑数据类读书笔记必看的大数据思维活用数据笔记1 – 营销业务数据分析概览活用数据笔记2 – 数据分析底层逻辑增长黑客笔记1：概览增长黑客笔记2：方法论与底层逻辑1.增长黑客的方法序号方式内容笔记 1 搭建增长团队 (1)增长团队是扁平化的，要团队内不同职能个人间的合作，而不是不同职能部门级别的

2020-08-21 19:06:01 485

原创增长黑客笔记1：概览

增长黑客笔记1：概览精准营销类读书笔记活用数据笔记1 – 营销业务数据分析概览活用数据笔记2 – 数据分析底层逻辑增长黑客笔记1：概览1. 增长黑客是什么增长黑客本质上就是精准营销方式。笼统地讲是“利用软件开发(即所谓的黑客)将营销(即增长)嵌入产品本身”，以实现低成本、高性价比的精准营销1。但是这种表述并没有讲清楚“营销”和“软件开发”之间的相互作用和联系。我觉得更贴近增长黑客本质的观点是：增长是通过设计出可以大规模使用的系统(开发)，让用户来替我们实现产品的增长(营销)2。下面是我的

2020-08-19 23:50:33 156

原创活用数据笔记2--数据分析底层逻辑

活用数据笔记目录：营销业务数据分析概览数据分析底层逻辑数据分析底层逻辑1. 内容关于数据分析的底层逻辑数据分析思路过程，如何实现不重不漏的分析；提升分析价值，使得分析不仅仅停留在数羊的水平，而是能够为企业的经营提供有价值的分析。2. 数据分析思路：如何不重不漏？数据分析思路是从研究目的到研究内容的分解过程，是对需求的细化。开启分析思路的三种方法：学会提问、熟悉模型、掌握结构化思维。表1：不重不漏的数据分析思路方法内容 .

2020-08-16 22:24:51 766