qq_31385713的博客

一 算法概述算法含义：是求解问题的计算规则集，每天规则都执行某种计算。它旨在根据精确定义的指令，为任何有效的输入产生对应有效的输出结果英语词典含义：算法是由无歧义指令构成的有限集合，它在给定的一组初始条件下按预订顺序执行，知道满足给定的可识别的结束条件，以实现某种目的** 算法的五个重要特征：**有穷性（Finiteness）：算法的有穷性是指算法必须能在执行有限个步骤之后终止确切性(Definiteness)：算法的每一步骤必须有确切的定义输入(Input)：一个算法有0个或多个输入，以刻画

一 背景使用说明 这里笛卡尔是笛卡尔乘积的简称，是指两个值集的所有可能排列组合，在科普中的定义为：两个集合X和Y的笛卡尔积（Cartesian product），又称直积，表示为X × Y，第一个对象是X的成员而第二个对象是Y的所有可能有序对的其中一个成员。使用场景举例：A（1,2,3），B（a，b），A和B的所有可能组合为（a1,a2,a3,b1,b2,b3），在SQL中可以理解为是两个物理表的连接，在此基础上增加两列；如果有主键的关联，会自动根据主键去重，减少不必要的组合场景。偶然没有带电脑，使用

使用Excel，存在一些基础重复性的操作工作，这些在日常工作可能会浪费很多的时间，通过python，可实现一些基础的操作，帮助日常办公高效操作Excel，主要梳理如下：1.基础包：Pathlib:操作工作簿的路径基础包Xlwings:操作Excel工作簿的基础包Pandas:读写相关操作2.涉及到的操作查看路径/移动路径新建工作簿打开已有工作簿重命名工作簿转化工作簿格式拆分工作簿合并工作簿加密工作簿3 关键代码3.1 移动工作簿路径说明：只能在同一个盘幅内移动'''

一 操作说明使用Python可求取对应数据的相关性，两列数据之间的相关性系数的展示并不直观如果进行图形化的展示，可以帮助使用者更好理解当前的数据使用python的画图matplotlib的工具包和seaborn的工具使用sklearn的鸢尾花数据进行数据演示二 代码展示通常情况下展示的两列关系散点图（手工，不直观）：# 引入工具包from sklearn.datasets import load_irisfrom sklearn.decomposition import PCAimpor

一 PCA分析法介绍可以理解为是一种降维的思想，将M列数据降维成对应的N列数据，用主要的几个字段解释整体方差变异也可以理解为一种低维度的映射，举例将三维的数据找到一个二维映射面，同时可以尽力解释出较多的信息来举例如下图所示：二 PCA分析法的基础步骤1.对数据求平均值，即求取对应的均值u=E(X)2.对特征数据进行去中心化处理，即X= X-E(X)=X-u3.对去中心化处理的特征矩阵求取协方差矩阵COV（X）4.对协方差矩阵求特征根和特征向量numta1,namuta2,numta3…及对

数据库资源在数据不断积累与多程序执行场景，经常会出现系统性能下降甚至应用滞缓的问题，给用户直观的体验是，保存或者查询的时刻，会变得非常卡顿，这会造成不良的使用体验。就基于基础的sql知识，总结有关性能优化的要点。1.硬件要求：SQL会有一定的硬件要求，在研究数据库系统时，使用任何的服务器，都需要对当前数据库与服务器的硬件要求有一定的了解，遵循相关的硬件建议，保证系统可以正常运转。一般来说，关键的生产DBMS会运行在自己的专用服务器上。2.数据库的配置：数据库的的一系列默认配置一般都是预先配置的，这些配置

一 基础介绍跨系统对接，会根据实际的技术现状，业务需求和系统要求，来设置对应接口对接的方式。使用哪种方式进行系统间的接口对接，需要考虑的问题有：系统的耦合性；技术能力与开发成本；对接的数据格式要求；数据延迟和更新频率的要求；远程通信涉及到同步和异步的问题；系统的可靠性与对接有效性系统之间接口对接的方式主要有以下几种：方式一：ftp/文件共享服务器方式方式二：Socket方式方式三：数据库共享方式方式四：message方式二 常用接口对接方式2.1 ftp/文件共享服务器方式方式说明： 系

日常应用程序不实用日期和时间格式存储数据，但往往会存在使用日期读取、统计和处理的场景。日期的处理和时间的换算是本次主要议题。一 常用MySQL的日期时间处理函数函数说明AddDate()增加一个日期（天，周等）AddTime()增加一个时间（时，分等）CurDate()返回当前日期CurTime()返回当前时间Date()返回时间的日期部分DateDiff()计算日期只差Date_Add()日期运算函数Date_Formate(

使用分类算法或者预测算法进行模型建立，往往是通过训练集来调整模型的参数，在准确率比较小的时候，认为模型是合理的，然而如果只是使用测试的数据，而没有一组实际没有参与过的预测模型的数据集，很难对预测的模型效果进行比较。因此需要通过实际的测试集来评价模型的效果，这里有很多的评价指标，仅作为梳理衡量。1.绝对误差和相对误差绝对误差与相对误差是最实际直观的展现方式绝对误差：即实际值与预测值的差的结果相对误差：即实际值与预测值差占实际值的比例绝对误差的公式可写成（其中Y为实际值，为预测值）：相对误差的公式

正则表达式是用来匹配文本的特殊的字符串，是一种特殊的语言。在SQL中使用正则表达式可以快速将一个模式与一个文本串进行比较，完成文本的匹配。这里仅总结常使用的正则表达式。1.MySql使用正则表达式的基本语法从一个简单的例子开始，检索，检索列n_name包含文本100的所有行，语法如下：举例：Select n_name from product where n_name regexp ‘100’ order by n_name;上述语法可以看出，sql语法中，使用使用正则表达式，关键字为”regexp

一 理解描述： 离群点检测，是发现于大部分其他对象显著不同的对象。大部分分析都会把这些差异信息丢弃，然而在一些场景中，这些数据可能存在巨大的价值应用范围： 诈骗检测；贷款审批；电子商务；网络入侵；天气预报等领域二 离群点成因及类型成因： 数据取值来源不同；自然变异造成；数据测量不准；收集误差离群点的类型：分类标准分类标准分类描述数据范围全局离群点和局部离群点离群特征是从局部和总体来看的，可用二维坐标分布图显示数据类型数值型类群点和分类型离群点根据数据集的属性

一 异常值的分析1. 简单统计量分析：极差，最大值，最小值2. 3σ原则如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。如果数据不服从正态分布，也可以用标准差作为σ来进行倍数描述3. 箱型图分析在箱型图中，异常值被定义为小于QL-1.5IQR或大于QU+1.5IQR的值QL：下四分位数，全部观察值中有四分之一的数据取值比它小QU：上四分位数，全部观察值中有四分之一的数据取值比它大IQR：是上四分位数和下四分位数之差，其间包含了全部观察值的一半

一 介绍在数据中，一个列有可能会包含很多重复值，这时会对重复值进行分类。往往在使用过程中会通过unique、value_counts等函数对重复值进行唯一性的提取和重复个数的统计。而还有一类数据类型可以帮助统计对应的值和表示的键。这类数据在系统可以称为维度表，维度表包含了不同值，并将主要观测存储为引用维度的整数键。可以通过如下例子进行展示，在例子代码中，这种按照整数展现的方式被称为分类或者字典编码展现。不同值的数组可以被称为数据的类别、字典或者层级。import numpy as npimport

访问数据往往是使用各种分析工具的第一步，数据文件与数据格式常常有很多种，通过python对数据文件的访问包括对文件的读取和写入，主要总结数据形式包括常用的txt，csv，json格式，Excel格式。Python的文件读取与写入1 读写txt文本1.1 读取txt文件1.2 写入txt2 读写csv文件2.1 读取csv文件2.2 写入csv3 读写json格式数据3.1 读取字符串3.2 转换为字符串4 读写Excel数据4.1 读取excel4.2 写入Excel1 读写txt文本1.1 读取t

从指针的基本概念可以理解，在计算机中，数据是存储在计算机的存储单元中，每个存储单元都有一个编号，指针就是对应着存储单元的编号，根据指针就可以找到也就是数据存储的地址。1 指针的类型指针的类型是指针本身所具有的类型，一般去掉指针变量名，就是指针的类型。int*p;//指针的类型是int*char*p;//指针的类型是char*int(*p)[3];//指针的类型是int(*)[3]...

目录1 datetime基本知识点1.1 存储精细度1.2 计算时间差1.3 加减求另一个时间2 日期与字符串的转换2.1 时间类型转为字符串2.2 字符串转为时间数据类型时间类型数据在生活中非常常见，经济、金融、物理等方面都会使用到，在观测数据过程中，对于时间序列数据常常使用的有三种：时间戳 ：具体的时刻时间间隔 ：由开始和结束的时间戳表示固定的时间区间 ：比如说2020年一整年Pyt...

使用Endnote过程中遇到两个问题：如何批量录入，加载项每次需打开重新加载，针对以上两个问题，进行学习中的总结一 批量录入Endnote在使用谷歌学术引用文献时，录入的参考文献都是一条一条的，如果有大量的文献需要导入，就要求重复通过Endnote导入，非常不方便。通过实际的实践，有两种方法。1.1 简单批量录入的方法适用性： 适合文献量10个左右，方法比较简单方法： 将谷歌学术导出的...

在pandas上使用整数索引容易产生歧义，因为它和在列表、元组内构建数据结构进行索引有一点不同。1.整数索引如下代码ser = pd.Series(np.arange(3.))ser[-1]返回的结果为：Traceback (most recent call last): File "G:\soft\anaconda\install\lib\site-packages\IPyth...

前期对SEM模型的构建以及问卷题项设计工作已经完成，本部分从问卷数据收集以及处理完成后开始分析。一理论部分1.1验证性因子分析验证性因子分析CFA的主要目的在于进行效度验证，它与探索性因子分析有所不同。探索性因子分析主要是为了找出影响观测变量的因子个数，以及各个因子和各个观测变量之间的相关程度，推断模型的内部结果。而验证性因子分析的主要是决定事前定义因子的模型拟合实际数据的能力，以试图检验...