一一张xi-CSDN博客

原创【数据库05】SQL高级处理

目录1. 窗口函数概述2. 窗口函数的种类2.1 专用窗口函数2.2 聚合函数在窗口函数上的应用3. 窗口函数的应用-计算移动平均4. GROUPING运算符4.1 ROLLUP 计算合计及小计练习题1. 窗口函数概述窗口函数也称为OLAP函数，OLAP是OnLine AnalyticalProcessing 的简称，意思是对数据库数据进行实时分析处理。窗口函数的意义：保持原数据条数的基础上，增加一列，这一列可以是原数据排名、组内排名、分组后组内聚合值(均值、最大值、最小值)、排序后上下行聚合值、

2021-08-27 23:02:53 342 4

原创【数据库03】复杂一点的查询（视图、子查询、CASE表达式）

目录1. 视图1.1 视图概述1.2 创建视图1.3 修改视图结构1.4 更新视图的内容1.5 删除视图2. 子查询2.1 子查询概述2.2 标量子查询3. 各种各样的函数2.1 算法函数3.2 字符串函数3.3 日期函数3.4 转换函数4.谓词4.1 谓词概述4.1 LIKE谓词4.3 BETWEEN 谓词 – 用于范围查询4.4 IS NULL、IS NOT NULL – 用于判断是否为 NULL4.5 IN 谓词 – OR 的简便用法4.6 使用子查询作为 IN 谓词的参数4.7 EXIST 谓词5

2021-08-22 23:43:46 469

原创【数据库02】SELECT语句基础

目录1. SELECT语句基础1.1 查询语句2. 算术运算符和比较运算符2.1 算术运算符2.2 比较运算符2.3 常用法则3. 逻辑运算符3.1 NOT 运算符3.2 AND运算符和OR运算符3.3 真值表4. 对表进行聚合查询4.1 聚合函数4.2 常用法则5. 对表进行分组5.1 GROUP BY语句5.2 常见错误6. 为聚合结果指定条件6.1 用 HAVING 得到特定分组7. ORDER BY对查询结果排序1. SELECT语句基础1.1 查询语句SELECT <列名>,

2021-08-19 23:08:06 1304 1

原创【python办公自动化】task5 爬虫入门与综合应用

目录1. Requests简介2. 简单爬取2.1 对百度首页数据进行请求2.2 用爬虫下载孔乙己的文章2.3 爬取图片3.HTML解析和提取3.1 浏览器工作原理3.2 BeautifulSoup介绍1. Requests简介Requests是一款目前非常流行的http请求库，使用python编写，能非常方便的对网页Requests进行爬取，也是爬虫最常用的发起请求第三方库。安装pip install requests一些常用方法requests.get('网址') #发出响应请求r

2021-07-02 17:54:31 540

原创【python办公自动化】task 04 python与pdf

目录1. 预备知识2. 批量拆分1. 预备知识Python操作pdf会用到两个库：PyPDF2 可以更好的读取、写入、分割、合并PDF文件pdfplumber 可以更好的读取 PDF 文件中内容和提取 PDF 中的表格在使用前需要先对其进行安装pip install PyPDF2pip install pdfplumber2. 批量拆分将一个pdf拆分为几个小的pdf，主要用到...

2021-06-26 22:54:30 114 1

原创【python办公自动化】task3 Python与Word

目录1.word操作1.1 word基本介绍1.2 新建空白word并插入文字1.3 整体页面介绍1.4 字体设置1.5 插入图片与表格1.6 设置页眉和页脚1.7 扩展2. 实践预备知识使用前需要先安装python-docx库pip3 install python-docx1.word操作1.1 word基本介绍一个word文档的页面结构包括以下三个方面：文档-Document段落-Paragrapg文字块-Runpython-docx将整个文章看做是一个Document对象，其

2021-06-20 22:57:09 170

原创【python办公自动化】task2 Python与Excel

目录1. Excel读取读取对应表格读取单元格读取多个格子的值2. Excel写入写入单元格并保存写入行数据并保存将公式写入单元格保存插入列数据插入行数据删除移动Sheet表操作创建新的Excel表3. Excel 样式设置字体样式设置对其样式设置行高与列宽合并、取消合并单元格使用前需要先安装相关模块pip install openpyxlexcel包含以下基本元素行Row列column单元格cell表sheet1. Excel读取读取对应表格打开已经存在的Excel表格 load

2021-06-18 22:24:04 184

原创【python办公自动化】task01 文件自动化处理&邮件批量处理

目录1. 文件自动化处理1.1 读写文件1.1.1 文件与路径1.1.2 当前工作目录1.1.3 路径操作1.1.3.1 绝对路径和相对路径1.1.3.2 路径操作1. 文件自动化处理1.1 读写文件程序运行时候，可以用变量来保存运算结果，如果希望程序运行关闭后仍然能够查看，就需要将数据结果保存到文件中，下面将介绍如何使用python在硬盘上创建、保存、读取文件1.1.1 文件与路径文件有两个属性：路径：指明文件在极端就的位置，Windows中使用反斜杠“\”作为文件夹之间的分隔符号，OS

2021-06-16 22:30:04 528 2

原创【数据分析】异常值与缺失值

异常值与缺失值1、缺失值分析与处理1.1 造成缺失的原因1.2 缺失的一般处理方法1.3 数据集介绍及缺失值填充参考文献1、缺失值分析与处理1.1 造成缺失的原因由于数据采集设备、传输线路故障等机械原因或者记录失误等认为原因，数据缺失通常难以避免，造成缺失的原因主要有以下几种数据暂时无法获取数据在采集过程中被遗漏或丢弃某些对象的部分特征值不存在获取数据比较困难1.2 缺失的一般处理方法直接删除：当少数样本存在多列特征缺失时，可以将这些样本整行删除；当某列特征大部分缺失时，可将这列属

2021-06-01 15:58:43 7141 2

原创【异常检测】task 5 高维异常

目录1、引言2. Feature Bagging3. Isolation Forests4. 总结参考文献1、引言在实际场景中，很多数据集都是多维度的。随着维度的增加，数据空间的大小（体积）会以指数级别增长，使数据变得稀疏，这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战，对距离的计算，聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性，但是，在高维空间中，所有点对的距离几乎都是相等的（距离集中），这使得一些基于距离的方法失效。在高维场景下，一个常用的方法是子空间方法。集

2021-05-23 22:40:47 95

原创【异常检测】task4 基于相似度的方法

目录1. 概述2. 基于距离的度量2.1 基于单元的方法2.2 基于索引的方法基于密度的度量3.1 k距离（k-distance（p））3.2 k邻域3.3 可达距离（reachability distance）3.4 局部可达密度（local reachability density）3.5 局部异常因子1. 概述关于“异常”的定义需要结合具体的义务背景和环境来具体分析确定数据中包含正常数据、噪声和异常，噪声可以被认为特性较弱的异常值，没有被分析的价值。异常值通常具有更高的离群程度分数值，同

2021-05-19 16:13:11 366

原创【异常检测】task3 线性模型

目录1. 引言1. 引言真实数据集中不同维度的数据通常具有高度的相关性，这是因为不同的属性往往是由相同的基础过程以密切相关的方式产生的。在古典统计学中，这被称为——回归建模，一种参数化的相关性分析一类相关性分析试图通过其他变量预测单独的属性值，如线性回归另一类方法用一些潜在变量来代表整个数据，例如主成分分析需要明确的是，这里有两个重要的假设：假设一：近似线性相关假设。线性相关假设是使用两种模型进行一场检测的重要理论基础。假设2：子空间假设。子空间假设认为数据是镶嵌在低维子空间中的，线

2021-05-16 22:08:23 187

原创【异常检测】task2 基于统计学的方法

目录1.概述2、参数方法2.1 基于正态分布的一元异常点检测2.2 多元异常点检测2.3 使用混合参数分布3. 非参数方法3.1 使用直方图检测异常点1.概述统计学方法对数据的正常性做出假定。它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。即利用统计学方法建立一个模型，然后考虑对象有多大可能符合

2021-05-13 10:54:09 87

原创【异常检测】task1 概述

目录1. 什么是异常检测1.1 异常的类别1.2 异常检测任务分类1.3 异常检测场景2. 异常检测常用方法2.1 传统方法2.1.1 基于统计学的方法2.1.2 线性模型2.1.3 基于相似度的方法2.2 集成学习方法2.1.1 Feature bagging2.1.2 孤立森林2.3 机器学习3. 异常检测专用库1. 什么是异常检测异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。识别如信用卡欺诈，工业生产异常，网络流里的异常（网络侵入

2021-05-08 16:04:33 296 1

原创特征选择

目录1. 简介2. 包裹式（封装器法）2.1 循环特征选择2.2 穷举特征选择1. 简介特征选择是一个很重要的数据预处理过程：选择出重要的特征可以缓解维数灾难问题去除不相关特征可以降低学习任务的难度特征选择可分为子集搜索和子集评价：子集搜索：前向搜索（逐渐增加特征），后向搜索（逐渐减少特征）子集评价：可采用信息增益对子集进行评价特征选择的方式有：包裹式选择过滤式选择嵌入式选择2. 包裹式（封装器法）包裹式（封装器法）从初始特征集合中不断的选择特征子集，训练学习器，根

2021-04-14 22:27:19 1302

原创【集成学习】Blending和Stacking

目录1. Blending2. Stacking2.1 简单堆叠三层CV分类2.2 使用概率作为元特征2.3 堆叠5折CV分类与网格搜索(结合网格搜索调参优化)2.4 在不同特征子集上运行的分类器的堆叠2.5 ROC曲线Blending和Stacking对比Stacking，这个集成方法在比赛中被称为“懒人”算法，因为它不需要花费过多时间的调参就可以得到一个效果不错的算法。 stacking严格来说并不是一种算法，而是精美而又复杂的，对模型集成的一种策略。Stacking集成算法可以理解为一个两层的集成

2021-04-12 22:33:48 827

原创【集成学习】task5 基本的分类模型

目录分类模型评价指标逻辑回归基于概率的分类模型：线性判别分析：基于贝叶斯公式对线性判别分析的理解降维分类的思想理解线性判别分析分类模型评价指标真阳性TP：预测值和真实值都为正例；真阴性TN：预测值与真实值都为正例；假阳性FP：预测值为正，实际值为负；假阴性FN：预测值为负，实际值为正；分类模型的指标：准确率：分类正确的样本数占总样本的比例，即：ACC=TP+TNFP+FN+TP+TNACC = \frac{TP+TN}{FP+FN+TP+TN}ACC=FP+FN+TP+TNTP+TN

2021-03-28 02:23:13 174

原创【集成学习】task4 回归模型的评估及超参数调优

目录参数与超参数调参方法网格搜索 GridSearchCV()：随机搜索RandomizedSearchCV()参数与超参数类似于参数w一样，使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为参数；类似于 ???? 一样，我们无法使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为超参数（1）参数模型参数是模型内部的配置变量，其值可以根据数据进行估计。行预测时需要参数。它参数定义了可使用的模型。参数是从数据估计或获悉的。参数通常不由编程者手动设置。参数通常被保存

2021-03-24 22:37:10 198

原创【集成学习】task2 回归模型

回归模型回归模型回归模型评价指标线性回归模型【待补充】使用sklearn构建完整机器学习项目流程明确项目任务：回归/分类收集数据集并选择合适的特征。选择度量模型性能的指标。选择具体的模型并进行训练以优化模型。评估模型的性能并调参。回归模型回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（特征）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。通常使用曲线/线来拟合数据点，目标是使曲线到数据点的距离差异最小。本节依旧以波斯顿房价数据集为例#

2021-03-18 22:22:24 170

原创【集成学习】task1 机器学习三大主要任务

目录什么是机器学习？机器学习任务有监督学习回归分类无监督学习什么是机器学习？机器学习的一个重要的目标就是利用数学模型来理解数据，发现数据中的规律，用作数据的分析和预测。数据通常由一组向量组成，这组向量中的每个向量都是一个样本，我们用xix_ixi来表示一个样本，其中i=1,2,3,...,Ni=1,2,3,...,Ni=1,2,3,...,N,共N个样本，每个样本xi=(xi1,xi2,...,xip,yi)x_i=(x_{i1},x_{i2},...,x_{ip},y_i)xi=(xi1,xi

2021-03-15 21:32:46 559

原创 win8 Docker安装记录

目录Docker介绍Docker安装Docker介绍Docker是一个开源的引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署，包括VMs（虚拟机）、 bare metal、OpenStack 集群和其他的基础应用平台。Docker通常用于如下场景：web应用的自动化打包和发布；自动化测试和持续集成、发布；在服务型环境中部署和调整数据库或其他的后台应用；从头编译或者扩展现有的OpenShift或Cloud Fou

2021-02-22 00:04:26 133 1

原创【数据分析-学术前沿趋势分析】 Task5 作者信息关联

Task5 作者信息关联1. 任务说明2. 数据处理步骤3. 社交网络分析3.1图类型3.1 图统计指标4. networkx库5. 代码实现Datawhale一月份的组队学习~关键词：数据分析、爬虫、文本分析开源地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/AcademicTrends1. 任务说明学习主题：作者关联（数据建模任务），对论文作者关系进行建模，统计最长出现的作者关系学

2021-01-26 00:03:40 300

原创【数据分析-学术前沿趋势分析】 Task4 论文种类分类

Task4 论文种类分类1. 任务说明2. 数据处理步骤3. 文本分类思路4. 具体代码实现4.2 使用TF-IDF+机器学习分类器进行文本分类4.2 使用深度学习模型Datawhale一月份的组队学习~关键词：数据分析、爬虫、文本分析开源地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/AcademicTrends1. 任务说明学习主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类

2021-01-23 00:33:32 140

原创【数据分析-学术前沿趋势分析】 Task3 论文代码统计

Task3 论文代码统计1. 任务说明2. 数据处理步骤3. 正则表达式4.具体代码实现以及讲解Datawhale一月份的组队学习~关键词：数据分析、爬虫、文本分析开源地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/AcademicTrends1. 任务说明任务主题：论文代码统计，统计所有论文出现代码的相关统计；任务内容：使用正则表达式统计代码连接、页数和图表数据；任务成果：学习正则表达式

2021-01-20 00:28:16 104

原创【数据分析-学术前沿趋势分析】 Task2 论文作者统计

Task2 论文作者统计1. 任务说明2. 数据处理步骤3. 字符串处理4. 具体代码实现以及讲解4.1 数据读取4.2 数据统计Datawhale一月份的组队学习~关键词：数据分析、爬虫、文本分析开源地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/AcademicTrends1. 任务说明任务主题：论文作者统计，统计所有论文作者出现频率Top10的姓名任务内容：论文作者的统计、使用Pand

2021-01-16 22:54:54 108

原创【数据分析-学术前沿趋势分析】 Task1 论文数据统计

task1 论文数据统计1. 任务说明2. 数据集介绍3. 代码实现3.1 导入包并读取原始数据3.2 数据预处理3.2数据分析及可视化1. 任务说明任务主题：论文数量统计，即统计2019年全年计算机各个方向论文数量；任务内容：赛题的理解、使用 Pandas 读取数据并进行统计；任务成果：学习 Pandas 的基础操作；可参考的学习资料：开源组织Datawhale joyful-pandas项目2. 数据集介绍数据集来源https://www.kaggle.com/Cornell-U

2021-01-13 21:18:09 233

原创【pandas入门】第一章-预备知识

开源学习内容为joyful pandas本节课地址：https://datawhalechina.github.io/joyful-pandas/build/html/%E7%9B%AE%E5%BD%95/ch1.html第一章预备知识1. python基础1.1 列表推导式与条件赋值1.2 匿名函数与map方法1.2.1匿名函数1. python基础1.1 列表推导式与条件赋值自定义函数，生成一段数字序列L=[]def my_func(x): return 2*x for

2020-12-17 22:29:06 140

原创【深度学习笔记】task 06循环神经网络

循环神经网络6.1 循环核6.2 循环核按时间展开6.3 循环计算层6.4 tf描述循环计算层【北京大学】Tensorflow2.0 6.1 循环核有些数据是和序列有关的，比如鱼离不开__，我们下意识的便会填入水，这种预测就是通过脑提取记忆体的过程，也就是“循环核”循环核：具有记忆力，通过对参数时间共享，提取了时间信息，记忆体下面侧面上面有三种待训练参数如下便是一个记忆体，可

2020-11-07 21:26:13 501 1

原创【深度学习笔记】task 05卷积网络

深度学习5. 卷积神经网络5.1 卷积计算5.2 感受野5. 卷积神经网络5.1 卷积计算实际项目的图片多是高分辨率的彩色图片，待优化参数过多，容易导致模型过拟合，为了减少待训练参数，我们在实际应用中会对原始图片进行特征提取，再把提取到的特征送给全连接网络卷积计算是一种有效的特征提取方法如果输入特征是单通道灰度图可以使用深度为1的单通道卷积核；如果输入特征是三通道彩色图，可以使用333的卷积核或者553的卷积核，总之卷积核的深度一定要和输入特征的深度（通道数）一致卷积就是利用立体卷积核

2020-11-05 15:55:12 402 1

原创【深度学习笔记】task4 网络八股扩展

深度学习4.1 搭建网络八股概览4.2 自制数据集，解决本领域问题4.2 数据增强，扩充数据集4.3 断点续训，存取模型4.4 参数提取，把参数存入文本4.6 acc&loss可视化，查看训练效果4.6 应用程序，给图识物4.1 搭建网络八股概览4.2 自制数据集，解决本领域问题原有数据如下，已经有了手写数字图片和txt文件，txt文件中记录了手写图片的文件名和其对应的标签在这里插入代码片目标：把图片路径和标签文件输入generateds，generateds函数返回输入特征和标签i

2020-10-27 21:19:31 267

原创【深度学习笔记】task3 神经网络八股

深度学习3.1搭建神经网络八股sequential3.1.1 Sequential3.2.2 compile配置神经网络训练方法依依旧是跟着曹健老师的课程学习，终于来到精华部分了，之前又臭又长的代码们get outhttps://www.bilibili.com/video/BV1B7411L7Qt?p=1原码见https://github.com/jlff/tf2_notes目录3.1搭建神经网络八股sequential六步法import相关模块，import指定训练集测试集的输入和其

2020-10-26 20:56:28 1010 3

原创【强化学习】task2 马尔科夫决策过程

强化学习第二章2.1 马尔科夫链2.2 马尔科夫奖励过程2.3 马尔科夫决策过程2.4 马尔科夫链马尔科夫奖励马尔科夫决策区别目录第二章马尔科夫决策是强化学习中最常见的一种框架2.1 马尔科夫链一个状态满足马尔科夫转移指的是对于一个状态只取决于它前一个的状态而与其他状态无关图中描述了一个状态到达其他状态的概率对于上面这样的一个图可以用状态转移矩阵来表示每一行代表了从一个节点到达其他节点的概率马尔科夫例子2.2 马尔科夫奖励过程马尔科夫奖励过程=马尔科夫链+马尔科夫奖励过程多了

2020-10-23 22:15:52 144

原创【深度学习笔记】Task2 神经网络优化 2

深度学习笔记-神经网络优化2.1 预备知识2.2 复杂度学习率2.1 预备知识tf.where() 条件语句真返回A，条件语句假返回Btf.where(条件语句，真返回A，假返回B)import tensorflow as tf a=tf.constant([1,2,3,1,1])b=tf.constant([0,1,3,4,5])#如果a>b，返回a对应位置的元素，否则返回b对应位置的元素c=tf.where(tf.greater(a,b),a,b)print('c:',c)

2020-10-22 10:08:55 413

原创【强化学习入门】 task1 概括与基础

强化学习入门 task1 概括与基础1. 1 什么是强化学习1.2 强化学习应用1.3 强化学习发展的原因1.4 奖励函数1.5 强化学习组成成分主要根据周博磊教授的教学视频进行学习整理视频地址https://www.bilibili.com/video/BV1LE411G7Xj课程资料https://github.com/zhoubolei/introRL课件https://github.com/zhoubolei/introRL/blob/master/lecture1.pdf作者介绍

2020-10-20 22:10:00 266

原创【深度学习笔记】Task1 神经网络计算

人工智能三学派通过神经网络可以使计算机具有感性思维基于连接主义的神经网络设计过程随着我们成长，神经网络连线上的权重发生了变化，有些线上权重增加，有些线上权重减弱准备数据-》搭建网络-》优化参数-》应用网络鸢尾花分类问题...

2020-10-16 21:17:36 667

原创【深度学习】第二章TensorFlow入门

【深度学习】第二章TensorFlow入门1. TensorFlow介绍2. 计算图session Tensor3. OP 矩阵随机化 Variable3.1 OP3.2 tensorflow矩阵及运算3.3 随机化3.4 Variable4. 占位符Graph用的tensorflow版本为2.0的所有有些代码有所改动1. TensorFlow介绍在生活中如google图像搜索、谷歌翻译等都使用了tensorflowtensorfolw中文网站：https://tensorflow.goog

2020-10-14 22:13:25 421

原创 LightGBM学习笔记

LightGB学习笔记1. lightgbm概述1.1 lightgbm介绍1.2 lightgbm和xgboost对比2 .直方图算法及改进2.1 直方图算法2.2 直方图算法改进2.2.1 GOSS算法3.树的生长策略4.系统设计5. 实战lightgbm是基于boosting的学习框架，使用的是基于决策树的学习算法，具有更快的训练速度、更低的内存使用、更高的正确率、并且能够支持并行化学习，可以用来处理大规模数据，本文主要是针对学习视频https://www.bilibili.com/video/BV

2020-10-02 22:16:12 1992

原创【数据挖掘】金融风控 Task05 模型融合

【数据挖掘】金融风控 Task05 模型融合5. 模型融合方法5.1 平均法5.1.1 简单的加权平均5.1.2 加权平均5.2 投票法5.2.1 简单投票5.2.2 加权投票5.3 stacking5.3.1 原理5.3.2 实例-鸢尾花分类5.4 blending5.4.1 原理5.4.2 Blending与stacking的不同5.4.3 案例-鸢尾花分类5.5 boosting/bagging5.5.1 boosting5.5.2 bagging5.6 总结与我的碎碎念5.7 参考资料模型融合即通

2020-09-27 21:29:27 535

原创数据挖掘】金融风控 Task04 建模与调参

【数据挖掘】金融风控 Task04 建模与调参1. 常用模型对比及评估1.1. 逻辑回归与决策树模型1.2 集成方法1.2.1 bagging1.2.2 boosting1.2.3 bagging与boosting区别1.3 模型评估方法1.3.1 数据集划分条件1.3.2 数据集划分方法1.3.3 模型评价标准2. 模型训练2.1 导入数据并进行预处理2.2 使用lgb进行预测2.2.1 使用lgb进行预测2.2.2 对验证集进行预测，并画出roc曲线2.2.3 使用k折交叉验证进行模型评估2.3 模型调

2020-09-24 21:31:35 500

原创【数据分析进阶】DCIC竞赛-task5&6 订单调度分析

【数据分析进阶】DCIC竞赛-task5&6 订单调度分析task5 订单调度分析经纬度转换相关知识经纬度编码订单调度分析思考task 06 分析报告撰写分析报告撰写报告撰写建议学习资源task5 订单调度分析经纬度转换相关知识简单的城市名转换成经纬度：https://www.cnblogs.com/zle1992/p/7209932.html批量获取经纬度：https://www.cnblogs.com/reboot777/p/7124010.html用Python计算北

2020-09-22 18:42:20 379

空空如也

空空如也