- 博客(28)
- 收藏
- 关注
RSS订阅原创 pandas 常用语句操作（持续更新）
文章目录导入导出异常值处理预处理操作时间处理导入导出跨目录导入指定文件将多个dataframe数据导出为多个sheetsimport syssys.path.append('/日常/月周期/data/')Holtwinter1 = pd.read_excel('/日常/月周期/data/yzq_pred_426-83.xlsx')with pd.ExcelWriter(r'./jieguo_R2/yzq原模型_R2_426-83.xlsx') as writer: actual_Ho
2021-08-13 10:25:45
371
原创 数据探索性分析
文章目录数据探索性分析数据质量分析缺失值分析异常值分析一致性分析数据特征分析分布分析对比分析统计量分析周期性分析贡献度分析相关性分析python主要数据探索函数基本统计特征函数拓展统计特征函数统计作图函数（matplotlib）数据探索性分析数据质量分析缺失值分析1、缺失值产生的原因1）有些暂时无法获取的数据，或者获取代价太大的数据2）有些是被遗漏的数据输入时认为不重要，忘记填写，对数据理解错误，一些人为的因素数据采集设备故障，存储介质故障，传输媒体的故障等非人为丢失2、缺失值
2021-05-07 16:59:46
470
原创 数据预处理（理论总结）
数据预处理数据清洗缺失值处理异常值处理数据集成实体识别冗余属性识别数据变换简单函数变换规范化连续属性离散化属性构造小波变换数据规约属性规约数值规约python主要预处理函数数据清洗就是删除，去除原始数据集中，无关的，重复的，平滑噪声的数据，筛选掉与挖掘无关的数据缺失值处理三种方法：删除，插补，不处理常见插补直接删除的缺点它是以减少历史数据来换取数据的完备，会造成资源的大量浪费，在数据量本身就少的情况下，会造成大量隐藏在数据的信息丢失异常值处理数据集成数据集成就是将分布在不同数据源的
2021-05-07 16:57:19
1645
原创 spss——主成分分析详解
文章目录概念应用场景优缺点优点缺点spss实例8、将原始特征数据进行标准化计算过程概念一个非监督学习的降维方法只需要特征值分解，就可以对数据进行压缩，去噪旨在利用降维思想，把多指标转化为少数几个的综合指标每个主成分都能够反映原始变量的大部分信息，且信息不重复应用场景在一个图像矩阵中，有些元素特征不明显，很难用来做识别，而有些元素特征很明显，表明其方差很大（元素的方差可以度量其相对整个样本的离散度），这些元素就可以作为图像识别的主要依据，PCA的作用就是，去除那些方差小，特征不明显的维，保
2021-04-27 13:17:04
22287
1
原创 retrying模块
pip install retrying经常和超时参数一起用from retrying import retry@retry(stop_max_attempt_number=3) # 表示如果报错的话，让下面的函数反复执行3次，如果3次中有一次没报错，就会走接着走其他程序，如果3次都报错了，整个程序就报错def fun1():print(‘this is func1’)retry ValueError(‘this is test error’)`我们可以将retrying定义成一个可调.
2021-03-02 21:38:40
171
原创 requests模块
文章目录使用事前发送get请求和post请求。获取响应response的方法获取网页源码正确的打开方式（通过下面三种方式一定能够获取到网页的正确解码之后的字符串）(python3)发送带header的请求使用超时参数处理cookie相关的请求使用事前pip install requests发送get请求和post请求。获取响应response = requests.get(url) # 发送get请求，请求URL地址对应的响应，结果用response接收response.getresp
2021-03-02 20:51:25
130
原创 tableau_10_漏斗图
文章目录漏斗图图形创建创建后半步添加标签最后图形样式漏斗图适用于业务流程的比较，比较规范性，周期性以及环节多的一种图形分析在电商、营销、客户关系管理等领域有广泛应用图形创建1、先创建条形图2、创建漏斗线同步轴：上面多出一个横轴，调整两个图的错位创建后半步影响查看，选择隐藏去掉中间的线添加标签1、选择条形添加标签也可以，但是，条形长度会有些变化，就是会影响对称的视觉感受2、添加百分比基于第一个数，其他所占的第一个的百分比基于上一个所占比，例如，第二个所
2021-02-04 23:10:47
355
原创 tableau_10_人口金字塔
文章目录人口金字塔数据处理创建人口金字塔人口金字塔在同一行，对称的比较两个类别的统计指标数据处理1、对年龄进行数值化2、对不能识别的进行处理3、通过创建计算字段，对‘85+’进行条件判断：如果age等于‘85+’就等于85，否则转化成int类型4、将创建好的字段变回为维度字段，在度量是不对的，放回维度，显示的就是一个离散值创建人口金字塔1、创建数据桶，就是设置组间距然后放入数据，生成一个直方图2、对类型（性别）进行条件判断，创建字段，将男女类别分开，生成度量值3、重新放
2021-02-04 22:12:10
311
原创 tableau_凸显表、二值凸显表
文章目录凸显表实现步骤二值凸显表凸显表凸显表可在表格中以颜色突出显示值的大小实现步骤1、将类别放入行，2、记录数放入颜色3、标记选择形状，然后将记录数放入文本4、智能显示：选择第三个二值凸显表在凸显表的基础上1、点击颜色、编辑颜色、2、渐变：选择23、点击高级：中心（明确分界线）...
2021-02-02 09:42:46
1744
原创 tableau_9_快速表计算、自定义表计算、计算字段
文章目录快速表计算汇总差异百分比差异总额百分比排序 百分位移动平均自定义计算计算字段第一种，在原有的度量值的基础上创建第二种 在左边字段列空白区域创建快速表计算汇总差异百分比差异就是在差异的基础上变成百分比化总额百分比排序 百分位移动平均自定义计算计算字段第一种，在原有的度量值的基础上创建找到一个度量值，然后在这个度量值的基础上，右键 ，然后创建字段在表达式的区域，会直接把这个度量值放到表达式第二种 在左边字段列空白区域创建右击空白区域创建...
2021-01-27 22:21:45
1108
原创 tableau_8_数据分层结构、数据分组、数据集
文章目录数据分层（层级）结构概念创建方式第一种第二种数据分组创建分组地图版数据集定义：集是满足某些条件的数据子集，它是维度的部分成员用途静态数据集动态集合并集数据分层（层级）结构概念分层结构是一种维度之间自上而下的组织形式eg：日期:年/季度/月/日创建方式第一种1、右击创建2、注意拖入顺序，越往下层级越低第二种可以拖动最上级值第二级也可以有童谣的效果数据分组创建分组地图版2、数据集定义：集是满足某些条件的数据子集，它是维度的部分成员用途1）集内外成员
2021-01-25 23:03:48
491
原创 MySQL实现同名次排序、且名次之间不间隔排序
文章目录思路详解代码本篇疑难点思路详解1、首先我们知道的是要排序select a.Score as Scorefrom Scores as aorder by a.Score desc;2、比较难的是第二部分。假设现在给你一个分数X，如何算出它的排名Rank呢？我们可以先提取出大于等于X的所有分数集合H，将H去重后的元素个数就是X的排名。比如你考了99分，但最高的就只有99分，那么去重之后集合H里就只有99一个元素，个数为1，因此你的Rank为1。先提取集合H：select b.
2021-01-11 22:47:03
888
原创 tableau 填充地图、多维地图实现步骤
文章目录填充地图地图格式设置多维地图本篇还有混合地图填充地图地图格式设置7、点击菜单栏的地图。选择地图层需要操作部分：样式、冲蚀、国家/地区名称多维地图
2021-01-11 21:33:46
572
原创 Mysql 查询第二高，第N高分数.limit、offset、distinct
文章目录返回第二高分数难点解析代码返回第N高分数难点解析代码函数详解limit :(start, count)limit a offset bifnulldistinct返回第二高分数难点解析limit：限时返回的个数或行数offset：跳过几个limit 1 offset 1:返回一个结果，跳过一个例如返回第三高就是：limit 1 offset 2代码select ( select distinct Salary from Employeeorder by Salary descl
2021-01-10 11:53:31
1368
1
原创 5_tableau数据集合并、插入自定义形状、仪表盘
文章目录数据集合并智能显示插入自定义形状仪表板本篇还有符号地图制作数据集合并智能显示插入自定义形状1、选择 png格式图片2、找到tableau文件位置（可以点开始_搜索_右击选择）注意：不是快捷位置，是exe文件3、然后点击上一级_选择defaults_选择shapes文件注意，自己创建文件夹名字要是英文格式4、点击放入自己想要的图片5、然后，关闭tableau在打开，这个形状才有仪表板位于表名右边第二个...
2021-01-08 22:47:52
620
1
原创 excel index+match、vlookup、sumifs三种常用查询区别
文章目录index+matchvlookupsumifs（数值型查询）index+match参数解释：根据规定区域与指定行列位置来匹配查询到位置所对应的数据index（array,row-num,column-num）注意：match指定行列位置时，必须先行后列，顺序不能换优势：比较复杂的反向查找、双向查找等vlookup原理是：通过识别“A”，在“A-a,B-b,C-c…“集合里找到"A"对应的值"a”，然后自动填充参数解释：根据指定位置，选择规定区域，选择查询数据所在列数，指定精确还是模
2021-01-08 11:37:58
3361
原创 tableau制作标靶图，甘特图，瀑布图
文章目录标靶图标靶图标靶图就是在基本条形图的基础上，给它增加参考线，参考区间帮助分析人员了解两个度量之间的关系，通常用的是横向条形图。通常是用来比较计划值和实际值的差异4、通常都设置为横向条形图6、范围：选择每区：比例：上面的行 地区，现在目前只有一个区域，如果有两个，比如设置成南北两个区域，，这样如果按照分区的每一个去来看，平均值的线就有两条，一条南方一条北方选择整个：假设就算你有分了两个区，还是会按整个图来去这个平均值选择每丹阳...
2021-01-06 23:18:38
455
原创 pandas基础命令速查表
库的导入import pandas as pdimport numpy as np数据的导入# csvpd.read_csv(fillname)数据的导出df.to_csv(fillname)创建调试对象建一个5列10行的由随机浮点数组成的数据框 DataFramepd.DataFrame(np.random.rand(10,5))数据的查看与检查查看数据框的最后n行df.tail(n)查看数据框的行数与列数df.shape查看数据框 (DataFrame) 的索
2021-01-03 15:40:38
294
原创 jupyter notebook安装Nbextensions插件
cmd逐条执行以下目录pip install jupyter_nbextensions_configurator jupyter_contrib_nbextensionsjupyter contrib nbextension install --userjupyter nbextensions_configurator enable --user即可。
2020-08-17 15:10:44
528
原创 语义分割系列
语义分割网路分割的类型背景FCN(Fully Convolutional Network)——全卷积网路关键特点反卷积与双线性插值SegNet（分割网路）关键特点U-Net关键特点实现的输入到输出FCDDeepLab系列E-Net和Link-NetMask-RCNN分割的类型背景语意分割是对图像中的每一个像素进行分类，目前广泛应用于医学图像与无人驾驶等。从这几年的论文来看，这一领域主要分为有监督语义分割、无监督语义分割、视频语义分割等。FCN(Fully Convolutional Network)
2020-07-28 08:45:51
624
原创 YOLOv1
YOLOV1单阶段目标检测产生背景核心思想训练过程检测流程总结优缺点优点缺点单阶段目标检测不需要产生区域建议框的就是单阶段目标检测算法，对于需要产生区域建议框的就是双阶段目标检测算法（two-stage）。产生背景之前 two-stage 方法如 R-CNN 把检测问题分成两部分，先生成候选区域（region proposal），再用分类器对区域分类，多阶段训练导致不易优化。核心思想之前 two-stage 方法如 R-CNN 把检测问题分成两部分，先生成候选区域（region proposal
2020-07-20 15:02:42
177
原创 目标检测之RCNN
何为目标检测目标检测描述-简书，目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。RCNN我们这篇只讲RCNNR-CNN（Region CNN，区域卷积神经网络）可以说是利用深度学习进行目标检测的开山之作，作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂，2010年更是带领团队获得了终身成就奖，如今就职于
2020-07-13 15:48:48
319
原创 数据标注工具labeling与labelme
数据标注工具labeling这款工具是全图形界面，用Python和Qt写的，可把标注信息直接转化成为XML文件1）下载安装安装PyQt5包下载labelImg源码并解压运行-https://github.com/tzutalin/labelImg下载后并解压得到文件夹labelImg-master命令行运行-pyrcc5 -o resources.py resources.qrc将resources.py文件剪切放入libs文件夹中打开labelImg.py文件，运行得到操作界面可对源码
2020-07-09 15:06:27
14256
原创 数据标注是做什么的
数据标注数据标注就是数据加工人员借助类似于BasicFinder这样的标记工具，对人工智能学习数据进行加工的一种的行为，通常数据标注的类型包括：图像标注，语音标注，文本标注，视屏标注等种类，标记的基本形式有标注画框，3D画框，文本转录，图像打点，目标物体轮廓线等等。数据标注的目的近年来，人工智能发展这个话题如火如荼，作为人工智能三大决定性影响因素：算法，算力和数据，再过去的几年中野取得了很大的突破，数据是人工智能的血液，而数据只有加上标注才有意义数据标注的公司https://www.appen.
2020-07-08 15:14:43
21222
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人