- 博客(53)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 使用SQL实现数据操作
SQL和RDBMS的区别：用SQL操作RDBMS一、数据的完整性一个汉字占多少长度与编码有关：UTF－8：一个汉字＝3个字节GBK：一个汉字＝2个字节二、数据库基本操作1、 登录数据库首先进入mysql安装目录下的bin文件，然后运行命令：2、退出登录：quit或者exit3、 以分号或者\g结束 查看sql版本:se...
2019-09-14 20:15:00
475
转载 Excel绘制动态图表 之 极品offset、多种控件动态动图
1、案例1：辅助区域动态图动态按钮“投资金额”的制作： "数据"菜单下"数据工作”组中的“数据验证”，选择"序列"。2、 OFFSET ——函数中的极品 ——复杂的数据汇总、到数据透视表再到高级动态图表OFFSET(C3,1,2,1,1)这个函数有5个参数：第一个参数是基点第二个参数是要偏移几行，正数向下，负数向上。第...
2019-09-13 11:18:00
2172
转载 Excel绘制经典图表
1、柱形图2、条形图3、饼图---复合饼图4、圆环图5、组合图设置不同的纵轴6、漏斗图其中：合计呈逐渐下降的趋势，可以用漏斗图进行展示！ 绘制漏斗图首先需要构建辅助列，在插入图形的时候选择“堆型条形图”！其中：辅助列公式为：例：=($E$11+1000-$E11)/2...
2019-09-10 22:10:00
235
转载 分离数据集的方法
（1）K折交叉验证（KFold）：通常K选取值为3、5、10 当不能确定使用何种验证方法时，可采用K折验证法； 当不知确定K的取值时，最优的情况是选10。（2）分离训练数据集合评估数据集（train_test_split） 执行效率非常高，可以有效的解决某些算法执行速度慢的问题，也可以解决数据量大的问题。 在指定分离数据大小的同时，可以对其...
2019-09-08 13:04:00
659
转载 特征选择
1、VarianceThreshold()---删除方差低的要素是一种简单的特征选择基线方法。它会删除方差不符合某个阈值的所有要素。默认情况下，它会删除所有零方差要素，即在所有样本中具有相同值的要素。import numpy as npimport pandas as pdfrom sklearn.feature_selection import Variance...
2019-09-07 17:37:00
192
转载 第7章 模型评估
分类算法评估矩阵（1）分类准确度（2）对数损失函数log_loss()（3）混淆矩阵confusion_matrix()（4）AUC图（5）分类报告classification_report()import numpy as npimport pandas as pdfrom sklearn.datasets import load_irisiri...
2019-09-01 16:58:00
236
转载 第6章 挖掘建模
学习：通过接收到的数据，归纳提取相同与不同机器学习：让计算机以数据为基础，进行归纳与总结模型：数据解释现象的系统。6:2:2· 训练集：用来训练与拟合模型· 测试集：模型泛化能力的考量。（泛化：对数据的预测能力）· 验证集：当通过训练集训练出多个模型后，使用验证集数据纠偏或比较预测当数据量样本较少时：...
2019-08-28 14:54:00
532
转载 第5章 预处理理论
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。5.1、数据清洗5.1.1 数据样本抽样· 样本要具有代表性· 样本比例要平衡以及样本不均衡时如何处理· 考虑全量数据5.1.2异常值（空值）处理· 识别异常值和重复值 Pandas：isnull()/duplic...
2019-08-28 13:41:00
404
转载 第4章 探索性数据分析（多因子与复合分析）
4.1、多因子4.1.1 假设检验与方差检验 假设检验适用于（数据样本较小时） 方差检验适用于（数据样本较大时）import numpy as npimport scipy.stats as ss#生成一20个数的标准正态分布norm_dist = ss.norm.rvs(size=20)#检测norm_dist是否是正态分布，使用的方法是基于峰度...
2019-08-27 23:02:00
1132
转载 第3章 探索性数据分析（单因子&对比）与可视化
1、理论铺垫 Dataframe和Series均适用 ~集中趋势：均值mean()、中位数median()、与分位数quantile(q=0.25)、众数mode() ~离中趋势：标准差std()、方差var() 数据分布：偏态skew()与峰态kurt()、正态分布与三大分布正偏态（mean>median） import scipy.stats a...
2019-08-27 20:49:00
379
转载 第2章 数据存储
数据学习网站：Kaggle 、天池、各个领域的统计数据（国家统计局……）https://www.jianshu.com/p/0fa4f84d48ee世界卫生组织 ：https://www.who.int/research/en/ Healthdata.gov网站www.healthdata.govGoogleBooksNgrams项目:(...
2019-08-27 20:41:00
179
转载 第1章 数据获取手段
a) 数据仓库（DW） 数据库 VS 仓库 数据库面向业务存储，仓库面向主题存储 数据库针对应用（OLTP），仓库针对分析（OLAP） 数据库组织规范，仓库可能有冗余，相对变化大，数据量大b) 检测与抓取c) 填写、埋点、日志d) 计算转载于:https://www.cnblogs.com/Cheryol/p/114...
2019-08-27 20:40:00
187
转载 11-21 logging 模块
默认情况下Python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG），默认的日志格式为日志级别：Logger名称：用户输出消息。函数式简单配置import lo...
2018-11-21 15:51:00
95
转载 11-19 configparser模块
该模块适用于配置文件的格式与windows ini文件类似，可以包含一个或多个节（section），每个节可以有多个参数（键=值）。创建文件import configparserconfig = configparser.ConfigParser()config["DEFAULT"] = {'ServerAliveInterval': '45', ...
2018-11-19 12:59:00
126
转载 11-19 hashlib模块
Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等。什么是摘要算法呢？ 摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。摘要算法就是通过摘要函数f()对任意长度的数据data计算出固定长度的摘要digest，目的是为了发现原始数据是否被人篡改过。摘要算法之所以能指出数据是否被...
2018-11-19 11:22:00
126
转载 11-18 异常处理
使用try和except可以处理异常 try是需要处理的代码 except后跟一个错误类型，当代吗发生错误且错误类型符合时，就会执行except中的代码 except支持多分支 有没有所有一个可以处理类型的类型（万能异常 Exception） 1.虽然有了万能异常，任然需要将能预测到的问题单独处理 2.单独处理的所有机智都应该卸载万能异...
2018-11-18 21:03:00
152
转载 11-15 pandas
Python数据分析常用库NumPy 数值计算Scipy 科学计算Matplotlib 可视化Pandas 数据分析Scikit-learn 机器学习转载于:https://www.cnblogs.com/Cheryol/p/9966000.html...
2018-11-15 20:50:00
123
转载 11-14序列化模块
序列化的目的1、以某种存储形式使自定义对象持久化；2、将对象从一个地方传递到另一个地方。3、使程序更具维护性。序列化--转向一个字符串数据类型序列--及时字符串何处用到： 数据存储 网络上传输的时候从数据类型到字符串的过程，叫做序列化从字符串到数据类型的过程，叫做反序列化分类 json ***** pickle **** shelve ***特点...
2018-11-14 20:41:00
114
转载 11-13 模块_collections(不太重要)&time&random&os
random：随机数模块os：和操作系统打交道的模块sys：和Python解释器打交道的模块序列化模块：Python中的数据类型和str转换的模块http://www.cnblogs.com/Eva-J/articles/7228075.html#_label15time模块random模块import randomprint(rando...
2018-11-13 21:44:00
109
转载 11-5&6 Python常用标准库
库：具有相关功能模块的集合import sys.builtin_module_names #返回内建模块的名字modules 查看所有可用模块的名字1.1.1获取当前日期和时间from datetime import datetimenow = datetime.now()now1 = datetime.today()print(now) #2018-11-...
2018-11-05 17:19:00
220
转载 11-5 章鱼-模块
模块是一个包含所有定义函数和变量的文件，后缀名是.py---在Python中，模块也是对象（有属性，有方法）pip是管理模块的重要工具，可以安装扩展模块import syssys.builtin_module_names #查看内建模块sys.module.items() #显示偶预加载模块的相关信息__name__属性if __name__ == '__m...
2018-11-05 16:28:00
125
转载 10-30 章鱼大数据学习
.pyw:python源文件，常用语图形界面程序文件.pyc：Python字节码文件转载于:https://www.cnblogs.com/Cheryol/p/9879089.html
2018-10-30 19:50:00
352
转载 10-29 继承-单继承
继承是一种创建新类的方式，在python中，新建的类可以继承一个或多个父类，父类又可称为基类或超类，新建的类称为派生类或子类一个类可以被多个类继承一个类可以继承多个父类---仅限于python中注：在Python 3中，所有的类都有父类，若是没有继承父类，默认都是继承objectclass A:#父类、基类、超类（必须放在子类之前） passclass A(...
2018-10-29 14:32:00
141
转载 10-12 面向对象初级
#面向对象引入的例子def Person(name,blood,aggr,sex): person = { 'name':name, 'blood':blood, 'aggr':aggr, 'sex':sex } def attack(dog): # 人打狗 ...
2018-10-12 15:23:00
114
转载 10-10 正则
1.http://tool.chinaz.com/regex/ ----正则表达式检测网站先规则后街量词例：[a-z]\d+2.re模块转载于:https://www.cnblogs.com/Cheryol/p/9765640.html
2018-10-10 12:06:00
125
转载 10-10 递归
递归函数 了解什么是递归---在函数中调用自身函数 最大默认深度是997/998， 能看懂递归 能知道递归的应用场景 初始递归 算法---二分查找算法 三级菜单---递归实现import syssys.setrecursionlimit(100000)#可以改变递归的次数n = 0def story(): g...
2018-10-10 10:53:00
139
转载 10-9 匿名函数
def add(x,y): return x+y#对应的匿名函数# add = lambda x,y:x+yprint(add(89,23)) #112 面试题1现有两元组(('a'),('b')),(('c'),('d')),请使用python中匿名函数生成列表[{'a':'c'},{'b':'d'}]看到匿名函数---->想到内...
2018-10-09 16:17:00
112
转载 10-9 重要的内置函数（zip、filter、map、sorted）
reverse----reversedl = [1,2,3,4,5,6]l.reverse() #不会保留原列表print(l)l =[1,2,3,4,5,6]l2 = reversed(l) #保留原列表，返回一个反向的迭代器print(l2) #结果：<list_reverseiterator object at 0x00497350&...
2018-10-09 09:04:00
158
转载 10-8 内置函数
dir 查看一个变量拥有的方法print(dir([]))print(dir((1)))某个方法属于某个数据类型的变量，就用.调用如果某个方法不依赖任何数据类型，就直接调用 ----内置函数和自定义函数对print()的说明def print(self, *args, sep=' ', end='\n', file=None): # known special cas...
2018-10-08 11:50:00
82
转载 10-8 生成器的表达式、各种推导式
egg_list = []for i in range(6): #列表推导式 egg_list.append('鸡蛋%s'%i)print(egg_list) #结果：['鸡蛋0', '鸡蛋1', '鸡蛋2', '鸡蛋3', '鸡蛋4', '鸡蛋5']egg_list = ['鸡蛋%s'%i for i in range(5)] #列表推导式...
2018-10-08 08:53:00
124
转载 10-5 生成器进阶内容以及例子
send获取下一个值的效果和next基本一致只是在获取下一个值得，给上一个值的位置传递一个数据使用send的注意事项 1.第一次使用生成器的时候，用next获取下一个值 2.最后一个yield不能接受外部的值（若实在有需要，可以用最后一个yield接胡搜外部的值，然后在最后写上一句yield，即返回一个空）def generator(): print(123...
2018-10-05 22:16:00
102
转载 10-5 迭代器
迭代器协议----->内部含有__next__和__iter__方法的就是迭代器只要是能被for循环的数据类型，就一定拥有__iter__方法,只要含有__iter__方法都是可迭代的只要是迭代器，一定可迭代可迭代的.__iter__()方法就可以得到一个迭代器迭代器中的__next__()方法可以一个一个的获取值for循环其实就是在使用迭代器只有是可迭代对象时，才能用for当遇到...
2018-10-05 19:24:00
93
转载 10-5装饰器进阶_带参数的装饰器、多个装饰器装饰同一个函数
带参数的装饰器只用在装饰器最外层嵌套一个即可，以达到轻易控制装饰器函数是否执行的作用import timeflag = Falsedef timmer_outer(flag): def timmer(func): def innner(*args,**kwargs): if flag: ...
2018-10-05 16:18:00
126
转载 10-4 生成器
生成器的本质就是迭代器生成器函数 只要含有yeild关键字的函数都是生成器函数，且与return不能共用，且需要写在函数内部 每次调用函数之后函数不执行，返回一个生成器 每次调用next方法就会取到一个值 直到取完最后一个，在执行next将会报错生成器函数的表现形式 生成器---自己写的函数 生成器表达式从生成器取值的几个方法： 1.n...
2018-10-04 16:45:00
113
转载 10-3 函数装饰器
装饰器形成的过程 最简单的装饰器----有返回值的----有一个参数----万能参数装饰器的作用：不想修改函数的调用方式，但是还想再原来的函数前后添加功能#原则：开放封闭原则 开放： 对扩展是开放的 封闭： 对修改是封闭的语法糖：@装饰器函数名，@timmer等价于func = timmer(func)，其中func()是被装饰函数，timmer()就是装饰器函数最...
2018-10-03 18:58:00
97
转载 10-2 函数可作为容器、返回值等以及闭包
函数可以作为容器类型的元素、函数名可以赋值def func(): print(111) # func() #函数名就是内存地址func2 = func #函数名赋值func2() #结果：111l=[func,func2] #函数可以作为容器类型的元素（列表、元组、字典都是容易类型）print(l) #两地址完全一样，结果：[...
2018-10-02 10:22:00
172
转载 9-29 函数嵌套及作用域链
特别注意local()域nonloca()，看代码注释部分nonlocal只能用于局部变量，找上层离当前函数最近一层的局部变量#声明了nonlocal的内部函数的变量修改会影响到离当前函数最近一层的局部变量a=11def outer(): a = 1 def inner(): print(a) print('inne...
2018-09-29 22:12:00
87
转载 9-29 函数进阶_命名空间和作用域
命名空间内置命名空间 python解释器一启动就可以使用的名字存储在内置命名空间 内置的名字在启动解释器的时候被加载在内存里全局命名空间 是在程序从上到下被执行的过程中依次加载进内存的 放置了我们设置的所有变量名和函数名局部命名空间 就是函数内部定义的名字 当调用函数的时候才会产生这个名称空间，随着函数执行的结束，这个命名空间就结束了在正常情况...
2018-09-29 20:38:00
129
转载 9-28 函数
动态参数可以接受任意多个参数,在参数名前面加*，习惯参数名用args位置顺序：位置参数，*args，默认参数，**kwargsdef s(*args): s=0 for i in args: s+=i return s#此时将参数整体当成一个元组print(s(1,2,3))#结果6def func(*args,...
2018-09-28 14:57:00
118
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人