Python笔记
文章平均质量分 72
自然color
这个作者很懒,什么都没留下…
展开
-
梯度(常见函数梯度推导,单层多层感知机梯度推导)
梯度:各个变量的偏导组成的向量。原创 2022-08-25 19:55:56 · 776 阅读 · 1 评论 -
tensorflow 神经网络与全连接层(数据集加载,全连接层,输出方式激活函数,计算误差)
假设 60k 张图片作为训练集 x.shape(60000,28,28) y.shape(60000,)tf.losses.MSE()返回一个tensor 每个instance的MSE 需要再进一步求一个均值。可以用交叉熵 代表loss,对于one-hot编码的情况,当预测值与真实值相同时,H=0。下图最后一个公式q1代表的是 预测这张图片是真实结果对应位置的概率(下图p1)一般把不加激活函数的值叫logits,交叉熵用的也softmax。#此时y存的不是one-hot编码 而是0-9标签。...原创 2022-08-13 23:20:45 · 1109 阅读 · 0 评论 -
tensorflow 高阶操作1(合并分割、数据统计、张量排序、填充复制、张量限幅、坐标操作)
tf.norm(b,ord=2,axis=1) 对b 求2范数 沿1轴方向(列)对每一行求。tf.clip_by_global_norm 所有维度放缩,不改变梯度方向。高维 ,轴,默认指在最后一个维度上排序,'DESCENDING'默认指降序。指定 拼接轴(从左到右 分别是 0,1,2....轴) 合并不会增加维度。会产生一个新的维度,axis=n 增加后,增加的该维度是n轴。指定轴进行拆分,完全打散,指定的拆分轴的维度是8 则拆成8个。TRUE的位置 从A中选,False的位置从B中选。...原创 2022-08-11 18:46:50 · 578 阅读 · 0 评论 -
tensorflow 基础操作1(tensor 基本属性 , 维度变换,数学运算)
isinstance(a,tf.tensor)不推荐 or tf.is_tensor(a) 判断数据类型是不是tensor。tf.convert_to_tensor(np.ones([2,3])) # 默认float64 [2,3]被视为data。截断正态分布 tf.random.truncated_normal([2,2],mean=1,stddev=1)tf.convert_to_tensor(np.zeros([2,3])) # 默认float64。...原创 2022-08-09 16:47:05 · 1296 阅读 · 0 评论 -
sklearn 算法基础(逻辑回归,k-means)
2、对于其他每个点计算到K个中心的距离,未知的点选择最近的一个聚类中心点作为标记类别。4、如果计算得出的新中心点与原中心点一样,那么结束,否则重新进行第二步过程。3、接着对着标记的聚类中心之后,重新计算出每个聚类的新中心点(平均值)1、随机设置K个特征空间内的点作为初始的聚类中心。轮廓系数的值是介于[-1,1],越趋近于。哪一个类别少将这个类别作为判定概率值。的平均距离大于最近的其他簇。的平均距离小于最近的其他簇。逻辑回归线性回归式子作为输入针对。代表内聚度和分离度都相对较优。...原创 2022-07-27 13:11:14 · 217 阅读 · 0 评论 -
sklearn 机器学习基础(线性回归、欠拟合、过拟合、岭回归、模型加载保存)
另外,能让估计参数的波动范围变小,变的更稳定。在存在病态数据偏多的研究中有较大的实用价值。优化和迭代的过程就是求最合适的权重的过程。模型过于复杂是因为模型尝试去兼顾各个测试数据点。L2正则化(了解)减小高次项的权重。1.3最小二乘法之梯度下降(通用)进行特征选择,消除关联性大的特征(正则化力度越大,权重值越小趋近于0。矩阵的乘法满足线性回归运算需求。原始特征过多,存在一些嘈杂特征,回归系数更符合实际,更可靠。学习到数据的特征过少,让所有数据都有过训练。#保存训练好的模型。...原创 2022-07-25 21:29:27 · 592 阅读 · 0 评论 -
sklearn API算法基础(决策树、随机森林)
信息增益基尼系数(划分更仔细)ID3信息增益最大的准则C4.5信息增益比最大的准则CART回归树平方误差最小分类树基尼系数最小的准则在sklearn中可以选择划分的原则1.1.sklearn决策树API。原创 2022-07-19 19:36:43 · 829 阅读 · 0 评论 -
sklearn 算法基础(朴素贝叶斯API,分类模型评估 )
sklearn朴素贝叶斯实现API)alpha拉普拉斯平滑系数1.3案例分析20类新闻分类。原创 2022-07-18 23:09:42 · 383 阅读 · 0 评论 -
sklearn k-近邻 算法
int,可选(默认=5),查询默认使用的邻居数algorithm{‘auto’,,‘kd_tree’,‘brute’},可选用于计算最近邻居的算法将会使用BallTree,‘kd_tree’将使用KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。(不同实现方式影响效率).........原创 2022-07-18 19:08:16 · 626 阅读 · 0 评论 -
机器学习算法基础2(数据降维、算法分类、sklearn数据集获取、转换器与估计器)
目录1.特征选择 特征选择主要方法:1.1过滤式 1.2主成份分析 1.3 案例分析特征选择原因主要方法(三大武器):Filter(过滤式):VarianceThreshold Embedded(嵌入式):正则化、决策树 Wrapper(包裹式)过滤掉低方差特征sklearn.feature_selection.VarianceThreshold第1列第4列被删除(threshlod=0.0)删除方差为0的列 PCA:特征数量达到上原创 2022-07-13 10:05:20 · 328 阅读 · 0 评论 -
机器学习算法基础1(数据集,特征抽取,归一化,标准化,缺失值处理)
目录1.数据集的组成1.1可用数据集1.2常用数据集结构组成2.特征工程2.1特征抽取2.1.1sklearn 特征抽取API2.1.2文本特征抽取中文问题 2.2 文本特征常用方法tf-idf分析问题(NLP不用这个用更新的方法)3特征预处理3.1 标准缩放归一化3.1.1sklearn归一化API: 3.1.2归一化案例 3.2 标准缩放 标准化(使用较多) 3.2.1.sklearn特征化API:3.3 标准缩放 缺失值处理 机器学习的数据:文件csvpandas:读取工具numpy:释放了GIL 实原创 2022-07-12 14:14:19 · 474 阅读 · 0 评论 -
use_pandas
use_pandas原创 2022-07-04 21:19:31 · 184 阅读 · 0 评论 -
numpy部分基础
numpy基础原创 2022-06-28 19:38:17 · 260 阅读 · 0 评论 -
matplotlib基础
matplotlib基础原创 2022-06-26 13:10:10 · 127 阅读 · 0 评论 -
Python基础10 文件操作(IO技术)
目录with上下文管理读取文本文件的例子enumerate函数二级制文件的读取和写入 图片拷贝文件对象方法和属性 f.seek()用法使用pickle序列化CSV文件操作os 和 os.path 模块os.system 调用 windows系统记事本程序os.startfile() 调用exe程序os模块文件和目录模块os.pathwalk()递归遍历所有文件和目录shutil模块 拷贝递归算法打印目录树enumerate函数将文本文件每一行 后面加上行号二级制文件的读取和写入加一个符号原创 2022-06-22 16:57:54 · 337 阅读 · 0 评论 -
Python基础9 模块导入 模块管理发布相关
目录模块导入import 语句导入包的使用导入包import * sys.path和模块搜索路径模块的本地发布import 加载模块四个通用类别1. .py文件2. 已被编译为共享库或DLL的C或C++扩展3.包好一组模块的包4.使用C编写并连接到python解释器的内置模块一个模块无论导入多少次,这个模块在整个解释器进程内有且仅有一个实例对象from .....import.....导入模块中的一个函数/一个类from math import * 导入math下面所有的类本质是文件夹,但必须包含__ini原创 2022-06-20 19:28:40 · 48 阅读 · 0 评论 -
Python基础8 异常(exception)相关知识
目录异常机制try ...一个 except 结构try ...多个 except 结构try...except....else结构try...except...finally结构常见异常解决常见异常汇总with 上下文管理 __traceback模块自定义异常类1.如果没有良好的异常机制,需要开发者花费大量精力2.异常机制用来解决可能会出现异常的代码3.异常指程序运行 过程中出现的非正常现象4.异常处理 指 程序出现异常问题依然可以正确执行剩余程序,不会因为异常而终止程序执行5. python 中 异常原创 2022-06-18 21:50:31 · 4987 阅读 · 0 评论 -
Python 基础7 方法 属性 继承 多态 设计模式
目录方法没有重载方法的动态性私有属性私有方法(实现封装)@property装饰器面向对象三大特征 封装 继承 多态继承方法的重写object根类()重写 __str__()方法 多重继承super()获得父类的定义,不是父类的对象 多态特殊方法和运算符重载运算符重载特殊属性对象的浅拷贝和深拷贝组合设计模式工厂模式设计模式单例模式实现如果定义多个方法是重名的,只有最后一个有效,前面的全部被覆盖python是动态语言问题:如何给play_game()函数传参?私有属性私有方法(实现封装)1.两个原创 2022-06-18 14:29:43 · 116 阅读 · 0 评论 -
Python基础6 面向对象 嵌套函数 类相关
目录嵌套(内部)函数nonlocal关键字LEGB规则面向对象编程(object oriented)面向过程思维(procedure oriented)类的定义构造函数__init__()实例属性实例方法 dir(s1) 可以获得所有属性、方法print(s2.__dict__) 获得我们定义的属性print(isinstance(s1,Student)) 判断是不是这个类的对象类属性 类方法 静态方法__del__方法(析构函数)和垃圾回收机制__call__方法和可调用对象在函数内部定义的函数,只服原创 2022-06-17 20:41:07 · 300 阅读 · 0 评论 -
Python基础5 函数基本概念
目录函数分类函数的定义和调用形参与实参文档字符串(函数的注释)函数返回值函数也是对象变量的作用域(全局变量与局部变量)全局变量:局部变量:print(locals()) 输出局部变量print(globals()) 输出全局变量参数的传递传递可变对象的引用传递可变对象的引用浅拷贝copy()和深拷贝deepcopy()传递不可变对象如果发生拷贝 是浅拷贝参数的几种类型位置参数默认值参数命名参数可变参数强制命名参数lambda 表达式和匿名函数eval()函数递归函数阶乘计算案例1.内置函数2.标准库函数3原创 2022-06-17 15:02:36 · 89 阅读 · 0 评论 -
Python基础4 循环相关知识、推导式
目录for循环与可迭代对象遍历可迭代对象range对象嵌套循环九九乘法表打印表格数据break语句continue语句循环里面的else循环代码优化(非常重要!)zip()并行迭代推导式创建序列列表推导式字典推导式集合推导式生成器推导式(生成元组)1.序列:字符串、列表、元组2.字典3.迭代器对象(iterator)4.生成器对象(generator)5.文件对象range对象range(start,end,step)九九乘法表打印表格数据break语句循环结束原创 2022-06-17 11:30:32 · 236 阅读 · 0 评论 -
Python基础3
字典 无序 按键值对 成对存储键 是任意的不可变数据且不能重复d={}e=dict()2.通过zip()创建字典对象3.通过fromkeys创建值为空的字典字典元素的访问1.通过 键 获得值a['name']a.get('name','不存在')优点:指定的键如果不存在,返回None而不是异常,也可以指定键不存在时默认返回的对象‘不存在’a={'name':'gao','age':18,'job':'programmer'}a['address']='西三旗'a.updat原创 2022-06-16 20:20:48 · 140 阅读 · 0 评论 -
Python基础2
格式化字符串–format-拜师资源博客http://blog.17baishi.com/1403/原地修改字符串可以使用 io.StringIO对象 或 array模块运行结果 id(a)与id(aio) 是不一样的hello, sxxxt1501297619376hello, sxxxthelln, sxxxt1501297619376hello, sxxxt1501297166224 1...原创 2022-06-16 14:48:34 · 160 阅读 · 0 评论 -
Python基础1
目录链式赋值系列解包赋值常量基本内置数据类型运算整数int()实现类型转换自动转型浮点数float()实现类型转换round(value)四舍五入操作增强型赋值运算符时间的表示x=y=123 相当于 x=123;y=123a,b,c=4,5,6 可以用于值的互换常量Python的常量是可以改的,只能在逻辑上不对常量作出修改1.整型 :整数2.浮点型: 小数3.14和1.23e23.布尔型 :True,False4.字符串:"string"divmod() 同时得到商和余数,以元组的形式存储......原创 2022-06-15 14:29:36 · 96 阅读 · 0 评论