python学习笔记（2）

已于 2022-06-03 14:47:27 修改
阅读量1.4k 收藏 4
点赞数 1
分类专栏： python 文章标签： python 学习 开发语言
于 2022-05-02 22:46:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45647721/article/details/124548139
版权

函数使用（部分介绍）：

  1. randn函数：返回一个或一组样本，具有标准正态分布。参数为每个维度的大小

  2. ip 函数：用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。

    1. 如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同，利用 * 号操作符，可以将元组解压为列表。

  3. np.dot：矩阵乘法

  4. range：的返回值就是一个list，在你调用range的时候，Python会产生所有的元素。而xrange是一个特别设计的可迭代对象，它在建立的时候仅仅保存终止值。

  5. fit（）函数：求得训练集X的均值，方差，最大值，最小值这些训练集X固有的属性。可以理解为一个训练过程

  6. transform(): 在fit的基础上，进行标准化，降维，归一化等操作（看具体用的是哪个工具，如PCA，StandardScaler等）

  7. fit_transform(): 是fit和transform的组合，既包括了训练又包含了转换。

  8. with open（路径,'r',encoding=''）as f:打开路径指定文件

  9. tf_dic.get(w,0)：get函数的用法是在字典中找到对应的key对应的值，如果不存在，则设置为0

  10. sorted函数的参数：要排序的序列，进行排序的依据，reverse为false时是升序排序，为true时表示是降序排序

  11. #lambda：匿名函数，语法：参数：函数体

  12. os.path.dirname（）#去掉文件名，返回目录 

  13. os.path.abspath:获取当前脚本的完整路径

  14. os.path.exists():#判断括号里的文件是否存在的意思，括号内的可以是文件路径。

  15. urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)

    1. 将URL表示的网络对象复制到本地文件。如果URL指向本地文件，则对象将不会被复制，除非提供文件名。返回一个元组()(filename，header)，

      1. 其中filename是可以找到对象的本地文件名，header是urlopen()返回的对象的info()方法(用于远程对象)。

      2. 第二个参数(如果存在)指定要复制到的文件位置(如果没有，该位置将是一个生成名称的tempfile)。第三个参数，如果存在，则是一个回调函数，它将在建立网络连接时调用一次，并且在此后每个块读取后调用一次。这个回调函数将传递三个参数;到目前为止传输的块计数，以字节为单位的块大小，以及文件的总大小。

      3. 第三个参数可能是-1，在旧的FTP服务器上，它不返回文件大小以响应检索请求。

  16. with gzip.open(file_path, 'rb') as f:
    1. 压缩文件打开后，拥有普通文件对象一样的方法，如read、readline、readlines、write、writelines等
    2. 读取内容，可以获得解压缩后的数据
    3. 写入内容，能够完成对数据的压缩
  17.  np.frombuffer：用于实现动态数组。接受 buffer 输入参数，以流的形式读入转化成 ndarray(ndarray对象是用于存放同类型元素的多维数组) 对象。
  18. pickle.dump(dataset, f, -1)#将 Python 中的对象序列化成二进制对象，并写入文件；
  19. pickle.load(f)#读取指定的序列化数据文件，并返回对象。
  20. enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。
  21. astype()方法强制转换数据的类型
  22. f.readline() #用于读取文件中的一行，包含最后的换行符“\n”
  23. string.punctuation:找出字符串中的所有的标点
  24. re.escape: 可以对字符串中所有可能被解释为正则运算符的字符进行转义的应用函数。如果字符串很长且包含很多特殊技字符，而你又不想输入一大堆反斜杠，或者字符串来自于用户(比如通过raw_input函数获取输入的内容)，且要用作正则表达式的一部分的时候，可以使用这个函数。
  25. str.format()：基本语法是通过 {} 和 : 来代替以前的 % 。format 函数可以接受不限个参数，位置可以不按顺序。
  26. re.compile()是用来优化正则的，它将正则表达式转化为对象
  27. pattern.sub:会逐个找出text（string）中与field_pat（pattern）中匹配的字符串并将其替换成replacement（repl）返回的字符串。
  28. filter() 函数用于过滤序列，过滤掉不符合条件的元素，返回由符合条件元素组成的新列表
    1. 该接收两个参数，第一个为函数，第二个为序列，序列的每个元素作为参数传递给函数进行判断，然后返回 True 或 False，最后将返回 True 的元素放到新列表中。
  29. ' '.join(）：将括号中的容器（可以是字符串，列表，元组等）中的元素拆分以‘ ’中的的符号分割，并返回一个字符串
  30. startswith():#用于检查字符串是否是以指定子字符串开头，如果是则返回 True，否则返回 False。如果参数 beg 和 end 指定值，则在指定范围内检查。
  31. set() 函数创建一个无序不重复元素集，可进行关系测试，删除重复数据，还可以计算交集、差集、并集等。
  32. items() 函数以列表返回可遍历的(键, 值) 元组数组。
  33. keys() 方法以列表形式（并非直接的列表，若要返回列表值还需调用list函数）返回字典中的所有的键。
  34. sign()是Python的Numpy中的取数字符号（数字前的正负号）的函数。
  35. cmp_to_key:将比较函数（comparison function）转化为关键字函数
  36. reverse()方法没有返回值，但是会对列表的元素进行反向排序。
  37. pickle.load(f)#读取指定的序列化数据文件，并返回对象。
  38. pickle.dump(self.A_dic,f)：将 Python 中的对象序列化成二进制对象，并写入文件；
  39. line.strip()：用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。
  40. if not line:判断line是否为null
  41. extend(list)#
    1. 将分割出来的每一个部分进行标记
    2. 用于在列表末尾一次性追加另一个序列中的多个值（用新列表扩展原来的列表）
  42. find() 方法检测字符串中是否包含子字符串 str ，如果指定 beg（开始） 和 end（结束） 范围，则检查是否包含在指定范围内，如果包含子字符串返回开始的索引值，否则返回-1
  43. os.path.join()函数：连接两个或更多的路径名组件
    1. 如果各组件名首字母不包含’/’，则函数会自动加上
    2. 如果有一个组件是一个绝对路径，则在它之前的所有组件均会被舍弃
    3. 如果最后一个组件为空，则生成的路径以一个’/’分隔符结尾
  44. write()可以向文件中写入指定内容。
  45. TfidfTransformer()：
    1. 输入：词频TF
    2. 输出：词频逆反文档频率TF-IDF（即词频TF与逆反文档频率IDF的乘积，IDF的标准计算公式为 ：idf=log[n/(1+df)]，其中n为文档总数，df为含有所计算单词的文档数量，df越小，idf值越大，也就是说出现频率越小的单词意义越大）
  46. train_test_split，所在包：sklearn.model_selection，功能：划分数据的训练集与测试集
        #参数：特征数据和标签数据，测试集/训练集的大小，随机种子（一个整数），其实就是一个划分标记，对于同一个数据集，如果- rondom_state相同，则划分结果也相同。
  47. jieba.cut生成的是一个生成器，generator，也就是可以通过for循环来取里面的每一个词
        jieba.lcut 直接生成的就是一个list
  48. split函数：
    1. 当不给split函数传递任何参数时，分隔符sep会采用任意形式的空白字符：空格、tab、换行、回车以及formfeed。
    2. maxsplit参数表明要分割得到的list长度。
  49. os.makedirs:创建文件夹
  50. urllib.request.urlopen（url）:urlopen 返回一个类文件对象
  51. sys.stdout.flush():刷新缓存
  52. requests.Session()：一个请求会话，提供cookie持久性、连接池和配置。
  53. response = session.get(URL, params=params, stream=True)：向网站发起请求，并获取响应对象
  54. zipfile.ZipFile：用于读写 ZIP 文件的类。
  55.  zipfile.ZipFile.extractall（path）：将存档中的所有成员提取到当前工作目录。“path”指定要提取到的不同目录。“成员”是可选的，必须是namelist（）返回的列表的子集（返回按名称排序的归档成员列表）。
  56. subprocess.call()则可以调用windows系统cmd命令行执行额外的命令。
  57. glob.glob()函数将会匹配给定路径下的所有pattern，并以列表形式返回。
  58.  hasattr() 函数用于判断对象是否包含对应的属性。
  59.  np.tile：把数组沿各个方向复制
  60.  注意设置关键字参数需要明确设置，否则默认是覆盖第一个参数！！
Wsyoneself
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python中的fit_transform()函数和transform()函数
qq_36445318的博客
12-15 5556
# 标准化数据，保证每个维度的特征数据方差为1，均值为0，使得预测结果不会被某些维度过大的特征值而主导 1、fit_transform()函数 即fit_transform()的作用就是先拟合数据，然后转化它将其转化为标准形式 2、transform()函数 即tranform()的作用是通过找中心和缩放等实现标准化 到了这里，我们似乎知道了两者的一些差别，就像名字上的不同，前者多了一个...
最新Python学习笔记2
07-07
最新Python学习笔记，Day 2，总结性学习笔记，适合初学者归纳总结。
Python: sklearn库中数据预处理函数fit_transform()和transform()的区别
热门推荐
小太阳~
05-19 10万+
敲《Python机器学习及实践》上的code的时候，对于数据预处理中涉及到的fit_transform()函数和transform()函数之间的区别很模糊，查阅了很多资料，这里整理一下：涉及到这两个函数的代码如下：# 从sklearn.preprocessing导入StandardScaler from sklearn.preprocessing import StandardScaler # 标...
【Python之fit_transform,fit,transform区别和作用详解】
liujingwei8610的专栏
06-24 2728
fit和transform没有任何关系，仅仅是数据处理的两个不同环节，之所以出来fit_transform这个函数名，仅仅是为了写代码方便，会高效一点。 sklearn里的封装好的各种算法使用前都要fit，fit相对于整个代码而言，为后续API服务。fit之后，然后调用各种API方法，transform只是其中一个API方法，所以当你调用transform之外的方法，也必须要先fit。 fit原义指的是安装、使适合的意思，其实有点train的含义，但是和train不同的是，它并不是...
【NumPy】深入解析numpy.frombuffer()函数
最新发布
2402_83361138的博客
04-19 1306
如果您在机器学习、NLP项目中遇到难题，或者对某个算法和模型有疑问，欢迎随时联系我，我会尽我所能为您提供帮助，个人微信(xf982831907),添加说明来意。我坚信知识的力量，希望通过我的分享，能够帮助更多的人掌握这些技术，并在实际项目中发挥作用。通过不断学习和实践，我们可以更好地利用这个函数来处理和分析各种来源的二进制数据，为数据驱动的应用提供有力支持。相关的功能和性能改进。同时，我们也需要关注其他数据处理库和框架的发展动态，以便在实际应用中选择最适合的工具和方法来处理和分析数据。
python_主成分分析(PCA)降维
huizxhhui1994的博客
01-22 2万+
主成分分析（principal component analysis）是一种常见的数据降维方法，其目的是在“信息”损失较小的前提下，将高维的数据转换到低维，从而减小计算量。 　　PCA的本质就是找一些投影方向，使得数据在这些投影方向上的方差最大，而且这些投影方向是相互正交的。这其实就是找新的正交基的过程，计算原始数据在这些正交基上投影的方差，方差越大，就说明在对应正交基上包含了更多的信息量。
【python】数据预处理函数fit_transform
dhy012345的博客
05-15 2911
@TOC https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.LabelEncoder.html#sklearn.preprocessing.LabelEncoder.fit_transform fit() ：用于从训练数据生成学习模型参数 transform()：从fit()方法生成的参数，应用于模型以...
python sklearn 如何使用 fit，transform
林源的博客
11-09 4872
fit 直接上例子 首先建立一个使用了我们提供的参数的黑箱分类器。参数是随意选的。 from sklearn import svm clf = svm.SVC(gamma=0.001, C=100.) clf是第一个分类器。也就意味着，它是从使用了我们提供的训练集的模型里面学习的。对我们传入的数据集，除了最后一个，别的都是训练集。最后一个用来当测试集。 from sklearn import datasets iris = datasets.load_iris() digits = dataset
皮大庆Python学习笔记
04-16
Python基础入门教程，适合Python初学者，文档内容包括， 目录 前言 i 第一章 程序 1 1.1 程序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 什么是调试 . . . . . . . . . . . . . . . ....
Python学习笔记2
09-27
非常适合零基础学习Python的同学。
Python学习笔记.docx
12-03
Python 基础知识点总结 Python 是一种高级的、解释型的编程语言，它支持多种编程范式，包括面向对象、命令式、函数式编程等。Python 的设计理念是以简洁、易读、易维护为目标，强调代码的可读性和简洁性。 一、if ...
Python学习笔记资源
06-08
Python 学习笔记，根据作者学习编程的经验和体会整理而成，并录制了相应的系列视频教程：手把手教你学 Python。基于最新的 Python 版本，零基础带你搭建开发环境，从无到有、从易到难、层层递进，逐步走进 Python 的...
python深度学习stadardscalar fit_transform数据处理、contrib使用、Session多种创建、in_top_k、argmax、equal、cas、extend map
yangdeshun888的博客
10-11 1403
1、StadardScalar()与fit_transform()   其StadardScalar是去均值和进行方差归一化，其是对数据的每一个特征维度进行的操作，即对所有最小的元素进行操作，而不是针对一个样本。其要完成这个功能需要配合fit_transform()函数进行。 其实例代码如下： # coding=utf-8 # 统计训练集的 mean 和　std 信息 from sklea...
fit_transform
qq_59370520的博客
06-25 1703
解释：在Fit的基础上，进行标准化，降维，归一化等操作（看具体用的是哪个工具，如PCA，StandardScaler等）。解释：简单来说，就是求得训练集X的均值啊，方差啊，最大值啊，最小值，这些训练集X固有的属性。可以理解为一个训练过程。解释：fit_transform是fit和transform的组合，既包括了训练又包含了转换。的作用就是先拟合数据，然后转化它将其转化为标准形式。合并，一步到位的结果。
Python:sklearn库中，数据预处理函数fit_transform()及transform()的区别
Isana_Yashiro的博客
02-27 2501
本文参考 1.Python: sklearn库中数据预处理函数fit_transform()和transform()的区别 2.scikit-learn数据预处理fit_transform()与transform()的区别 问题背景 看到100-Days-Of_ML_Code中的一段代码，发现scikit-learn中的fit_transform()与transform()，不太清楚其中的区别，在...
图解Python数据标准化+效果比较
ArYe
07-15 1万+
零一标准化 零一标准化 import pandas as pd import matplotlib.pyplot as mp d = {'name': list('ABCD'), 'value': [1002, 1000, 1010, 1001]} df = pd.DataFrame(d) # 0-1标准化 value_01 = ( (df['value'] - d...
机器学习 —— Sklearn包中StandardScaler()、transform(）、fit()的详细介绍
杨老师的小跟班(*∩_∩*)
07-18 7382
机器学习 —— Sklearn包中StandardScaler()、transform(）、fit()的详细介绍。数据标准化
import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from keras.models import Sequential from keras.layers import Dense from pyswarm import pso import matplotlib.pyplot as plt from sklearn.preprocessing import StandardScaler from sklearn.metrics import mean_absolute_error from sklearn.metrics import mean_squared_error from sklearn.metrics import r2_score file = "zhong.xlsx" data = pd.read_excel(file) #reading file X=np.array(data.loc[:,'种植密度':'有效积温']) y=np.array(data.loc[:,'产量']) y.shape=(185,1) # 将数据集分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X,y, test_size=0.25, random_state=10) SC=StandardScaler() X_train=SC.fit_transform(X_train) X_test=SC.fit_transform(X_test) y_train=SC.fit_transform(y_train) y_test=SC.fit_transform(y_test) print("X_train.shape:", X_train.shape) print("X_test.shape:", X_test.shape) print("y_train.shape:", y_train.shape) print("y_test.shape:", y_test.shape) # 定义BP神经网络模型 def nn_model(X): model = Sequential() model.add(Dense(8, input_dim=X_train.shape[1], activation='relu')) model.add(Dense(12, activation='relu')) model.add(Dense(1)) model.compile(loss='mean_squared_error', optimizer='adam') return model # 定义适应度函数 def fitness_func(X): model = nn_model(X) model.fit(X_train, y_train, epochs=60, verbose=2) score = model.evaluate(X_test, y_test, verbose=2) print(score) # 定义变量的下限和上限 lb = [5, 5] ub = [30, 30] # 利用PySwarm库实现改进的粒子群算法来优化BP神经网络预测模型 result = pso(fitness_func, lb, ub) # 输出最优解和函数值 print('最优解:', result[0]) print('最小函数值:', result[1]) mpl.rcParams["font.family"] = "SimHei" mpl.rcParams["axes.unicode_minus"] = False # 绘制预测值和真实值对比图 model = nn_model(X) model.fit(X_train, y_train, epochs=60, verbose=2) y_pred = model.predict(X_test) y_true = SC.inverse_transform(y_test) y_pred=SC.inverse_transform(y_pred) plt.figure() plt.plot(y_true,"bo-",label = '真实值') plt.plot(y_pred,"ro-", label = '预测值') plt.title('神经网络预测展示') plt.xlabel('序号') plt.ylabel('产量') plt.legend(loc='upper right') plt.show() print("R2 = ",r2_score(y_test, y_pred)) # R2 # 绘制损失函数曲线图 model = nn_model(X) history = model.fit(X_train, y_train, epochs=60, validation_data=(X_test, y_test), verbose=2) plt.plot(history.history['loss'], label='train') plt.plot(history.history['val_loss'], label='test') plt.legend() plt.show() mae = mean_absolute_error(y_test, y_pred) print('MAE: %.3f' % mae) mse = mean_squared_error(y_test, y_pred) print('mse: %.3f' % mse)
06-10
你的代码中存在一些问题。首先，在导入模块时，你应该将每个模块分开导入，而不是在同一行导入。例如，应该将`import numpy as np import pandas as pd`分开成两行导入。其次，在进行数据标准化时，你应该使用同一个`StandardScaler`对象对训练集和测试集进行转换，而不是分别创建两个不同的对象进行转换。应该如下修改： ``` SC=StandardScaler() X_train=SC.fit_transform(X_train) X_test=SC.transform(X_test) y_train=SC.fit_transform(y_train) y_test=SC.transform(y_test) ``` 另外，你在训练模型时，对于`y_train`和`y_test`也进行了标准化，这是不正确的。你应该只对输入变量进行标准化，而不是对输出变量进行标准化。应该修改为： ``` SC=StandardScaler() X_train=SC.fit_transform(X_train) X_test=SC.transform(X_test) ``` 最后，你在定义适应度函数时，应该将`X`作为参数传递给`nn_model`函数，而不是直接使用全局变量`X_train`和`y_train`。应该修改为： ``` def fitness_func(X): model = nn_model(X) model.fit(X_train, y_train, epochs=60, verbose=2) score = model.evaluate(X_test, y_test, verbose=2) print(score) ``` 除了以上问题，你的代码看起来应该能够正常运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值