python培训Day2

最新推荐文章于 2023-02-23 17:40:56 发布
最新推荐文章于 2023-02-23 17:40:56 发布
阅读量728 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43813300/article/details/90676403
版权

python培训Day2

python学习Day2

一、机器学习原理

1.1、 什么是机器学习

是研究和模拟人学习的过程

1.2、机器学习vs.人类学习

在这里插入图片描述

  • 科学
    • 认知科学
    • 形而上
  • 技术
    • 认知计算
    • 形而下
  • 研究对象
    • 智慧（脑智和心智）
    • 大数据

二、数据挖掘

2.1、大数据来源

  • 自然大数据
  • 生命大数据
  • 社交大数据

2.2、数据挖掘vs.机器学习

在这里插入图片描述

2.3、机器学习vs.其他科学

在这里插入图片描述

2.4、什么是大数据

4V理论

  • 海量的数据规模（volume）
  • 快速的数据流动和动态的数据体系（velocity）
  • 多样的数据类型（variety）
  • 巨大的数据价值（value）

2.5、深度学习

  • 机器学习的一个分支，特征学习

2.6（重点）归纳学习的分类

  • 监督学习（Supervised Learning）:是从标记（Label）或者说标注的训练数据（样本）中来进行推断的己去学习任务。如分类、回归。
  • 非监督学习（Unsupervised Learning）:在未标记的数据中，试图找到隐藏的结构。如聚类、密度估计等。
  • 强化学习（Reinforcement Learning):强调如何基于环境而行动，以取得最大化的预期利益。
  • 半监督学习（Semi-supervised Learning）:通过对少量带标记的样本和大量未标记的样本的学习，建立模型用于预测未见样本的标记。

三、机器学习的基本过程

在这里插入图片描述

3.1、例子：天气预报（有监督、二分类问题（是、否））

  • 目标：预测明天北京会不会下雨
  • 数据：过去十年北京每一天的天气数据
  • 是否下雨：是、否
  • 前一天傍晚18点的气温、相对湿度、风向等（特征）
  • 某条数据<18,20,东，15，80，是>
  • 训练：学习得到规律（模型）
  • 预测：给定特征，预测明天是否下雨

3.2、机器学习的关键问题

  • 表示：如何表示数据样本
  • 通常用一个向量表示一个样本，选择特征是关键
  • 训练：如何找出规律【模型+策略+算法】
  • 选择题，给你N各候选的模型让你选【模型】
  • 确定选择的标准【策略】
  • 如何快速选择最好的模型【算法】
  • 测试：如何快速根据找到的规律进行预测
3.2.1、如何表示样本？
  • 向量表示法
  • 图表法
3.2.2、如何找出规律？
  • 模型：线性函数（特征值加权）
  • 策略：最小损失函数（误差平方和）
  • 算法： 梯度下降法
  • 例子：房价预测
    在这里插入图片描述
3.2.3、根据找到的规律进行预测
  • 打分，根据分数作判别
    在这里插入图片描述

四、向量空间模型及文本向量

4.1、课前思考

  • 如何利用向量空间模型进行论文查重？
  • 如何利用向量空间模型进行代码查重？

4.2、向量空间模型

4.2.1、向量
  • 既有大小又有方向
  • 一个特征代表一个维度
  • 向量的运算：加、减、倍数、内积（两两相乘并相加）
  • 欧式距离dist(x向量，y向量)（绝对距离）和夹角余弦（判断向量的相似度）
    在这里插入图片描述
4.2.2、向量空间模型
  • 每篇文章（或每个查询）都可以转化未一个向量，于是文档之间或文档和查询之间的相似度可以通过向量之间的距离来计算
4.2.3、文档-词项矩阵（Doc-Term Matrix）
  • n篇文档，m个词汇构成矩阵Am*n,每列可以看成每篇文档的向量表示，同时，每行也可以看成词项的向量表示。
    在这里插入图片描述
4.2.4、一个例子
  • 查询q：（<2016,1>,<世界杯，2>）
  • 文档d1:（<2016,1>,<世界杯，3>，<德国，1>，<举行，1>）
  • 文档d2:(<2002,1>,<世界杯，2>,<韩国，1>,<日本，1>，<举行，1>)
    在这里插入图片描述
  • 查询和文档进行向量相似度计算：
  • 采用卷积：
  • 文档d1与q的内积：1 * 1+3 * 2=7
  • 文档d2与q的内积：2 * 2=4
  • 夹角余弦：
    在这里插入图片描述

4.3、VSM中三个关键问题

  • 词项的选择：选择什么样的单位作为向量的每一维
  • 权重计算：即计算每篇文档中每个词项的权重，即得到每一微大小
  • 相似度计算：计算向量之间的相似度
4.3.1、词项的选择
  • 文档内容的特征
  • 词项的粒度：可以是字、词、短语、N-gram或者某种语义单元
  • N-gram举例（N=2）：我是中国人——我是 是中 中国 国人
  • 降维：VSM中向量的维数很大时，往往也引进了很多噪音。需要降维。
4.3.2、权重计算
  • 布尔权重：词项i在文档j中的权重aij=0 or 1
  • TF权重：TF（Term Frequency）是词项在文档中出现的次数，表示的是词项是在文档内的代表性。权重aij=TFij(原始TF)或者归一化后的TF值
  • IDF权重：词项的区分度，越普遍越区分度低
4.3.3、相似度计算

在这里插入图片描述

五、特征类型及规范化处理

  • 标称型（nominal）特征：一些符号或事物的名称。每个值代表某种类别、编码或状态。（有限）
  • 二元型（binary）特征：标称型的一种特殊特征，只有两个类别或状态

5.1、特征归一化

  • 归一化（Normalization）:特征值在同一尺度
  • 归一方法：高斯归一法（Gaussian）,最大最小法（Min,Max）
    在这里插入图片描述
# 最大最小法
#打印数据表格
import pandas
# 绘图
import matplotlib.pyplot as plt
import numpy as np
%matplotlib inline
f = open("E:\\d1.csv", mode="r", encoding="utf8")
data=pandas.read_csv(f)
df_no=np.array(data['1'])
plt.hist(df_no)
d_min=data['1'].min()
d_max=data['1'].max()
df=[]
for i in data['1']:
    df_value = (i - d_min) / (d_max - d_min)
    df.append(df_value)

#x为数据，y为频次
plt.hist(df)

f.close()

在这里插入图片描述

郭大侠笔记
关注
专栏目录
Python教学案例 - 三天打渔、两天晒网
海洋饼干叔叔
08-27 4592
郭、王两位大侠同上终南山习武，两人最初的战力值均为100。王大侠骨骼清奇，天赋较高，每练功一天，战力增加2‰，郭大侠比较愚笨，每练功一天，战力增加1‰。如果休假一天不练，两人的战力均减少1‰。相较于王大侠，郭大侠更加勤奋，日日练功，从不休息，而王大侠，则三天打渔，两天晒网，也就是每5天的前三天练功，后两天休假。......
python培训Day1
郭大侠的博客
05-28 966
python学习Day1python学习day1一 列表、元组、字典、集合1.1列表[]1.1.1列表创建1.1.2列表元素添加1.1.3列表元素的删除1.1.4列表元素的插入insert1.1.5列表的索引从0到n-11.1.6列表切片 ...列表名称[起始：结束：步长]...相当于取每隔<步长>位置的元素重组成一个一个列表，包左不包右1.1.7嵌套列表1.2元组（）,不可变的1.3...
TF-IDF的简单理解
摆渡者
03-15 3964
1、TF-IDF简介 TF：Term Frequency 词频，指的是给定一个词在该文档中出现的次数 IDF：Inverse Document Frequency 逆文档频率 可以简单的理解成：一个词语在一篇文章中出现的次数越多，同时在其他的所有文档中出现的次数越少，越能够代表该文章2、TF IDF计算2.1 TF TF指的是某一个给定的词语在该文档中出现的次数，由于文档的长度不一，防止TF偏向...
python.实验五 循环结构
m0_51346837专栏
02-02 7万+
1.编写程序，计算1×2×3×…×10. s = 1 for i in range(1,11): s = s * i print("s=",s) #输出结果： s= 3628800 2.编写程序，计算1+3+5+…+99. sum = 0 for i in range(1,100,2): sum = sum + i print("sum=",sum) #输出结果： sum= 2500 3.编写程序，输出1~100之间所有能被3整除，但是不能被5整除的数。 for i in ran
Python 程序设计习题(1) —— 数值类型及运算
Krelinn_Bios的博客
04-18 7258
1. Python 是什么？ 它是一门计算机语言，是一门解释型语言，被叫做ABC语言的替代品。 它不仅提供了高效的高级数据结构，还能简单有效地面向对象编程。 Python具有简洁、易读、可扩展等许多优点，这些优点使它成为了多数平台上写脚本和快速开发应用的编程语言，并且随着版本的不断更新和语言新功能的添加，它逐渐被用于独立的、大型项目的开发中。 诞生至今，它已被逐渐广泛应用于系统管理任务的处理和Web编程。 2. Python 习题部分 要想学习一门语言，便少不了练习。 故附上部分 Py
Python语言程序设计-实验教程-实验二-数据类型、运算符、表达式及语句
最新发布
m0_74000148的博客
02-23 2518
Python编程分享。
Python高级培训Day6
ckui_的博客
01-13 333
目录 连接数据库 数据库操作语句 连接数据库 例： # 引入pymysql包 import pymysql # 连接数据库 conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='12345', db='test') #获取游标 cursor=conn.cursor() print(cursor) 获取游标：通过获取到的数据库连接实例conn下的cursor()方法来创建游标。游标用来接收返回结果
老男孩Python全栈开发第二期培训视频教程 老男孩教育Python开发课程 基础课程篇
11-30
├<day01-python 全栈开发-基础篇> │ ├01 python 全栈开发-基础篇-day01 开课介绍.avi │ ├02 python 全栈开发-基础篇-day01 开课介绍02.avi │ ├03 python 全栈开发-基础篇-day01 开课介绍03.avi │ ├04 ...
老男孩第14期Day16期课堂源码实录及笔记 oldboy python全栈
04-13
【标题】"老男孩第14期Day16期课堂源码实录及笔记 oldboy python全栈"涉及的知识点主要包括Python编程语言的学习，特别是全栈开发的相关技术。OldBoy教育机构是一个知名的IT培训机构，其课程通常涵盖广泛且深入的...
python入门到高级全栈工程师培训 第3期 附课件代码
06-07
python入门到高级全栈工程师培训视频学习资料；本资料仅用于学习，请查看后24小时之内删除。 【课程内容】 第1章 01 计算机发展史 02 计算机系统 03 小结 04 数据的概念 05 进制转换 06 原码补码反码 07 物理层和...
python实验五--循环结构(转载)
daiwei_qq的博客
12-10 1万+
1.编写程序，计算1×2×3×…×10. s = 1 for i in range(1,11): s = s * i print("s=",s) #输出结果： s= 3628800 2.编写程序，计算1+3+5+…+99. sum = 0 for i in range(1,100,2): sum = sum + i print("sum=",sum) #输出结果： sum= 2500 3.编写程序，输出1~100之间所有能被3整除，但是不能被5整除的数。 ...
python 实验二 数据类型，运算符，表达式及语句
m0_51346837专栏
11-05 3万+
python《实验二》习题 习题1自己可以在IDLE运行就可完成。 2.通过下面的补助可以计算某公司的利润。请把下面的文字描述转变为Pthon代码，然后调试并运行。 （1）创建变量revenue，并赋值为98765 （2）创建变量costs，并赋值为40000 （3）创建变量profit，并赋值为变量revenue和costs的差值 （4）输出变量profit的值 revenue = 98765 costs = 40000 `profit = revenue-costs` #两个变量差
Python可以这样学（第一季：Python内功修炼）
02-23
董付国系列教材《Python程序设计基础》、《Python程序设计（第2版）》、《Python可以这样学》配套视频，讲解Python 3.5.x和3.6.x语法、内置对象用法、选择与循环以及函数设计与使用、lambda表达式用法、字符串与正则表达式应用、面向对象编程、文本文件与二进制文件操作、目录操作与系统运维、异常处理结构。
python学习Day10-函数
郭大侠的博客
06-22 308
python学习Day10-函数函数无参有参不定参数个数不定值个数（*）不定字典类型个数（**） 函数 a = 10 b = 20 a+b 30 无参 ## 定义函数,无参 def print_value(): print ('a=',a) ## 调用函数 print_value() a= 10 有参 # 有参数 def add_ab(a,b): print(a+b) ad...
Python基本数据类型
xiaolanglang_的博客
03-23 4939
7-1 输入姓名，问好，字符切片 (5 分) 从键盘输入姓名，对姓和名切片，然后输出 输入格式: 从键盘输入姓名， 输出格式: 你好，***同学。 *同学，很高兴认识你。 **同学，我们交个朋友吧！ 输入样例: 在这里给出一组输入。例如： 黄小燕 输出样例: 在这里给出相应的输出。例如： 你好，黄小燕同学。 黄同学，很高兴认识你。 小燕同学，我们交个朋友吧！ name = input() print("你好，"+name+"同学。") print(name[0]+"同学，很高
实验03、选择与循环（11题）
qq_43615815的博客
10-11 1万+
【实验目标】 1)熟练掌握Python选择结构与循环结构语法，理解缩进的作用。 2)熟练运用for循环和while循环，理解带有else子句的循环语句执行流程。 3)理解break语句和continue语句在循环中的作用。 4)理解并能够熟练设计条件表达式。 【学习重点】 and不一定是布尔值、for和while中else用法。 【实验内容】 “”“1、（选择，教材习题4.2）编写程序，运行后用户输入4位整数作为年份，判断其是否为闰年。 提示：如果年份能被400整除，则为闰年；如果年份能被4整除但不能被.
python练习题1.1
郭大侠的博客
06-29 657
python练习题1.11、有四个数字：1、2、3、4，能组成多少互不相同且无重复数字的三位数？各是多少？2、企业发放的奖金根据利润提成，利润（I）低于或等于10万元时，奖金可提10%；利润高于10万元，低于20万元时，低于10万元的部分按10%提成，高于10万元的部分可提成7.5%;20万到40万之间时，高于20万的部分可提成5%；40-60，高于40提3%；60-100，高于60提1.5%;高...
Python.习题四 循环结构
热门推荐
zxm1123的博客
05-22 10万+
Python.<习题四> 循环结构 1.编写程序，计算1×2×3×…×10. s=1 i=1 while i<=10: s=s*i i=i+1 print("s=",s) 2.编写程序，计算1+3+5+…+99. sum=0 for i in range(1,100,2): sum=sum+i print("sum=",sum) 3.编写程序，输出1~100之间所有能被3整除，但是不能被5整除的数。 for i in range(1,100): i
《Python数据分析与挖掘实战》笔记（三）：数据探索
郭大侠写leetcode
06-05 3524
1.数据质量分析 主要任务是检查原始数据中是否存在脏数据，包括缺失值，异常值，不一致值，重复数据及特殊符号数据 缺失值，包括记录缺失和记录的某字段缺失等 产生原因：无法获取、遗漏、属性值不存在； 影响：有用信息缺乏、不确定性加重、不可靠 处理：删除、补全、不处理 异常值，不合常理的数据，剔除可消除不良影响，分析可进行改进。异常值分析也称离群点分析。 常用的分析方法：简
Python2与Python3并行安装及配置指南
- 为了避免版本冲突，可以将Python 2的`python.exe`重命名为`python2.exe`，Python 3的`python.exe`重命名为`python3.exe`。这样，当你在命令行中输入`python2`或`python3`时，系统会调用相应版本的解释器。 5. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值