Python
光明顶上的5G
作者5G,目前专注于Java后端技术的学习
展开
-
pytorch划分数据集的两种方法(dataset, dataloader)
Pytorch提供的对数据集进行操作的函数详见:https://pytorch.org/docs/master/data.html#torch.utils.data.SubsetRandomSamplertorch的这个文件包含了一些关于数据集处理的类:class torch.utils.data.Dataset: 一个抽象类, 所有其他类的数据集类都应该是它的子类。而且其子类必须重载两个重要的函数:len(提供数据集的大小)、getitem(支持整数索引)。class torch.utils.dat转载 2020-07-20 16:46:00 · 27456 阅读 · 0 评论 -
matplotlib中各种图形参数解释
柱状图bar的使用matplotlib.pyplot.bar(left, height, alpha=1, width=0.8, color=, edgecolor=, label=, lw=3)left: x轴的位置序列,一般采用range函数产生一个序列,但是有时候可以是一个字符串height: y轴的数值序列,也就是柱形图的高度,一般就是我们需要显示的数据alpha: 透明度,值越...原创 2019-11-25 21:55:31 · 7858 阅读 · 1 评论 -
关联分析Apriori
关联分析基础概念关联规则定义假设I={I1,I2,…,Im}是项的集合。给定一个交易数据库D,其中每个事务t是I的非空子集,即,每一个交易都与唯一的标识符TID对应。关联规则在D中的支持度是D中事务同时包含X、Y的百分比,即概率。置信度是D中事务已经包含X的情况下包含Y的百分比,即条件概率。如果满足最小支持度阈值和最小置信度阈值,则认为关联规则是有趣的。信息熵–从信息传播角度看信息熵可以...原创 2019-05-05 15:02:13 · 486 阅读 · 0 评论 -
numpy
ndarray,numpy常用Array#encoding=utf-8import numpy as npdef main(): lst=[[1,3,5],[2,4,6]] print(type(lst)) np_lst=np.array(lst) print(type(np_lst)) np_lst=np.array(lst,dtype=np...原创 2019-05-05 21:52:17 · 275 阅读 · 0 评论 -
KNN算法
算法思路通过计算每个训练样例到待分类样品到距离,取和待分类样品距离最近到K个训练样例,K个样品中哪个类别到训练样例占多数,则待分类样品就属于哪个类别。算法步骤1、初始化距离为最大值2、计算未知样本和每个训练样本到距离dist3、得到目前K个最邻近样本中的最大距离maxdist4、如果dist小于maxdist,则将该训练样本作为K最近邻样本5、重复步骤2、3、46、统计K最近邻样本...原创 2019-04-30 16:32:50 · 311 阅读 · 0 评论 -
朴素贝叶斯分类
贝叶斯定理假设对于某个数据集,随机变量C表示样本为C类的概率,F1表示测试样本某个特征出现到概率,套用基本贝叶斯公式,则如下所示:上式表示对于某个样本特征F1出现时该样本被分为C类的条件概率。先验概率:P©是C的先验概率。证据:P(F1),表示对于测试样本特征F1出现的概率。似然:即上式P(F1|C),表示如果知道一个样本被分为C类,那么它的特征为F1的概率是多少。朴素贝叶斯分类思...原创 2019-05-01 15:12:03 · 152 阅读 · 0 评论 -
SVM支持向量机
SVM基本思想SVM把分类问题转化为寻找分类平面的问题,并通过最大化分类边界点距离分类平面的距离来实现分类SVM优缺点优点:可以解决小样本下机器学习的问题提高泛化性能可以解决文本分类、文字识别、图像分类等方面问题避免神经网络结构选择和局部极小的问题缺点:缺失数据敏感内存消耗大,难以解释SVM与逻辑回归的区别相同点: 均是常见的分类算法 两个损...原创 2019-05-01 15:33:50 · 354 阅读 · 0 评论 -
matplotlib入门(一)
基本用法import matplotlib.pyplot as pltimport numpy as npx = np.linspace(-3,3,50)y1=2*x+1y2=x**2plt.plot(x,y1)plt.show()figure图像import matplotlib.pyplot as pltimport numpy as npx = np.l...原创 2019-05-09 09:53:36 · 190 阅读 · 0 评论 -
matplotlib入门(二)
scatter散点图import matplotlib.pyplot as pltimport numpy as npn = 1024X = np.random.normal(0,1,n)Y = np.random.normal(0,1,n)T = np.arctan2(Y,X) #for color valueplt.scatter(X,Y,s=75,c=T,alpha=0...原创 2019-05-09 10:58:19 · 174 阅读 · 0 评论 -
matplotlib入门(三)
目录subplot多合一显示subplot分格显示图中图次坐标轴Animation动画subplot多合一显示import matplotlib.pyplot as pltplt.figure()plt.subplot(2,1,1)plt.plot([0,1],[0,1])plt.subplot(2,3,4)plt.plot([0,1],[0,2]...原创 2019-05-09 15:52:56 · 253 阅读 · 0 评论 -
pandas入门
目录pandas基本介绍pandas选择数据pandas设置值pandas合并concatpandas合并mergepandas plot作图pandas基本介绍import pandas as pdimport numpy as nps = pd.Series([1,3,6,np.nan,44,1])print(s)# 0 1.0# ...原创 2019-05-11 10:00:00 · 621 阅读 · 0 评论 -
逻辑回归
逻辑回归的基本概念什么是逻辑回归逻辑回归就是这样一个过程:面对一个回归或者分类问题,建立代价函数,然后通过优化方法迭代求解出最优的模型参数,然后测试验证我们这个求解的模型的好坏。Logistics回归虽然名字里带回归,但是它实际上是一种分类方法,主要用于两分类问题(即输出只有两种,分别代表两个类别)回归模型中,y是一个定性变量,比如y=0或1,logistic方法主要应用于研究某些事件发生...原创 2019-05-12 11:55:01 · 253 阅读 · 0 评论 -
python print 和 sys.stdout.write()
python: v-3.6.3当我们使用print(obj)在console上打印对象的时候,实质上调用的是sys.stdout.write(obj+'\n'),print在打印时会自动加个换行符,以下两行等价: sys.stdout.write('hello'+'\n') print 'hello' 从控制台重定向到文件原始的 sys.stdout 指向控制...转载 2019-08-02 22:20:17 · 1946 阅读 · 0 评论 -
python os模块常用命令
os模块是和操作系统交互的模块python编程时经常和文件、目录打交道,这就离不开os模块。os模块包含普遍的操作系统功能,与具体的平台无关。以下列举常见的命令:# 创建文件夹os.makedirs('dir1/dir2') # 可生成多层递归目录os.mkdir('dir3') # 生成单级目录os.mkdir('dir3/dir4')# 只能删空文件夹os.rmdi...转载 2019-07-28 13:17:40 · 210 阅读 · 0 评论 -
Kmeans聚类分析
聚类分析基本概念及常用算法概念聚类分析是一组将研究对象分为相对同质的群组的统计分析技术。聚类分析也叫分类分析或数值分类。聚类和分类的不同之处在于聚类所要求划分的类是未知的。聚类度量方法聚类之间类的度量是分距离和相似系数来度量的。距离用来度量样品之间的相似性(KMeans聚类,系统聚类中的Q型聚类)相似系数用来度量变量之间的相似性。(系统聚类中的R型聚类)聚类分析研究方法层次的方法...原创 2019-05-05 12:26:38 · 1463 阅读 · 0 评论 -
爬虫-1.5获取百度贴吧内容
import requestsimport timefrom bs4 import BeautifulSoup# 首先我们写好抓取网页的函数url = "http://tieba.baidu.com/f?kw=%E7%94%9F%E6%B4%BB%E5%A4%A7%E7%88%86%E7%82%B8&ie=utf-8"def get_html(url): try: ...转载 2019-04-19 09:51:01 · 213 阅读 · 0 评论 -
常用的内建函数
目录 1、abs函数2、bool函数3、dir函数4、eval函数5、exec函数6、float函数7、int函数8、long函数9、max和min函数10、range函数11、sum函数12、文件的使用1、abs函数abs(10) abs(-10)2、bool函数bool(0)——bool(1) //只要非0,均返回T...原创 2018-10-17 14:41:46 · 323 阅读 · 0 评论 -
常用的Python模块
目录 1、使用copy模块来复制2、keyword模块记录了所有的关键字3、用random模块获得随机数4、用sys模块来控制Shell程序5、用time模块来得到时间6、用pickle模块来保存信息1、使用copy模块来复制>>> class Animal: def _init_(self, species, num...原创 2018-10-17 16:53:14 · 116 阅读 · 0 评论 -
BeautifulSoup实例
#coding:utf8from bs4 import BeautifulSouphtml__doc = """<html><head><title>The Dormouse's story</title></head><body><p class="title"原创 2018-11-05 16:28:34 · 757 阅读 · 0 评论 -
网页下载器urllib2实例
1、最简洁方法response:直接请求response.getcode():获取状态码response.read():读取内容 #coding:utf8import urllib2url = "http://www.baidu.com"print '第一种方法'response1 = urllib2.urlopen(url)print response1.getcod...原创 2018-11-05 16:45:55 · 192 阅读 · 0 评论 -
Python爬虫练习
python有哪几种网页下载器?urllib2是官方基础模块,requests是第三方包,更强大。urllib2下载网页方法:1、最简洁方法:url——>urllib2.urlopen(url);2、添加data、http headerimport urllib2 #创建Request对象request = urllib2.Request(url)...原创 2019-04-09 14:08:04 · 323 阅读 · 0 评论 -
python No module named 'urlparse'
1、ModuleNotFoundError: No module named 'urllib2'在python3.x版本中,urllib和urllib2包集合成在一个包了import urllib2response = urllib2.urlopen(request)改为import urllib.requestresponse = urllib.request.urlopen("h...转载 2019-04-08 23:17:32 · 764 阅读 · 0 评论 -
python进阶
目录高阶函数:map()函数reduce()函数filter()函数自定义排序函数返回函数闭包匿名函数装饰器无参数decorator带参数decorator完善decorator任务偏函数任务函数名其实就是指向函数的变量。高阶函数:能接收函数做参数的函数。(变量可以指向函数,函数的参数可以接收变量,一个函数可以接收另一个函数作...原创 2019-04-16 14:08:19 · 319 阅读 · 0 评论 -
从零开始写Python爬虫 -1.1 requests库的安装与使用
request库的基本使用import requestsr = requests.get("https://www.baidu.com")print(r.text)request的get方法时requests库中最常用的方法之一。它接收一个参数url并返回一个http response对象。与get方法相同的,requests库还有许多其他常用方法。requests库的7个主要方法...转载 2019-04-17 14:15:53 · 198 阅读 · 0 评论 -
从零开始写Python爬虫 -1.2 BS4库的安装与使用
Beautiful Soup库一般称为bs4库,支持Python3,是我们写爬虫非常好的第三方库。bs4库的简单使用假设我们需要爬取的HTML是如下这么一段:<html><head><title>The Dormouse's story</title></head><body><p class="title"&...转载 2019-04-17 15:02:49 · 326 阅读 · 0 评论 -
从零开始写Python爬虫 -1.3 爬虫实践: 获取百度贴吧内容
贴吧地址:http://tieba.baidu.com/f?kw=生活大爆炸&ie=utf-8目标分析1、从网上爬下特定页码到内容2、对于爬下到页面内容进行简单到筛选分析3、找到每一篇帖子到标题、发帖人、日期、楼层以及跳转链接4、将结果保存到文本根据第2页到网页地址发现&50,说明每一页都有50篇帖子首先先写出抓取页面内人的函数:import requestsfr...转载 2019-04-18 09:02:49 · 190 阅读 · 0 评论 -
爬虫-1.4排行榜小说批量下载
import requestsimport timefrom bs4 import BeautifulSoupurl = "https://www.qu.la/paihangbang/"def get_html(url): try: r = requests.get(url, timeout=30) r.raise_for_status ...转载 2019-04-18 10:57:08 · 350 阅读 · 0 评论 -
决策树
什么是决策树分类决策树模型是一种描述对实例进行分类的树形结构。决策树由节点和有向边组成。节点有两种类型:内部节点和叶节点。内部节点表示一个特征或属性,叶节点表示一个类。...原创 2019-05-02 15:33:28 · 776 阅读 · 0 评论 -
集成学习
关于集成学习的基本概念集成学习概念集成学习是机器学习中一个非常重要且热门的分支,是用多个弱分类器构成一个强分类器,其哲学思想是“三个臭皮匠赛过诸葛亮”。一般的弱分类器可以由决策树,神经网络,贝叶斯分类器,K-近邻等构成。已经有学者理论上证明了集成学习的思想是可以提高分类器的性能的,比如说统计上的原因,计算上的原因以及表示上的原因。为什么要集成模型选择:假设各弱分类器间具有一定差异性(如不...原创 2019-05-02 19:34:45 · 354 阅读 · 0 评论 -
弹球游戏
1、这里实现一个小球类,考虑了边界碰撞。 from tkinter import *import randomimport timeclass Ball: def _init_(self, canvas, color): self.canvas = canvas self.id = canvas.create_oval(10,10,25,25,f...原创 2018-10-16 10:01:00 · 572 阅读 · 0 评论