Python
文章平均质量分 82
李坦(BNU远程教育学)
北京师范大学互联网教育博士生
展开
-
PyTorch安装最全流程
本文介绍基于Anaconda环境以及PyCharm软件结合,安装PyTorch深度学习框架。1.Anaconda安装下载链接:https://www.anaconda.com/1.1 点击Next1.2 点击同意1.3 点击Next1.4 选择目标文件夹,点击下一步1.5 将Anaconda加入到系统变量安装成功后,在CMD中检查Anaconda时候加入到环境变量中。1.6 单击启动Anaconda Prompt 创建虚拟“房间”通过conda创建一个名为:pytorch.原创 2020-07-30 21:17:59 · 156704 阅读 · 71 评论 -
Python3调用新浪微博API抓取数据
本文介绍基于Python3+通过调用新浪微博API方式采集用户信息的案例。1.前期准备编程语言:Python3.0+下载库:sinaweibopy3编辑软件:Spyder2.获取微博授权进入http://open.weibo.com/apps/new?sort=web获取App Key以及App Secret。具体方法如下:2.1 创建应用如图点击,微链接—>网站接入—>立即接入设置应用名称和应用分类,其中应用分类选择网页应用。2.2 获取App Key等创建完.原创 2020-07-21 20:37:46 · 1944 阅读 · 0 评论 -
python将excel表内空值替换成特征数值
python进行表格处理时,经常遇到空值需要做特定替换,pandas专门提供了这样的功能。fillna()方法函数形式:fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)1value:用于填充的空值的值。method: {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, default None。定义了填充空值的方法, .原创 2020-07-08 09:24:43 · 4381 阅读 · 0 评论 -
sklearn 实现机器学习的5折交叉验证
当通过小样本训练机器学习模型时,为了更加准确的评价机器学习模型,可以采用k折交叉验证方法1.读取训练数据mldata_x = data[['学科A','学科B','学科C','学科D']]mldata_y = data[['学业成败']]2.进入5折交叉验证方法from sklearn.model_selection import cross_val_scorenb=GaussianNB()score=cross_val_score(nb,mldata_x,mldata_y,cv=5,s.原创 2020-06-26 21:34:11 · 2494 阅读 · 1 评论 -
sklearn实现神经网络
本文将介绍基于sklearn实现MLP(多层感知机)算法的过程。1.读取训练数据mldata_x = data[['学科A','学科B','学科C','学科D']]mldata_y = data[['学业成败']]2.划分训练数据集和测试数据集from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(mldata_x, mldata_y, t.原创 2020-06-26 21:27:32 · 4101 阅读 · 0 评论 -
python相关性分析与热力图可视化
相关性分析可以发现不同变量之间相关性程度,本文以python为例进行实现。1.相关性矩阵corr = abs(data[['学科A','学科B','学科C','学科D','学业成败']].corr()) #abs取绝对值corr2.热力图可视化展示from matplotlib import pyplot as pltimport seaborn as snsimport numpy as npfig = plt.figure()names=['学科A','学科B','学科C','.原创 2020-06-26 21:12:27 · 6832 阅读 · 1 评论 -
一行代码实现python数据标准化
数据标准化有助于提升机器学习模型准确度。本文对数据集中某列数据进行标准化处理。采用min-max方式。from sklearn import preprocessingminmax = preprocessing.MinMaxScaler()data[['学科A','学科B','学科C','学科D']] = minmax.fit_transform(data[['学科A','学科B','学科C','学科D']])...原创 2020-06-26 17:51:50 · 527 阅读 · 0 评论 -
python将数据集中文本标签替换成数值型
数据科学中经常出现的标签为文本型的,因为需要转化为数值型,以便后续处理。1.读取数据import pandas as pddata = pd.read_csv('all_data.txt',delimiter='\t')data.head()2.对标签列进行替换data_class={'否':0,'是':1}data['是否过线']=data['是否过线'].map(data_class)...原创 2020-06-26 17:45:10 · 6865 阅读 · 1 评论 -
机器学习打印日志
在机器学习过程中,为了可以实时反映处理过程,经常打印日志,实现对该过程的实时监控。import logginglogging.basicConfig(format = '%(asctime)s : %(levelname)s : %(message)s', level = logging.INFO) #打印日志作为一名非科班出身的教育技术学研究生,技术水平十分有限。近期看到教育工作者在处理数据是比较困难,包括本教育技术学的科研工作者在面对大批量数据时也是束手无策,于是萌生了为教育工作者写一.原创 2020-06-02 21:08:06 · 356 阅读 · 0 评论 -
一行代码将python封装exe可执行文件
本文将介绍,如何将一个基于Python编写的可视化工具封装成exe文件,从而实现在非Python环境下运行。1.下载:pyinstallerpyinstaller库可以帮助实现python---->exe的封装,其安装方式如下:pip install pyinstaller2.执行封装命令这里需要注意一点,在执行封装命令前,需要将cmd的地址切换到python源程序所在的文件夹。pyinstaller.exe-F 你的python文件名待封装完成,则可以在所在文件夹,dis文件中.原创 2020-05-20 10:00:11 · 462 阅读 · 0 评论 -
12万条微博训练的word2vec词向量模型
该语言模型是采用gensim库提供的word2vec模型训练而成,训练样本量达12万条博文,该模型能够反映一定的语言规律,因此可以作为日常编程训练使用。1.调用方法from gensim.models import word2vecmodel = word2vec.Word2Vec.load("public_opinion_word2vec_2.model")2.测试model.most_similar("上海")3.项目开源地址https://github.com/GarrettL.原创 2020-05-18 09:45:20 · 1637 阅读 · 9 评论 -
python实现文本词频统计并输出
教育研究中,经常对一个或者多个文本进行词频统计分析,用以反映该文本的主题。本文首先介绍利用oset开源库中提供的wordcount()函数实现的字符统计简单调用方式(第2小节);随后解析wordcount()函数源代码以及其中的一些知识点(第3小节)。1.文件夹内容展示该文件夹中分别包含“教育学部.txt”,“心理学部.txt”等单个文件。我们将利用oset库中wordcount函数实现...原创 2020-05-03 13:05:14 · 5914 阅读 · 2 评论 -
python3环境下安装gexf库的一些错误修正方法
gexf作为复杂网络绘图的一种函数库,在python3环境下安装时却存在一系列问题,本文将在python3.8环境下为案例,对安装过程中存在文的问题进行解析。1.安装采用镜像方式安装:pip install pygexf -i http://pypi.douban.com/simple --trusted-host pypi.douban.com2.错误解决2.1 No module ...原创 2020-05-01 11:06:41 · 410 阅读 · 0 评论 -
python实现文档字符云
教育研究中,有时需要对一个文档进行可视化展示——字符云。而有时还需要对多个文档内容合并进行可视化展示。本文首先给出通过调用oset(教育技术开源库)实现字符云最简单的方式(见第2小节);随后将介绍oset中实现该原理的源码,供有需要的同学研究和二次开发。1.文件夹内容展示2.字符云展示2.1单个文件字符云可视化#如仅仅对上述文件夹中“教育学部.txt”文件进行可视化展示from o...原创 2020-04-20 17:30:58 · 273 阅读 · 0 评论 -
Python获取文件所处的文件夹
在教育研究中,经常需要对单个文件进行分析操作,而往往我们希望将分析结果输出成一个文档,并存取在同目录中。因此自动化获取文件所在的文件路径将有助于设计大规模自动化处理程序。本文将阐述如何获得某个文件所处的文件夹名称。所有库:os代码:os.path.dirname(FileName)>>> file="c\\test\\readme.md">>> pa...原创 2020-04-20 15:58:30 · 1964 阅读 · 0 评论 -
[解决方案]Python批量替换文件中的内容
在实际工作中,经常会涉及到需要去替换文件中某一个词,而传统的做法是:通过编辑软件中自带的“替换/查找”功能进行处理。但是如果涉及到成百上千个文件需要这样的处理,该怎么解决?本篇博文将介绍一种基于Python的解决方案。1.读取文件夹中所有的文件名Python中os库中listdir函数用于读取文件夹下的所有文件名,并返回出来列表。fileList = os.listdir(filenam...原创 2020-04-09 18:54:23 · 5953 阅读 · 1 评论 -
Python实现批量文件合并(oset开源库)
教育研究中经常会遇到需要将许多访谈记录合并的情况。缺乏编程能力的老师或者同学需要不断复制、粘贴…不但耗时,而且容易存在遗漏复制文本等问题。本文给出我已经编写并且测试完成的函数,如果需要可以直接复制并使用。**注:**以下程序来源于我编写的教育技术开源库(oset),欢迎关注,感兴趣的同学可以和我联系,我们一起维护!点击进入教育技术开源库1 定义相关类class File: def...原创 2020-04-07 13:53:34 · 277 阅读 · 0 评论 -
[解决方案]IndentationError: unindent does not match any outer indentation level
程序运行时出现:IndentationError: unindent does not match any outer indentation level 时主要是因为Python的缩进形式有问题解决方法:检查缩进出现问题的程序将…用Tab键缩进即可...原创 2020-04-01 13:53:54 · 328 阅读 · 0 评论 -
[解决方案] Scrapy 安装时遇到:Running setup.py install for Twisted ... error 解决方案
本文给出安装Scrapy时遇到:Running setup.py install for Twisted … error错误的解决方案。1.错误描述安装Scrapy爬虫框架时经常会遇到Running setup.py install for Twisted … error的错误2.解决方法2.1 通过 pip 检查工具检查接受安装的标签具体方法如下:进入Python环境输入如下命令:...原创 2020-04-01 10:05:04 · 7875 阅读 · 2 评论 -
Python函数参数类型讲解教程
在编写库函数时经常会遇到这样一种情况:由于任务不同,一个函数经常会传入的入不同的个数,而有些参数并非是必选的。本文将首先讲解函数参数类型,然后讲解如何判断该参数是否传入并给出示例。1.参数类型:必选参数,默认参数,可变参数以及关键字参数1.1 必选参数顾名思义,就是函数必须有的入参>>>def add(x,y):... return x+y>>...原创 2020-03-31 11:28:52 · 139 阅读 · 0 评论 -
Python 通过 pip install 的方式安装时出现的下载速度较慢解决方法
如下图所示,当下载一个软件包时,直接采用pip install 方式下载速度极慢:解决方法:通过镜像站下载:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pynlpir...原创 2020-02-18 08:27:01 · 177 阅读 · 0 评论