python
文章平均质量分 75
小果一粒沙
To be brave.
展开
-
简单理解python中的nonlocal和global关键字
Defnonlocal: 在一个子函数中声明当前变量不是局部变量,也就是说,可以在当前子函数中使用其父函数定义的变量,并且可以作修改。且在子函数中修改之后在父函数中的变量也会变成修改之后的变量。eg:x = 1def func(): nonlocal x x = 2 return xprint(func())print(x)得到结果22global: 在一个子函数中定义的变量是全局变量,可以在当前子函数的外面使用这个定义的global变量。def func(): globa原创 2021-12-12 11:35:08 · 580 阅读 · 0 评论 -
第一次实习中学习到的(python,数据处理,Spark,Hadoop,Linux,time related
实习学习到的:正则表达式匹配中文hdoop fs -testshell中echo命令详解原创 2021-11-23 17:35:21 · 4539 阅读 · 0 评论 -
Task 02 决策树(下)CART分类代码实现(参考datawhale
主要是改写CART回归代码两点:分裂节点的标准,从MSE变成了gini选择输出节点的特征,由原来的取平均变成求最大值先写一下大致的代码逻辑吧总的来说定义节点分类方式定义一个树 如何生成一棵树肯定是要进行节点的分裂判断一个节点分裂还是不分裂 -> 定义分裂的条件可以分裂之后,怎么办 -> 需要分裂的方式(即如何进行节点的分裂)如何进行节点的分裂 -> 定义分裂的准则找到哪个特征进行分裂 -> 利用信息准则进行判断,找到最优的特征和相应的最优切分.原创 2021-10-17 21:46:49 · 429 阅读 · 0 评论 -
数据结构--简单理解平衡搜索树的旋转
主要是开始感觉这个旋转太不像我们平时理解的关于一个点的旋转了。第一次看也很模糊,到第二次看,发现其实就是保持大小的一个旋转。首先讲一点点关于二叉搜索树的定义:每个节点p存储一个键值对(k, v)的二叉树T,使得:存储在p的左子树的键都小于k存储在p的右子树的键都大于k其实旋转就是在以上基础上形成的。我们知道一个键的左子树一定会小于k,也就是说,键k大于左子树的键。利用这两者的等价性,就可以开始构造我们的旋转。比如说x是y的左子树,即x的键小于y,那么我们就可以进行旋转,保持等价关系,将y作.原创 2021-04-21 16:02:05 · 178 阅读 · 0 评论 -
python编程---不调包实现后向传播算法
原理介绍写上了,待我补充上来,绝对不长,这里注重编码实现,所只介绍关键数据!!!载入数据在utils.py文件中"""生成数据"""import numpy as npimport pandas as pddef load_data(n=1000): np.random.seed(0) X = np.random.randn(n) * 10 Z = np.tan(X) # X: input, Z: target ouput return X, Z原创 2021-04-16 16:53:34 · 310 阅读 · 1 评论 -
python数据结构--一个先序遍历缩进输出文档目录表的例子
参考:《数据结构与算法–python语言实现》P221,代码段8-24看了半天没看懂,最后课本上一个例子还有一个需要用到它,没办法,一步步拆解了。def preorder_label(self, T, p, d, path): """ 是这样的:假设这棵树只有一个根节点,两个子节点,一个左一个右孩子 初始执行preorder(T, self.root(), 0, []) 我先分析一下path 开始根节点为[] 接着运行一下函数[0] 再开始sel原创 2021-04-08 15:29:57 · 136 阅读 · 0 评论 -
日照-公积金贷款逾期预测-比赛总结
前言主要是过去一年做事情没有一个系统化的概念,今年就想就此改变一下。先从写笔记开始,将我这学期学习到的东西,参加的比赛,写出来,算是过路有痕。比赛大部分应该不是我自己一个人参加的,分工合作嘛,那我就把自己做的写出来,详细点;了解了一点东西,写下来,以后就可以更加深入学习了。同学做的,写出来,简略一下,不过我也尝试了解一下他们的思想,下次去实现一下。不一次性写完,尽量想写得详细一些。写完的就画勾勾,没写完就继续写,反正养成记录的习惯。(我的碎碎念我写的代码后面也跟着整理出来(就算是辣鸡我也要整理出来!原创 2021-03-03 17:18:12 · 587 阅读 · 5 评论 -
SARIMA季节项时间序列分析流程+python代码
数据数据网站:National Aeronautics and Space AdministrationGoddard Institute for Space Studies主要分析的是北美陆地表面温度。训练数据:1990.1-2019.12.开只选取了120即10的数据来进行分析,但是到最后发现模型有很多的波动之后,去问老师,老师说这是数据太少导致波动太大造成的,所以建议我们再多训练一些数据。就之后进行模型的定阶而言,至少需要三四百的数据。最后我们选取了360个数据,即30年的数据。关于模型原创 2021-01-06 21:50:07 · 21143 阅读 · 29 评论 -
变换后的ARMA新息递归预报--python索引踩坑记
有时候按照课本来打公式,很多次都会出现程序的索引跟课本上的索引不一致的情况,这次,我在这个地方陷了两天,气死我了!但是还好,问题终于解决,不是我的问题,是课本的问题。不过还是想把这个思考的过程记录下来,希望以后能够在索引上面少花一些时间。介绍python常见的索引方式自带列表:索引是从0开始的,如果你有li[a:b]的形式,那么最终取出来的数是li[a], li[a+1], ..., li[b-1].还有一个非常坑的地方。li = [1, 2, 3]li_2to5 = li[2:5]print原创 2020-12-23 13:45:25 · 225 阅读 · 0 评论 -
Python编程--利用ENGS求最佳样本容量n--Bayes-5.18
题目:某上考虑是否向一县办厂订购一种家用电器(以下简称电器)。该厂生产的电器有一等品和二等品两个等级,一等品与二等品的数量之比有1:1和2:1两种可能,其概率分别为0.45和0.55。如果买到的是一等品,与一般市场价格相比较,每只可赚10元。如果买到二等品,每只要亏15元。假如该厂允许在一批电器中抽取若干只进行检验,根据抽样结果决定是否订购该批(900只)电器。但抽样总的费用为每只20元。这时商店必须考虑多少只最合算?求上界n∗≤先验EVPI−CfCvn^* \le \frac{\text{原创 2020-11-19 23:56:11 · 1040 阅读 · 2 评论 -
文本分类(三)--对已经处理好的数据使用KNN、Naive Bayes、SVM分类方法
注:所有的数据已经经过minmaxscaler标准化为【0,1】区间的值KNN根据距离来分类。给定一个K值,在待分类的样本点中找到已经分类的K个点,K中哪一类越多,则就将其分为哪一类。别人说的是近朱者赤近墨者黑,我的理解就是我距离你越近,则我属于你的置信概率就越大。具体参考资料:Python之Sklearn使用教程K最近邻算法(KNN)—sklearn+python实现机器学习(一)...原创 2019-05-26 11:30:40 · 3585 阅读 · 0 评论 -
文本分类(二)文本数据数值化,向量化,降维
前言上面一篇博客文本分类流程(一)文本分类的大致步骤+数据预处理------毕业论文的纪念已经讲述了文本处理中的两个步骤,网页获取+数据清洗,得到了干净的文本数据。下面开始介绍如何将我们能够识别的文本数据转化为机器可以识别的数值数据(向量)我们知道机器能够对数值数据使用各种公式,它只能够识别这些,所以我们就开始着手将我们所获取到的文本数据转化为数值数据。以下简单的介绍一些我所知道的三种文本...原创 2019-05-25 17:14:55 · 12757 阅读 · 0 评论 -
Python--字典创建方法
空字典D = {}非空字典# 关键字D = {'name': 'lagua', 'gender': 'female', 'job': 'student'}# 键值对D = dict([('name', 'gender', 'job'), ('lagua', 'female', 'student')])# 拉链式键值对keyslist = ['name', 'gender', 'job']valslist = ['lagua', 'female', 'student']D = d原创 2020-07-12 20:37:26 · 175 阅读 · 0 评论 -
EM算法例子简单理解(例题+基本思想+python实现
是研究生复试的时候问到了一个问题,我不会,导致复试成绩不好。复试完了,打算好好理解一下,于是有了下文:简介极大似然估计根据样本的信息,求得未知参数的估计。主要思想:样本信息出现的概率最大,也就是说我们想要找到一个参数,使得我们所有的样本出现的概率最大。步骤:写出关于似然函数。取对数(方便后来求极值运算)。对未知参数求偏导,令其为0(求极值),求得参数值为极大似然估计值。补充:当然,有的并不能够使用数学上求极值的方法来求得极大似然估计值,可以使用单调性求得。不管是哪种解法,都是要求找.原创 2020-06-19 00:42:47 · 6687 阅读 · 2 评论 -
静觅-崔庆才-《python3网络爬虫开发实战》中遇到的问题-chap1-io.UnsupportedOperation: fileno
代码运行环境:first:python 官方的编辑器:IDLE(3.7)later:1、cmd命令行下直接执行相关python文件(我的为python test.py)2、spyder下执行python文件flask安装检测中出现的问题代码如下:from flask import Flaskapp=Flask(__name__)@app.route("/")def hello()...原创 2019-04-08 12:42:48 · 634 阅读 · 0 评论 -
Could not install packages due to an EnvironmentError: [Errno 2] No such file or directory
安装pycurl出现上述问题开始有的步骤:1.在https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl中找到对应的pycurl版本,进行下载2.使用cmd pip进行安装pip install pycurl-7.43.1-cp37-cp37m-win_amd64.whl3.出现错误:Requirement 'pycurl-7.43.1-c...原创 2019-04-09 15:25:05 · 2346 阅读 · 0 评论 -
pyspider安装中出现的一系列问题
开始安装pip install pyspider问题1:Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl解决1.先安装curl库,在[pycurl]中Ctrl+f找到你的电脑所对应的curl版本,进行下载(http://www.lfd.uci.edu/~...原创 2019-04-09 21:13:59 · 6508 阅读 · 13 评论 -
python 使用scrapy框架时--命令行出现no command crawl
参考:Unknown command: crawl(爬虫框架Scrapy遇到的常见错误)我自己的解决过程:cmd下的路径设置为D:\lagua\study\coding\pythonPractice\mingyan这里需要注意:开始使用strat startproject D:\lagua\study\coding\pythonPractice\mingyan创建了一个一个新的爬虫文件夹,据官...原创 2019-04-29 08:40:03 · 746 阅读 · 0 评论 -
scrapy中文网学习笔记
简单概述一下scrapy中文网的写作构思。凡事都是从最简单的做起,scrapy中文网就是这样一个简单帮助我们入门scrapy爬虫的简单小白文档。关于编程基础,只要你懂一些python的数据结构,知道一些生成器,还有类,就可以开始学习此文档。此外,还需要一些html的基础知识,包含有一些节点元素的构造知道一些基本的标签以及属性,xpath与css选择器。底下全部使用商店来类比爬虫信息的获取。...原创 2019-05-06 15:15:56 · 263 阅读 · 0 评论 -
1064, " You have an error in your SQL syntax check the manual that corresponds to your MySQL
完整的语法错误是这样的:pymysql.err.ProgrammingError: (1064, “You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘)’ at line 10”...原创 2019-05-06 15:21:23 · 773 阅读 · 0 评论 -
python--class--undefined variable 'self'
代码示例:class Test(object): def __init__(self): self.a=1 print(self.a)出现错误:(标题是在vscode中出现错误,以下是在python自带的IDE中出现的错误提示)NameError: name 'self' is not defined结果证明: 在class中不能直接继承一个类,不能期望...原创 2019-05-14 10:01:04 · 2184 阅读 · 0 评论 -
python---关于import从模块中导入类的函数-Unable to import ´FirstProcess.InitialProcess´
我原来的代码:from FirstProcess.InitialProcess import getData即,我希望导入FirstProcess.py的文件中的InitialProcess类中的getData函数。出现了如标题一般的错误。解决:from FirstProcess import InitialProcessa = InitialProcess()new_get_dat...原创 2019-05-14 11:15:54 · 320 阅读 · 0 评论 -
Python的csv文件写入注意点writerow和writerows时--------------里面是用()还是[]
第一种写入,用的是()注意这里面的writerows使用的()—开始我因为最后得到的行是tuple元组,最后经过实验发现,仍旧是list列表with open(r'D:\lagua\study\coding\pythonPractice\test.csv','w',newline='',encoding = 'utf-8') as f: l1 = [0,1,2] l2 = [1...原创 2019-05-09 20:14:57 · 22213 阅读 · 4 评论 -
python在Ananconda中安装emoji模块
conda install -c conda-forge emoji原创 2019-05-10 17:01:37 · 1548 阅读 · 1 评论 -
文本分类流程(一)文本分类的大致步骤+数据爬取+数据预处理------毕业论文的纪念
本文主要介绍文本分类的前几个步骤,数据获取+数据清洗下一个模块会开始讲解文本文本数据到数值数据的过渡,将文本数据转化为数值数据,并且提取转化后的特征,降维,输入到文本分类器中进行训练、测试、评估。文本分类的基本步骤:1.数据获取方法:网页爬虫,使用别人的代码或者自己写代码(GitHub上找有没有你需要的)2.数据清洗方法:去重,去除重复的评论。如果数据抓取的好,则可以不用执行这一步...原创 2019-05-25 12:09:30 · 16316 阅读 · 12 评论 -
python正则表达式错误(AttributeError: 'NoneType' object has no attribute 'group')-----「*」与「?」的使用出错
在跟着廖雪峰老师的教程学习python正则表达式,利用正则表达式进行匹配邮箱名字时,利用match.group(1)函数遇到了下面的问题:Traceback (most recent call last): File "C:\Users\17548\Workspace\EmailZhengze.py", line 27, in <module> name_of_em...原创 2019-02-15 17:58:06 · 12404 阅读 · 0 评论