![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
Zhanwei Liu
开始的晚了就要更努力;一步一个脚印,慢慢积累。
展开
-
自回归模型的建模与参数估计-Python
AR§模型的参数估计设{XtX_tXt}适合Xt=a1Xt−1+⋯+apXt−p+ϵtX_t=a_1X_{t-1}+\cdots+a_pX_{t-p}+\epsilon_tXt=a1Xt−1+⋯+apXt−p+ϵt,式中{ϵt\epsilon_tϵt}为独立同分布白噪声序列;Eϵt2=σ2E\epsilon^2_t=\sigma^2Eϵt2=σ2,来自{XtX_tXt}的样本为X1,X2,⋯,XnX_1,X_2,\cdots,X_nX1,X2,⋯,Xn,要估计a1,a2,⋯,ap原创 2021-05-23 20:40:07 · 3037 阅读 · 0 评论 -
MIT公开课-环境工程与控制-优化
Computing and Data Analysis for Environmental ApplicationsWater Resource SystemsEnvironmental Engineering Applications of Geographic Information SystemsEnvironmental Engineering Masters of Engineering ProjectSystems Optimization: Models and Computatio.原创 2021-05-23 10:03:07 · 278 阅读 · 0 评论 -
慎重用EXCEl进行公式拟合!!!
excel曲线拟合的公式系数通常保留位数,对于数量级相差较大的变量进行公式拟合的时候,最好选用其他专业的程序或者软件进行,不然可能会导致非常大的误差,进而使得后续的计算错误。原创 2021-04-10 15:31:22 · 1794 阅读 · 0 评论 -
Matplotlib绘图的字体问题
记录一下,方便自己绘图的查阅,首先自己常用的自定义配置可以写到.mplstyle文件中,直接用plt.style.use('my.mplstyle')设置中英文混用+非斜体文本在中文论文中,可能出现中英文混用的标签等,参考Matplotlib 中英文及公式字体设置使用Matplotlib内置tex进行配置即可,(英文字体有限通常是times new roman受限于\mathrm命令,宋体+Times new roman(非斜体的文本或者单位)+公式)代码如下:import matplotli原创 2021-01-01 20:34:38 · 2199 阅读 · 0 评论 -
netCDF文件的scale_factor和add_offset
我使用python的netCDF4读取数据,发现数据集存在scale_factor和add_offset,但是我读取的数据应该是Unpacking data,也就是转换后的实际数据,不需要再处理,因为数据压缩是通过偏移和缩放之后将浮点数转化为整数,为了验证正确性,我通过下列代码验证:from netCDF4 import Datasetfilename = r'geopotential....原创 2020-04-08 15:47:07 · 9600 阅读 · 8 评论 -
如何获取ERA-Interim Reanalysis日降雨量数据
ERA-Interim数据的API下载请参考:https://blog.csdn.net/weixin_42924891/article/details/85225062import linecachefrom ecmwfapi import ECMWFDataServera = [31,28,31,30,31,30,31,31,30,31,30,31]for i in range(2...原创 2020-03-01 14:34:25 · 2986 阅读 · 2 评论 -
seaborn 热力图边缘只有一半???
matplotlib3.1.1版本的bug解决方法:1. 重新按照其他版本,更新或者回退2.ax = sns.heatmap(...);bottom, top = ax.get_ylim()ax.set_ylim(bottom + 0.5, top - 0.5)ref:https://stackoverflow.com/questions/56942670/matplot...原创 2020-02-15 23:46:02 · 1743 阅读 · 2 评论 -
机器学习得分函数
关于sklearn中GridSearch等中中scoring参数,有两个问题,一个问题关于一些不可能为负数的指标输出的误差有负数,说明其中做了一些处理,至于怎么处理的还没看懂,留着有空了看一下。还有一个问题是格网调参的时候的cv参数。问题1:非负指标有负数,做了什么处理为什么这么处理。参考链接:https://stackoverflow.com/questions/21050110/skl...原创 2020-02-08 23:40:03 · 2100 阅读 · 0 评论 -
应用机器学习方法进行多步预测的四种策略
//TODO 有空了我找个例子使用python和MLP实现对比一下四种策略参考:[1] 4 Strategies for Multi-Step Time Series Forecasting, 2017[2]Machine Learning Strategies for Time Series Forecasting, 2013[3]Recursive and direct m...原创 2020-02-05 16:07:15 · 1428 阅读 · 0 评论 -
数据序列相关性-ACF,PACF和CCF
引言最近写论文关于预测的特征选择遇到一些问题,想把自己查询学习到的东西整理记录一下,理一理头绪,希望能加深自己对这些东西的理解。首先介绍引入几个概念:自相关函数(autocorrelation function,ACF)、偏自相关函数(partial autocorrelation,PACF)和互相关函数(cross-correlation function,CCF)。接下来介绍每个指标的计...原创 2020-01-30 17:49:22 · 22061 阅读 · 6 评论 -
ECMWF-ERA和ERA5关于累积变量的下载和处理
下载气象数据产品,首先注意到单位,其次看数据是否变换(scale,add_offset,为了存储可能会缩放或者增加偏移等)。这里我为了自己便于查阅,也为了大家能很快看到关于ERA数据的累积量的说明,贴两个网址:1.https://confluence.ecmwf.int/pages/viewpage.action?pageId=566582332.https://confluence....原创 2019-05-15 08:16:14 · 6438 阅读 · 7 评论 -
python界面登录-验证码(三)
真的要好好学一下写作了,等好好的有条理的整理自己做过的工作才能方便的进行下一步的使用,能整理好自己的学习的东西才能提高效率,更加明确的进行下一步的工作提高自己的工作效率!!!下一步就是在以下前提下进行网页的登录和课程的查询了:import osimport timefrom bs4 import BeautifulSoup from selenium import webdriv...原创 2019-01-14 10:57:02 · 1550 阅读 · 0 评论 -
python实现多元线性回归
用python实现多元线性回归,先不使用sklearn.linear_model模块,编写如下:#导模块import numpy as npimport pandas as pd#变量初始化X=[]Y=[]B=[]Q_e=0Q_E=0#从csv文件中读取数据def get_data(file_name): data=pd.read_csv(file_name,heade...原创 2018-10-16 19:54:27 · 7369 阅读 · 0 评论 -
python实现逐步回归
逐步回归的基本思想是将变量逐个引入模型,每引入一个解释变量后都要进行F检验,并对已经选入的解释变量逐个进行t检验,当原来引入的解释变量由于后面解释变量的引入变得不再显著时,则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程,直到既没有显著的解释变量选入回归方程,也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。本例的逐步回归则...原创 2018-10-25 08:49:09 · 22637 阅读 · 37 评论 -
python实现门限回归
门限回归模型(Threshold Regressive Model,简称TR模型或TRM)的基本思想是通过门限变量的控制作用,当给出预报因子资料后,首先根据门限变量的门限阈值的判别控制作用,以决定不同情况下使用不同的预报方程,从而试图解释各种类似于跳跃和突变的现象。其实质上是把预报问题按状态空间的取值进行分类,用分段的线性回归模式来描述总体非线性预报问题。多元门限回归的建模步骤就是确实门限变量、...原创 2018-10-28 15:16:13 · 5628 阅读 · 2 评论 -
利用python的bs4和selenium库结合实现动态页面的爬取(爬取天气网上面的历史天气数据)
报告分析需要历史气象数据,查询到天气网上面有历史天气数据,从2011年到2018年,第一次接触爬虫,在网上找了爬取天气网历史数据的python源码,利用bs4库,但是实际操作中发现soup.select( )函数返回的列表总是[ ] (空),查询发现天气网目前使用的是javascript写的动态页面,可能是为了防止爬虫接入。经过查资料又找到了一种爬取动态页面的方法,经尝试方法有效,写个博客记录一下...原创 2018-12-17 13:01:37 · 3640 阅读 · 0 评论 -
IEDriverServer来操控sendkeys方式时,输入速度非常慢
通过调用64位IEDriverServer来操控sendkeys方式时,输入速度非常慢。网上说是64位有bug。解决办法:使用32位IEDriverServer。亲测有效。IEDriverServer链接:http://selenium-release.storage.googleapis.com/index.html ...原创 2019-01-11 11:29:47 · 1551 阅读 · 0 评论 -
scikit-learn中的多层感知器调用模型输出数据类型为float出现Unknown label type: 'unknown'
受下面截图的启发,说的意思好像是输出类型必须是绝对的(categorical),train_y后加上astype(‘int’)即可,fit(train_x,train_y.astype(‘int’)),但是不能试astype('float'),用这个还是会报错,具体原因我不清楚,解决方法就是把输出数据乘以一个数例如10000,然后转换成整数,最后记得对预测集合除10000进行转化。参考链接:1.h...原创 2019-01-06 19:33:33 · 967 阅读 · 1 评论 -
python爬虫登录界面-验证码
选课真的是个苦恼的事,每次都一到时间都登录不上,登录上以后都没的选了,偶尔有人退课也不能一直盯着等待选课,想着使用爬虫进行自动监测和选课。通过分析这次操作过程,决定还是利用selenium,主要由两个点之前没有做过,一个是输入表单的账号和密码提交登录,还有一个就是验证码的问题,由于目前选课已经完成,所以程序做了一半,可以登录进去找到要选的课程,有部分bug未修复,也没有完整的完成选课过程,但是用到...原创 2019-01-14 10:29:39 · 1615 阅读 · 3 评论 -
python爬虫界面登录-验证码(二)
继续刚才的说,刚才的pytesseract的安装目录通常都在python或者anaconda目录下的Lib\site-packages\pytesseract目录下。配置完之后就可以用了,用下面的代码就行验证码的保存和识别。driver.save_screenshot('f://aa.png') # 截取当前网页,该网页有我们需要的验证码imgelement = driver.find_...原创 2019-01-14 10:39:30 · 766 阅读 · 0 评论 -
python实现一元线性回归
最近在看中长期水文预报,打算使用python语言实现课本的模型并进行实例的计算结果的检验,为了监督自己和整理记录自己实现的模型代码,打算写博客记录自己的代码实现和部分思路。首先,自己不使用现成的模块实现的是一元线性回归模型,然后和模块实现对比,学习模块的调用。接下来是直接编写的程序文件,并计算了几个检验系数,没有使用sklearn模块:#导模块import numpy as npimpo...原创 2018-10-16 15:22:14 · 2851 阅读 · 0 评论