python
文章平均质量分 58
冬之晓东
国家对地观测科学数据中心信息发布
展开
-
图像分类之PaddleClas网络预训练模型加载方法
PaddlePaddle简介PaddlePaddle是非常好用的深度学习库,尤其是2.0版本发布以来,高低层API可以自由结合使用,优点如下:可以像tensorflow里面的keras一样非常方便的用几行代码完成模型构建和训练可以像pytorch一样使用通过继承layer层方便结合各种高级神经网络模型PaddleClas为了保持PaddlePaddle主库的核心功能性(主要实现基本算子的优化加速代码),网络种类不能太多,通常不会加入太多高级网络,因此只会留少量的常用的基础网络。如果我们想要体原创 2021-03-12 23:22:31 · 2777 阅读 · 0 评论 -
xpath使用的相关常用操作
今天准备总结一下前一段编写的爬虫程序,该程序 使用的框架是Scrapy,这里推荐崔庆才的个人博客。 写的非常详细,我按照他的描述,自己完成了爬取Nature官网 里面文章相关信息的程序。关于该框架的使用,崔庆才在博客中已经写得非常清楚了,这里仅仅提供代码中关于xpath使用的相关 常用操作:选取节点下面列出了最有用的路径表达式:表达式描述nodename选取...原创 2018-02-26 21:18:45 · 1701 阅读 · 0 评论 -
使用Seaborn绘图
今天,总结Seaborn画图,其实直接网上搜索Seaborn画图的博客有很多,但是很多都是直接把说明文档罗列一下, 我这里举个例子说明下我使用Seaborn要解决的一个具体问题。 (先列下提纲,以后补充~)问题描述有100样本,每个样本8个属性的数据,如下图:我需要画出这些数据。Seaborn函数的标签与API规律查看Seaborn官网的API,可以看到整个Seab...原创 2018-02-28 11:14:25 · 3743 阅读 · 1 评论 -
使用Python进行数据关联分析
关联分析选择函数包关联分析属于数据挖掘的一大类。我发现的python语言实现的包有两个:pymining:根据Apriori算法进行关联规则挖掘Orange3的关联规则库:根据FP-growth算法进行关联规则挖掘经过分析,我决定使用Oranges进行关联规则的实现,原因如下:FP-growth算法比Apriori算法时间复杂度低Orange3是一整套数据挖掘工具...原创 2018-03-01 14:43:21 · 53876 阅读 · 41 评论 -
Pandas的Apply函数——Pandas中最好用的函数
Pandas最好用的函数Pandas是Python语言中非常好用的一种数据结构包, 包含了许多有用的数据操作方法。而且很多算法相关的库函数的输入数据结构都要求是pandas数据,或者有该数据的接口。仔细看pandas的API说明文档, 就会发现有好多有用的函数,比如非常常用的文件的读写函数就包括如下函数:Format TypeData DescriptionRe...原创 2018-02-22 18:22:04 · 211744 阅读 · 14 评论 -
python异常处理和日志处理
python异常处理和日志处理今天,总结一下最近编程使用的python异常处理和日志处理的感受,其实异常处理是程序编写时非常重要 的一块,但是我一开始学的语言是C++,这门语言中没有强制要求使用try...catch语句,因此我通常 编写代码的时候忽略了这一块,直到开始学习java的时候,发现好多时候编写代码必须加上try...catch 模块,然而我每次都不深入理解,仅仅使用eclip...原创 2018-03-23 14:01:33 · 3759 阅读 · 2 评论 -
学习pyqt(一)————简单介绍
对于PyQt5的编程,这个网站有一些简单的入门教程,非常不错,比如这个网站。 看完后,感觉使用PyQt5编写界面的程序真的是非常简单,跟我当年 直接用qt编程非常像,果然,以前学习qt的经验对于使用python的 qt模块来说非常有用。但是我感觉仅仅使用代码组合成的界面编程不能令我满足,只有 QML与PyQt5的联合编程才更有意思,于是我就研究了一下如何联合编程,完成了一个简单的QML ...原创 2018-04-02 18:40:38 · 1122 阅读 · 1 评论 -
Statsmodels的学习(一)——总述
statsmodels是一个Python模块,它提供对许多不同统计模型估计的类和函数,并且可以进行统计测试和统计数据的探索。 说实话,statsmodels这个词我总是记不住,但是国宝“熊猫”这个单词pandas我还是记得住的,因此每次我打开statsmodels的方式是:百度搜索pandas,然后进入pandas官网点击里面的documentation进入对应标签页面选择下方pand...翻译 2018-05-02 19:04:15 · 47424 阅读 · 0 评论 -
Statsmodels的学习(二)——Linear Regression
Linear Regression基本介绍线性回归,该标签下的函数主要处理线性模型,并且要求这些线性模型具有独立和恒等分布误差或者具有异方差或自相关的误差。 该模块允许用普通最小二乘(OLS)、加权最小二乘(WLS)、广义最小二乘(GLS)和可行的广义最小二乘(p)误差进行估计。数学模型这一类模型假设如下方程:Y=Xβ+μ,其中μ∼N(0,Σ)Y=Xβ+μ,其中μ...翻译 2018-06-15 18:23:33 · 13451 阅读 · 0 评论 -
使用Python进行层次聚类(三)——层次聚类簇间自然分割方法和评价方法
簇间自然分割方法今天,主要研究一下层次聚类在进行数据运算的时候,对数据结果进行自然簇分离而需要分析的API————inconsistent() 该函数是计算层次聚类不一致系数的,不一致系数越大,表明使用该阈值进行聚类的偏差越大。这样按照该不一致系数下的阈值进行聚类即相对于其他 情况下的阈值更不适合,因此可以进行自然簇的分离,即取阈值为该不一致系数下小一点即可。解释在这里下面介绍API的...原创 2018-06-16 08:47:19 · 9813 阅读 · 1 评论 -
使用Python语言进行机器学习工作流的实例分析
最近,在kaggle上找到一位大牛写的机器学习算法总结,感觉流程清晰,内容详实,因此翻译并分享下,由于作者不明原因将原文删除了,所以没法放上原文地址,文中主要以代码实践的方式展开各种算法,原理方面参考文中的地址连接(这是自己加上的),以便时查阅~目录目录使用Python语言进行机器学习工作流的实例分析1. 介绍2. 机器学习工作流程3 问题定义3.1 问题特征3.2 目标...翻译 2018-12-05 08:35:21 · 2074 阅读 · 1 评论 -
安装GPU版Pytorch注意事项
安装时常用命令:A. cat /proc/driver/nvidia/version #查看当前计算机已安装的cuda驱动版本和gcc版本B. nvcc -V #查看当前计算机已安装的cuda工具包版本C. cat /proc/version #查看Ubuntu系统版本参考资料:A. https://docs.nvidia.com/cuda/cuda-toolkit-releas...原创 2019-06-13 11:08:50 · 1568 阅读 · 0 评论 -
使用Python进行层次聚类(一)——基本使用+主成分分析绘图观察结果+绘制热图
Python常用数据挖掘的工具包python对于数据处理非常有好的语言,比如常用的scikit-learn和scipy都可以用来进行机器学习和数据挖掘。同时为了使得结果可视化,Python还提供了非常好用的可视化工具包matplotlib和seaborn。使用Python进行层次聚类聚类对于机器学习和数据挖掘来说都是一个非常常用的的工具。其中层次聚类又以其显示效果和可解释效果好而在...原创 2018-01-22 21:30:45 · 50727 阅读 · 45 评论 -
python学习(八)----numpy模块相关函数
dotNumPy是高性能科学计算和数据分析的基础包numpy的ndarray:一种多维数组对象数组创建函数 函数 说明 array 将输入数据(列表、元祖、数组或其他序列类型)转化为ndarry。要么推断出dtype,要么显示指定dtype。默认直接复制输入数据 asarray 将结构数据转化为ndarray,但是和array的主要区别就是原创 2017-08-11 09:58:54 · 1540 阅读 · 2 评论 -
python学习(六)----Python魔术方法总结
元方法含义转载 2017-07-28 13:54:54 · 1121 阅读 · 0 评论 -
python学习(九)----pandas模块相关函数
pandas的基本数据结构原创 2017-08-13 18:34:37 · 1678 阅读 · 0 评论 -
python学习(五)----Python标准异常总结
Python标准异常总结转载 2017-07-28 13:44:59 · 345 阅读 · 0 评论 -
python学习(一)----os模块中常用方法总结
os模块中关于文件/目录常用的函数使用方法函数名转载 2017-07-28 13:16:22 · 966 阅读 · 0 评论 -
python学习(三)----集合类型内建方法总结
集合类型内建方法总结转载 2017-07-28 13:24:29 · 345 阅读 · 0 评论 -
python学习(四)----文件相关方法
文件打开模式 打开模式转载 2017-07-28 13:27:46 · 223 阅读 · 0 评论 -
python学习(二)----字符串常用方法及注释
字符串的方法及注释转载 2017-07-28 13:20:42 · 321 阅读 · 0 评论 -
python学习(七)----time模块相关函数
time 模块 – 时间获取和转换转载 2017-07-28 14:37:33 · 5617 阅读 · 0 评论 -
python学习(十)----matplotlib模块相关函数
matplotlib模块是用来创建图表的桌面绘图包。原创 2017-08-18 22:07:54 · 4294 阅读 · 0 评论 -
python学习(十一)----数据加载相关函数
下面主要使用pandas包里面的数据加载函数进行讲解。原创 2017-08-18 23:55:59 · 562 阅读 · 0 评论 -
python机器学习(2.3)-----聚类
翻译学习聚类网址:http://scikit-learn.org/stable/modules/clustering.html原创 2017-09-14 21:32:54 · 422 阅读 · 0 评论 -
python函数里面的装饰器和闭包的理解
最近看了看《python核心编程》感觉里面函数里面的一些高级主题中的装饰器和闭包很有意思,所以特此记录下来,以后忘记的话可以回顾一下。原创 2016-03-25 10:05:45 · 1559 阅读 · 0 评论