自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

用途:中英文学习笔记,如有侵权,可评论留言,及时清理;学历:NUS计算机硕士;SYSU地球物理学士

现主持开源项目:Geochemistry Pi (浙江大学),数据挖掘自动化Python框架,长期招聘远程科研实习生,有兴趣的友友可看博客置顶文章

  • 博客(15)
  • 收藏
  • 关注

原创 数字信号分析学习思想整理 | 基本框架

1.信号分析的基本思路:在不同的表达域把信号分解成简单信号的线性组合,通过对构成信号的基本单元的了解达到掌握信号特性的目的。2.信号的时域分析:通常是将连续时间信号表示为单位冲激信号δ(t)\delta(t)δ(t)的加权积分,将离散时间信号表示为单位脉冲信号δ(n)\delta(n)δ(n)的加权和。3.信号的频域分析:将连续时间信号表示为复指数信号(或谐波信号)ejwte^{jwt}ejwt的加权积分,将离散时间信号表示为复指数信号ejΩne^{j\Omega n}ejΩn的加权和。4.时域与频域

2021-04-17 15:52:45 1905 1

原创 DataWhale | WisdomOcean项目 | 数据分析 | 学习笔记(二)

赛题要求:通过分析渔船北斗设备位置数据,具体判断出是拖网作业、围网作业还是流刺网作业,本质是“轨迹(序列数据)+多分类”的任务,评估指标选用的是F1值。可能存在的特征工程切入点:表征渔船的轨迹表征渔船不同状态下的信息轨迹数据数据分析:基于不同类型渔船的轨迹可视化结果可知,其轨迹虽然有不同变化,但是仍然不具有很强的区分性。基于不同类型渔船的方向可视化结果可知,每个类别的渔船方向变化很快,因此此特征对于类别的判断不具有很强的区分性。基于不同类型渔船的轨迹速度分布图和分位图可知,其存在差异很大

2021-04-16 23:42:45 244

原创 DataWhale | WisdomOcean项目 | Python 地理空间数据处理 | 学习笔记(一)

Python地理空间数据处理常用库主要功能:(一)Shapely是python中开源的空间几何对象库,支持Point(点),LineString(线), Polygon(面)等几何对象及相关空间操作。几何对象可以和numpy.array互相转换。可以求线的长度(length),面的面积(area),对象之间的距离(distance),最小最大距离(hausdorff_distance)。可以对几何对象求几何中心(centroid),缓冲区(buffer),最小旋转外接矩形(minimum_rot

2021-04-15 00:04:07 242

原创 XPath解析库的使用详解

参考书籍:《Python3 网络爬虫开发实战》

2021-04-12 16:11:22 131

原创 为什么爬虫时需要设置Cookie值

参考书籍:《Python3网络爬虫开发实战》

2021-04-12 15:59:08 551

原创 爬虫返回状态码“521” 解决方案 | 设置Cookie解决

问题:在爬虫某个网页时,返回状态码为”521“,如何解决?Code:import requestsdef get_one_page(url): headers = { 'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36' } respons

2021-04-12 15:56:09 5784

原创 为什么用requests爬虫时需要User-Agent | python

参考书籍:《python3网络爬虫开发实战》

2021-04-12 14:10:11 298

原创 制作三维旋转动图(以三维PCA图为例)| Python

问题:如何用python绘制能够旋转的三维动图解决:Codeimport matplotlib.pyplot as pltfrom matplotlib import animation import numpy as npdef componential_plot_animated_3d(reduced_data, labels, pc, variable): """draw a animated componential plot in 3d for three principle

2021-04-10 13:04:27 3611 7

原创 re库 | 正则表达式必须掌握的基本用法 | Python

参考书籍: 《Python3网络爬虫开发实战》

2021-04-09 17:02:45 101

原创 计算机系统的层次结构 & 三种级别的语言(编译型和解释型)

针对相同的代码,编译型语言只需翻译一次,解释型语言每次出现都需要翻译.exe文件就是机器语言描述的程序,无需编译,只用加载即可运行

2021-04-08 13:18:36 624

原创 主存储器、运算器、控制器的基本组成 & 具体的工作过程

字(word)的大小需要看具体的计算机,可能是8bit,16bit,32bit,64bit宽带一般会说100Mbps ,下载时会显示10MB/s ,注意B和b的单位现在的计算机通常把MAR,MDR也集成在CPU内完成一条指令的三步骤:PC: 取指令IR:分析指令CU:执行指令...

2021-04-08 10:28:47 989

转载 Anaconda入门指南

概述很多学习python的初学者甚至学了有一段时间的人接触到anaconda或者其他虚拟环境工具时觉得无从下手, 其主要原因就是不明白这些工具究竟有什么用, 是用来做什么的, 为什么要这么做, 比如笔者一开始也是不明白为啥除了python之外我还需要这么一个东西, 他和python到底有啥联系和区别, 为啥能用来管理python.在使用过之后我才逐渐发现其实anaconda等环境管理工具究竟在做啥, 以及为什么我们需要他们来管理我们的python环境首先我们需要先去了解Anaconda诞生的目的.再去

2021-04-07 23:56:23 603

原创 PCA图 (主成分 biplot & 三维图) 绘制与解释 | python

问题:如何绘制二维的主成分图,以及如何解释?Code:import matplotlib.pyplot as pltimport numpy as npdef biplot(reduced_data, labels, pc, variable): """plot compositional biplot for two principle components :param reduced_data: data processed by PCA :param la

2021-04-05 22:12:37 22160 5

原创 分类问题之决策阈值 - precision vs recall 详解

什么是决策阈值?sklearn没有让我们直接设置决策阈值,但它让我们可以访问用于进行预测的决策得分(决策函数o/p)。我们可以从决策函数输出中选择最佳得分,并将其设置为决策阈值,并将小于该决策阈值的所有决策得分值视为负类(0),大于该决策阈值的所有决策得分值视为正类(1)。使用各种决策阈值的精度-召回率曲线,我们可以选择决策阈值的最佳值,以便根据我们的项目是面向精度还是面向召回率分别给出高精度(不太影响召回率)或高召回率(不太影响精度)。这样做的主要目的是根据我们的ML项目分别是面向精度的还是面向召回

2021-04-02 00:03:41 8029 2

原创 sklearn的decision_function (以SVC.decision_function()为例)详解

decision function是sklearn机器学习框架的分类器类中的一种method。该method基本上返回一个Numpy数组,其中每个元素表示分类器对x_test的预测样本是位于超平面的右侧还是左侧,以及离超平面有多远。它还告诉我们,分类器为x_test预测的每个值是正值(大幅度正值),还是负值(大幅度负值),以及相应的信任程度。decision function method背后的数学:让我们考虑SVM对于线性可分二进制类的分类问题:损失函数:这种线性可分的二分类的假设:优化算

2021-04-01 23:28:02 12216

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除