- 博客(156)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 Pytorch卷积神经网络各层介绍与实现
本文将讲解，PyTorch卷积神经网络各层实现与介绍，包括：基本骨架–nn.Module的使用、卷积操作、卷积层、池化层、激活函数、全连接层的介绍。😜 对于相关原理，可以跳转👉😜 后续会以CIFAR10数据集作为案例，关于CIFAR10数据集在上篇中有详细的介绍，可以跳转👉。
2023-11-09 13:37:49
497
原创 Hadoop 生态圈及核心组件简介Hadoop|MapRedece|Yarn
大数据Hadoop、mapreduce、yarn，Hadoop生态圈总结，侠义上Hadoop指的是Apache软件基金会的一款开源软件允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理Hadoop核心组件HDFS:分布式文件存储系统，解决海量数据存储YARN:集群资源管理和任务调度框架，解决资源任务调度MapReduce:分布式计算框架，解决海量计算广义上Hadoop指的是围绕Hadoop打造的大数据生态圈Hadoop集群包括两个集群：HDFS集群、YARN集群。
2023-04-12 01:01:38
6156
3
原创 Python时间序列分析--ARIMA模型实战案例
本文将介绍使用Python来完成时间序列分析ARIMA模型的完整步骤与流程时间序列分析概念**《时间序列分析》**是统计学中的一个非常重要的分支，是以概率论与数理统计为基础、计算机应用为技术支撑，迅速发展起来的一种应用性很强的科学方法。时间序列是变量按时间间隔的顺序而下形成的随机变量序列，大量自然界、社会经济等领域的统计指标都依年、季、月或日统计其指标值，随着时间的推移，形成了统计指标的时间序列，例如，股价指数、物价指数、GDP和产品销售量等等都属于时间序列。建立模型基本步骤ARIM.
2020-12-22 10:09:46
38373
74
原创 Pytorch---实现神经网络模型在GPU上进行训练
如果可用的话device就采用cuda()即调用GPU，不可用的话就采用cpu()即调用CPU。通过调用to(device)方法将模型的参数和缓冲区移动到指定的设备上。在迭代训练和测试数据之前，将数据也移动到GPU上。具体的GPU编号取决于系统中GPU的配置和可用情况。中的代码为例，采用GPU训练。3.将数据也移动到GPU上。
2023-11-30 16:42:53
906
原创 Pytorch完整的模型训练套路
使用适当的库加载数据集，例如torchvision、TensorFlow的tf.data等。将数据集分为训练集和测试集，并进行必要的预处理，如归一化、数据增强等。创建机器学习模型，可以是深度神经网络、传统机器学习模型或其它模型类型。定义模型架构，包括输入层、隐藏层和输出层的结构、激活函数、损失函数等。定义适当的损失函数来计算模型预测结果于真实标签之间的差异。选择适当的优化器算法来更新模型参数，如随机梯度下降（SGD）、Adam等。从训练集中获取一批样本数据，并将其输入模型进行前向传播。
2023-11-21 13:07:16
1201
2
原创 Pytorch模型使用与修改、保存与加载
本文介绍Pytorch模型使用与修改、保存与加载。将以图像处理中torchvision为例，PyTorch通过torchvision.models模块提供了更多的预训练模型。
2023-11-14 09:22:54
335
原创 Pytorch公共数据集、tensorboard、DataLoader使用
本文将主要介绍torchvision.datasets的使用，并以CIFAR-10为例进行介绍，对可视化工具tensorboard进行介绍，包括安装，使用，可视化过程等，最后介绍DataLoader的使用。希望对你有帮助。
2023-10-23 21:03:22
766
1
原创 数据仓库技术与Hive入门
在理论上，任何一款编程序言只要具备读写数据、处理数据的能力，都可以用于数仓的开发，例如：Python，JAVA、C等关键在于编程语言是否易学、好用、功能是否强大，不论从学习成本还是开发效率，上述的编程语言不是很友好，在数据分析领域，不得不提的就是SQL，分析领域主流开发语言SQL：结构化查询语言(Structured Query Language)，是一种数据据库查询和程序设计语言，用于存储数据已经更新和管理数据SQL语言功能强大，核心功能秩序用9个动词，语法接近英语口语，用户很容易学习和使用。
2023-06-17 23:26:35
882
1
原创 卷积神经网络CNN各层基本知识
卷积神经网络(CNN)由输入层、卷积层、激活函数、池化层以及全连接层构成。INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层）简单来说：卷积用来提取特征，池化压缩特征，全连接层用来加权重。
2022-11-26 23:10:31
12470
1
原创 Python绘制三维图详解
x_,y_返回网格数组，通过打印x_和y_的形状，可以看到x_,y_都是(100*50) 的二维数组，也就是数组x的长度乘以数组y的长度。画曲面的第一步是就是要创建一个二维平面的网格，在Python当中，我们使用。然后调用numpy中的meshgrid函数，进行网格化操作。创建数据:首先创建x和y，它们的范围都是(-1,1)函数,在matlab中也是这个函数哦。利用Python绘制三维图。目标： 绘制图像。
2022-11-23 13:45:48
8018
1
原创 Python对豆瓣电影Top250并进行数据分析
由于CSDN审核机制，导致原文章无法发出，故修改了相关词汇，并改为两篇问章发布。利用Python对电影进行获得，收集相关的信息，并且利用Python进行数据分析，获取’排名’,‘电影名称’,‘导演’,‘上映年份’,‘制作国家’,‘类型’,‘评分’,‘评价分数’,'短评’等字段，探索相关的数据。
2022-11-07 17:16:54
4840
1
原创 Python疫情数据获取与可视化展示
使用Python获取疫情数据，并使用pyecharts可视化，绘制国内、国际日增长人数地图，matplotlib绘制方寸图。同时代码是在notebook中完成，随笔记录所的所学，此博客为我记录文章所用，发布到此，仅供网友阅读参考。作者:北山啦写在前面：这个已经不是什么新鲜的话题了，所以请大佬勿喷我服了，这个CSDN,由于网页变化，爬取代码报错，修改后，就G了。为了能发出来，我要修改一些keywords。导入相关模块。
2022-11-07 11:54:49
1621
2
原创 通道分离与合并、彩色图转换为灰度图、二值化
图像运算指以图像为单位进行的擦欧总、该操作对图像中的所有像素同样进行，运算的结果是一幅其灰度分布与原来参与运算图像灰度分布不同的新图像。具体的运算主要包括算术和逻辑运算，它们通过改变像素的值来得到图像增强的效果。，两个图的RGB元素相加超过了255时，会重新循环到另外一个值，我们只需要两者都取权重0.5，就可以避免这样的问题。但是，调用cv.addWeighted()，就不会出现这样的情况,它会自动的截断。对于彩色的图像的处理，主要包括：通道分离与合并、 彩色图转灰度图、二值化图像。利用cv现成的api。
2022-10-24 01:10:00
1904
1
原创 我的创作两周年纪念日
其实CSDN给我发来这条信息的时候，也是我很迷茫的时候，对于新的课题，新的研究方向，新的环境，我感到无所适从。有过一段时间懒散下来，发现重新拾起很费力，所以既然决定要做，就要一直走下去，我的创作纪念日似乎在提醒我当初为什么出发，创作方面还是要坚持下去，。到后来，由于考研，就停更了半年之久，现在也会在闲暇之余，继续写下自己在科研上遇到的问题，当然创作方面还是要坚持下去，曾家有过一段时间懒散下来，发现重新拾起很费力，所以既然决定要做，就要一直走下去，加油。问题，都在这里得到满意的答案，收获颇多。
2022-10-18 16:21:13
1084
2
原创 Citespace的安装与简单使用
对于科研工作者而言，知识图谱无疑对于热点搜集以及可视化，是一个不错的展现方式，本文将讲解Citespace的安装以及简单使用。
2022-10-10 01:54:17
6702
17
原创 citespace:Your version‘s status cannot be verified due to network issue. Check your network conne
在启动CiteSpace时，报错了。在网上查阅了很久了，终于解决了，大致分两步走，希望对你有所帮助，祝你科研顺利☀️☀️☀️☀️☀️☀️☀️☀️☀️☀️☀️☀️☀️☀️☀️。如果你解决了，那就恭喜你，第一个是网络上我查到的方法，但是我的citespace还是无法启动，那就再做第二步。不出意外的话，问题就解决了，如果还报错的话，就建议让别人给你开下热点，再试试。启动citespace时，报错，废话不多说，直接上解决方法。可能是如下两个原因：1. 校园网 2. 防火墙。希望对你有帮助，我是北山啦。
2022-10-09 16:33:55
7411
10
原创 图像的线性变换和非线性变换
图为γ取不同值时的情况，例如，当原图像的像素值为0.2时，γ=1.5时，现图像的像素值小于0.2，γ=1时，现图像的像素值等于0.2.当γ=0.5时，现图像的像素值大于0.4.逐像素运算就是对图像的没一个像素点的亮度值，通过一定的函数关系，转换到新的亮度值。其中c为常数,通常取1，γ也为常数，r的范围为[0,255]，通常会放缩到[0,1]是一个截取函数，用于截取数组中小于或者大于某值的部分，并使得被截取部分等于固定值。其中r为原来的像素值，s为新的像素值，通常采用的函数了单调函数进行变换。
2022-09-07 11:46:41
3548
原创 numpy在数字图像处理中的应用
本文主要介绍numpy在数字图像处理中的应用,其中包括:矩阵创建、矩阵转换、基本操作、矩阵运算、元素获取、读取显示图像、简单绘图、
2022-08-31 16:51:05
2342
原创 RIP光栅图像处理器
RIP全称光栅图像处理器。它关系到输出的质量和速度，甚至整个系统的运行环境，可以说是彩色桌面出版系统的核心。RIP的主要作用:将计算机制作版面中的各种图像、图形和文字解释成打印机能够记录的点阵信息,然后控制打印机将图像点阵信息记录在纸上或胶片上。图像的加网也是在输出过程中由RIP完成的，各RIP生产厂家都有自己的加网算法，不同的算法会产生不同的效果，RIP的加网算法直接影响到图像的质量和输出的速度。......
2022-08-29 14:54:16
1788
原创 子类调用父类的同名方法和属性
Python面向对象中，利用子类调用父类的同名方法和属性。首先我们定义了两个父类，和在这里，定义Prentice类，继承了Master和School类，添加了和父类同名属性和方法
2022-06-05 15:22:31
1812
1
原创 Python常看函数用法，返回值类型
Python的函数非常多，可以使用help()函数来初略的获得函数的用法help(print)Help on built-in function print in module builtins:print(...) print(value, ..., sep=' ', end='\n', file=sys.stdout, flush=False) Prints the values to a stream, or to sys.stdout by default.
2022-05-28 10:00:00
1572
原创 Python闭包、装饰器、语法糖
函数高级的用法，本文将使用案例来讲解Python闭包、装饰器、语法糖。文章目录函数高级闭包装饰器语法糖函数高级我们前面已经学过了函数，我们知道当函数调用完，函数内定义的变量都销毁了，但是我们有时候需要保存函数内的这个变量，每次在这个变量的基础上完成一些列的操作，比如: 每次在这个变量的基础上和其它数字进行求和计算，那怎么办呢?我们就可以通过咱们今天学习的闭包来解决这个需求。闭包在函数嵌套的前提下，内部函数使用了外部函数的变量，并且外部函数返回了内部函数，我们把这个使用外部函数变量的内部函数成为闭
2022-05-25 09:30:00
877
原创 Deep Learning Chapter02：Python基础语法回顾
Deep Learning Chapter02：Python基础语法回顾由于一年多没有接触python，现在恶补了下python基础语法，为以后的深度学习打下基础。现总结如下,希望对大家有所帮助。文章目录Deep Learning Chapter02：Python基础语法回顾Python入门环境搭建注释变量输入输出数据类型运算符流程控制条件语句循环while嵌套以及他的应用数据序列字符串列表元组字典集合公共方法推导式函数函数定义具体例子函数说明文档嵌套使用变量作用域函数的返回值、参数lambda表达式
2022-05-20 17:30:00
950
原创 Anaconda建立pytorch虚拟环境
Anaconda建立新的虚拟环境，并安装pytorch。最近开始学习Pytorch深度学习框架，由于安装某版本PyTorch库的过程中，会自动替换其所有依赖库(比如numpy等科学计算基础库)至相应匹配的版本。因此，自动换掉的基础库很有可能与其他高级库产生不匹配的冲突，导致原先功能无法正常使用，也就是原先的运行环境被污染了。为了避免这种污染的发生，最好新建一个环境，单独安装PyTorch及其依赖的所有库，互不干扰，避免毁坏原先辛辛苦苦配好的运行环境。打开Anaconda的Prompt创建新的
2022-05-12 14:31:36
9227
2
原创 Deep Learning Chapter01：机器学习中概率论
概率论和数理统计随机事件和概率1.事件的关系与运算(1) 子事件：A⊂BA \subset BA⊂B，若AAA发生，则BBB发生。(2) 相等事件：A=BA = BA=B，即A⊂BA \subset BA⊂B，且B⊂AB \subset AB⊂A 。(3) 和事件：A⋃BA\bigcup BA⋃B（或A+BA + BA+B），AAA与BBB中至少有一个发生。(4) 差事件：A−BA - BA−B，AAA发生但BBB不发生。(5) 积事件：A⋂BA\bigcap BA⋂B（或AB{AB}AB），
2022-05-09 18:02:02
825
原创 Deep Learning Chapter01：机器学习中线性代数
Deep Learning Chapter01：机器学习中线性代数好久不见，大家好，我是北山啦。机器学习当中需要用到许多的数学知识，如今博主又要继续踏上深度学习的路程，所以现在在网上总结了相关的考研数学和机器学习中常见相关知识如下，希望对大家有所帮助。线性代数行列式1.行列式按行（列）展开定理(1) 设A=(aij)n×nA = ( a_{{ij}} )_{n \times n}A=(aij)n×n，则：ai1Aj1+ai2Aj2+⋯+ainAjn={∣A∣,i=j0,i≠ja_{i1}A_{
2022-05-09 14:25:08
765
原创 Deep Learning Chapter01：机器学习中高数知识
机器学习当中需要用到许多的数学知识，如今博主又要继续踏上深度学习的路程，所以现在在网上总结了相关的考研数学和机器学习中常见相关知识如下，希望对大家有所帮助。
2022-05-08 13:01:50
1231
原创 Python爬虫常用库requests、beautifulsoup、selenium、xpath总结
文章目录requestsrequests基础requests模块发送get请求response响应对象response.text 和response.content的区别解决中文乱码response响应对象的其它常用属性或方法requests实操requests模块发送请求发送带参数的请求超时参数timeout的使用requests发送post请求的方法BeautifulSoup常见解释器的优缺点常用操作几个简单的浏览结构化数据的方法从文档中找到所有的< a>标签的链接在文档中获取所有的文字内容
2021-07-05 13:38:44
25157
529
原创 数据可视化系列文章导航
数据可视化系列文章导航文章目录数据可视化系列文章导航1 Tableau从入门到精通2 Tableau数据可视化案例3 Python数据可视化Spss时间序列分析1 Tableau从入门到精通通过14次的系统学习，全面了解Tableau各种图形的绘制以及使用方法，使你无论在学习还是职场都事半功倍，提升效率。从易到难，从简单图形的绘制到基础方法再到高阶的炫酷图表制作，再升华，除了大家熟悉的统计软件Spss、Eviews、Excel。Tableau也可以做简单的统计分析，最后一篇涉及到统计学中回归分
2021-06-24 13:40:59
2886
6
原创 Tableau数据分析-Chapter14线性回归、时间序列分析
本专栏将使用tableau来进行数据分析，Tableau数据分析-Chapter14线性回归、时间序列，记录所得所学，作者：北山啦文章目录本节要求本节要求
2021-06-23 18:46:29
3520
5
原创 Tableau数据分析-Chapter11 范围-线图、倾斜图
Tableau数据分析-Chapter11 范围-线图、倾斜图本专栏将使用tableau来进行数据分析，Tableau数据分析-Chapter11 范围-线图、倾斜图，记录所得所学，作者：北山啦文章目录Tableau数据分析-Chapter11 范围-线图、倾斜图推荐阅读：Tableau数据分析-Chapter01条形图、堆积图、直方图Tableau数据分析-Chapter02数据预处理、折线图、饼图Tableau数据分析-Chapter03基本表、树状图、气泡图、词云Tableau数
2021-06-20 15:57:59
2503
1
原创 Tableau数据分析-Chapter13雷达图和凹凸图
本专栏将使用tableau来进行数据分析，Tableau数据分析-Chapter13雷达图和凹凸图，记录所得所学，作者：北山啦文章目录本节要求1 雷达图1.1 数据表处理1.2 创建计算字段1.3 调整雷达图视图2 凹凸图2. 1 超市各年份利润的凹凸图本节要求1 雷达图雷达图主要是用来进行多个维度的比较和分析1.1 数据表处理1.2 创建计算字段1.3 调整雷达图视图2 凹凸图2. 1 超市各年份利润的凹凸图推荐阅读：Tableau数据分析-Chapter01条形图、堆.
2021-06-18 17:03:49
2669
1
原创 Python+Tableau第七次人口普查可视化分析
浙江省人口普查分析汇报人：杨建松组 员：张治坤、罗世杰、王强、王龙、杨华平第七次人口普查人口数量变化图
2021-06-16 16:40:20
7383
13
原创 Tableau数据分析-Chapter12 网络图与弧线图
本专栏将使用tableau来进行数据分析，Tableau数据分析-Chapter12 网络图与弧线图，记录所得所学，作者：北山啦文章目录本节要求1 网络图1.1 简单的网络图1.2 创建各省份关系的网络图1.3 线路方式创建网络图2 弧线图2.1 创建表格2.2 创建弧线图2.3 调整弧线图参数本节要求1 网络图1.1 简单的网络图数据展示关联:表示两点的关系绘图步骤x->列，Y->行，并取消聚合度量标记选择"线"，关联->路径如果想.
2021-06-08 23:45:45
2872
1
原创 Python绘制时序图，ACF和PACF图
在时序分析众多模型中，最为基础也是最为重要的有AR§模型，MA(q)模型，以及两者的结合ARMA(p,q)模型，同时考虑ARMA模型的平稳性，若有一个或多个根落于单位圆上，则此时的ARMA模型称作自回归单整移动平均过程，ARIMA(p,d,q)模型。这里介绍Python绘制ACF和PACF图，进行模型定阶导入模块import sysimport osimport pandas as pdimport matplotlib.pylab as plt%matplotlib inlineim.
2021-06-03 21:26:43
36823
13
原创 Python 数据可视化--Seaborn绘图总结1
Python 数据可视化–Seaborn绘图总结Seaborn其实是在matplotlib的基础上进行了更高级的API封装，从而使得作图更加容易。同时它能高度兼容numpy与pandas数据结构以及scipy与statsmodels等统计模式referenceseaborn官网matplotlib实用绘图技巧总结 Seaborn教程10分钟python图表绘制文章目录类型lmplotkdeplotFacetGriddistplotlineplot类型Relational plot
2021-06-02 08:30:41
5318
5
原创 Python数据可视化--Seaborn绘图总结2
数据可视化-Seaborn简易入门数据可视化利器-Seaborn绘图总结seaborn官网：https://seaborn.pydata.org/Seaborn其实是在matplotlib的基础上进行了更高级的API封装，从而使得作图更加容易。seaborn一共有5个大类21种图，分别是：Relational plots 关系类图表relplot() 关系类图表的接口，其实是下面两种图的集成，通过指定kind参数可以画出下面的两种图scatterplot() 散点图lineplo
2021-05-29 11:25:40
3849
1
原创 Spark环境搭建、运行模式、RDD简单操作
安装一个简单的伪分布式Spark集群。实验环境前提是已经配置好Java、Hadoop了环境：Linux安装包版本：安装包存放路径：/usr/local实验原理安装配置：安装过程其实很简单，Spark是一个计算框架，功能就和Hadoop的MapReduce一样，Hadoop的MapReduce是不需要启动的，因MapReduce只是提供了一组计算的API，使用Yarn作为资源调度就行。环境监控：Spark集群配置好以后，可以使用sbin目录下的start-all.sh启动集群。启动集群
2021-05-18 11:35:08
4153
9
Python疫情数据获取与可视化展示
2022-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人