自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(82)
  • 收藏
  • 关注

原创 如何使用requirements.txt下载所有依赖库?

1. cd到requirements.txt所在文件夹。

2025-12-15 10:33:28 291

原创 如何修改Anaconda虚拟环境的名字?

这是Anaconda官方推荐的方法,因为conda没有直接的rename命令。1. 克隆旧环境为新名字。

2025-12-14 17:10:32 367

原创 开发环境和生产环境

用户真正有用的系统,必须稳定、安全、高效,不能乱动,数据是真的,改数据要非常小心。程序员写代码,调试用的,可以随便改,不怕出错,配置简单,数据是假的。正式营业的餐厅(不能出错,否则顾客遭殃)实验室(随便试,炸了没关系)

2025-12-03 13:48:45 141

原创 Jupyter中输入标题的方法

点击“单元格”→“单元格类型”→“标签”##### 五级标题。

2025-12-02 08:54:36 312

原创 【报错解决】AttributeError: ‘Series‘ object has no attribute ‘append‘

翻译:属性错误:'Series' 对象没有 'append' 属性。

2025-12-01 12:30:44 219

原创 jieba库安装兼容问题

jieba库只需要匹配Python版本。

2025-11-27 11:14:03 129

原创 深度学习模型预测过程

通过数据集和标签不断地更新可学习参数,最终获得了训练好的模型,本质上来讲就是一组参数。输入图像→预处理(缩放、归一化等)→按训练好的网络参数走一遍所有层→得到原始输出。在预测阶段,是需要把数据输入进去,一层一层计算,最后算出来它的标签即可。这就是为什么预测过程比训练模型的过程快速许多。在该阶段,只计算,不更新任何参数。

2025-11-26 16:07:41 118

原创 通用大模型在数据集极其杂乱的情况之下是怎么确保准确率的?

所以此时的“准确”是统计意义上的,而非事实意义上的。这是“大力出奇迹”的阶段,模型通过完形填空等方式,成为一个“无所不知”但“不善交流”的学者。那么,通用大模型的模型极其复杂,按理来说只可以处理极其复杂的数据集,但在此刻数据集极其杂乱的情况之下,是怎么确保准确率的?它鼓励模型从它学到的海量知识中,提取出最相关、最准确的部分来构成回答,而不是随意生成一个在统计上可能但事实上错误的内容。大模型的训练并非一步到位,它是一个多阶段的过程,每个阶段都在提升“准确率”(更广义地说,是“有用性、诚实性和无害性”)。

2025-11-13 15:20:20 971

原创 Hook钩子函数

比如,C++的MFC程序中,要监听鼠标左键按下的时间,MFC提供了一个onLeftKeyDown的钩子函数。很显然,MFC框架并没有为我们实现onLeftKeyDown具体的操作,只是为我们提供了一个钩子,当我们需要处理的时候,只要去重写这个函数,把我们需要的操作挂载在这个钩子里,如果我们不挂载,MFC事件触发机制中执行的就是空操作。2. 我们需要在有程序中钩子定义的函数块中实现某个具体细节,需要我们的实现、挂接或者注册到钩子里,使其可用。所以在原有程序的流程中,没有注册或挂载时,执行的是空。

2025-09-22 13:45:38 312

原创 鸿蒙(南向/北向)

鸿蒙的南向和北向开发是鸿蒙生态系统中两个不同的方向,它们各自关注不同的开发领域和方向。南向开发主要关注硬件层面的开发,包括硬件接口控制、设备驱动开发、鸿蒙系统内核开发等。南向开发的目标是使硬件设备能够兼容并运行鸿蒙系统,或者开发具备特定功能的物联网设备。南向开发者需要具备一定的硬件知识、嵌入式系统开发能力以及对鸿蒙操作系统内核的熟悉度。北向开发者需要具备基本的编程知识,对操作系统原理的简单理解,以及一定的UI设计感。北向开发则主要关注应用层的开发,如APP开发、用户界面设计等等。

2025-09-19 14:06:54 452

原创 Scipy库的功能

提供了对稀疏矩阵进行操作和计算的功能,包括稀疏矩阵的存储、乘法、求解线性方程组,对于处理大规模稀疏矩阵数据非常有用。包括读取和保存图像文件、图像滤波、变换等等,对于计算机视觉和图像处理任务非常有用。包括滤波器设计、频谱分析、傅里叶变换等等,对于音频处理、通信系统设计等领域有用。包括矩阵分解、线性方程组求解、特征值计算等等,对于科学计算和工程非常有用。可以对函数进行积分、求解常微分方程等等,对于数值计算、数学建模非常有用。4. 积分和微分的功能。

2025-09-18 13:46:56 276

原创 Scipy库

2. Scipy.interpolate:用于数据插值和拟合,可以根据已有数据点的值,估计在其他位置的值。3. Scipy.stats:提供了统计函数和概率分布的工具,用于统计分析和概率模型的建模。Scipy函数库在Numpy库的基础上,增多了众多的数学、科学以及工程计算中常用的库函数。1. Scipy.optimize:提供了优化算法和函数最小化工具,用于求解最优化问题。为优化、积分、插值特征值问题、代数方程、微分方程、统计和许多其他类别的问题提供算法。Scipy需要Numpy的支持进行安装和运行。

2025-09-17 14:04:35 269

原创 直方图和条形图(即柱形图)之间有何差异?

2.直方图的条形之间没有间距,条形代表在水平轴上指定的范围内出现的值的数量;条形图的条形之间可以有间距,条形代表每个类别的测量值。直方图用于连续型数据,条形图用于分类型或名义型数据。1. 所绘制的数据类型不同。

2025-09-16 11:34:10 201

原创 plt.imshow()和plt.show()的区别

使用场景:当你有一个图像数据(如一个Numpy数组)并希望在绘图区域显示它时。使用场景:当你完成了所有的绘图命令,并希望将图形显示在屏幕上时。功能:用于在绘图区域显示一幅图像。功能:用于显示所有已创建的图形。

2025-09-15 14:27:00 206

原创 Seaborn库

一个建立在Matplotlib基础之上的Python数据可视化库,专注于绘制各种统计图形,以便更轻松地呈现和理解数据。提供一些简单的高级接口,可以轻松地绘制各种统计图形,包括散点图、折线图、柱形图、热图等,而且具有良好的美学效果。其设计目标是简化统计数据可视化的过程,提供高级接口和美观的默认主题,使得用户能够通过少量的代码实现复杂的图形。在设计时注重美观性,其默认主题和颜色调色板经过精心选择,使得绘图更加吸引人。

2025-09-09 16:51:36 233

原创 【报错解决】Clipping input data to the valid range for imshow with RGB data

翻译:将输入数据裁剪到使用RGB数据imshow的有效范围([0,1]用于浮点数据,[0...255]用于整数。

2025-09-08 10:36:31 444

原创 【问题解决】电脑壁纸有应用的地方变成一堆黑块块乃至全部变黑

前一天晚上用百度网盘下载视频,整宿没关电脑,第二天电脑壁纸就变成了纯黑色。

2025-09-05 11:10:14 15340

原创 梯度是什么?

严格讲,梯度指示的反方向是各点处的函数值减小的方向。·对于机器学习中的损失函数来说,梯度帮助我们了解在当前参数位置如何调整参数,以减少误差,从而优化模型。· 梯度是一个多变量函数的偏导数向量,表示函数在某一点上的最大上升方向和变化率。· 在机器学习中,梯度指的是如何调整参数以让模型的表现更好,就像爬上山顶的最佳路径一样。· 梯度可以想象成一座山的斜坡,它告诉你在某个位置最陡的上升方向,以及向上走的快慢。· 简单来说,它指示了函数值如何随输入变量的变化而变化。

2025-09-04 09:07:20 179

原创 梯度下降法

1. 计算梯度:首先计算当前参数的梯度(即损失函数相对于参数的导数),梯度指向函数上升最快的方法。3.迭代:重复上述步骤,直到满足条件(如果达到最大迭代次数或损失函数的变化小于某个阈值)。通过这种方式,梯度下降法可以有效地找到损失函数的局部最小值,进而优化模型的性能。2.更新参数:根据计算得到的梯度,沿着相反的方向更新参数。其基本思想是通过迭代更新参数,以逐步接近函数的最小值。梯度下降法是一种优化算法,用于最小化一个函数。

2025-09-03 08:53:22 154

原创 阶跃函数作为激活函数的时候,可以解决线性不可分的问题吗?

要处理线性不可分的数据,通常需要引入非线性激活和多层网络结构,以便更好地捕捉复杂的模式和特征。这种方法能让模型建立非线性决策边界,从而有效分类线性不可分的数据。阶跃函数本身不能解决线性不可分的问题,因为它只能创建线性决策边界。

2025-09-02 10:26:25 157

原创 阶跃函数是什么?

因此,虽然阶跃函数是一个激活函数,但在现代深度学习中,通常使用更加复杂的激活函数来克服这些缺点,比如Relu、sigmoid、tanh。它的基本特性是根据输入的阈值决定输出,通常是将输入值与某个阈值进行比较,超过阈值时输出为1,未超过时输出为0。1.不可微性:阶跃函数在阈值处不可导,导致在反向传播的时候无法计算梯度,这限制了在深度学习中的应用。2.信息损失:阶跃函数会将信息压缩成二元输出,可能导致丢失重要的细节。阶跃函数:以0为界,一旦输入超过0,就切换输出1,否则输出0。阶跃函数属于激活函数吗?

2025-09-01 11:22:30 441

原创 OpenCV

Gary Bradsky于1999年开发,2000年发布。支持多种语言:C++、Python、Java、JS等等。(其中,C++是底层语言。以前是C,后面变成C++)可跨平台:Windows、Linux等等。图像识别:人脸识别、车辆检测;图像拼接、修复、背景替换;在计算机领域,一枝独秀。意为开源的计算机视觉。

2025-08-29 09:56:13 237

原创 Axure

可以生成HTML源代码,但不专业。产品经理沟通软件需求时可以用。

2025-08-28 09:50:59 132

原创 !!!安装Python环境的必备知识点

设置Python的环境变量时,要设置用户变量和系统变量,缺一不可。Pycharm2019无法导入Python3.11。前者的权限更大,命令也更多。

2025-08-27 16:14:28 117

原创 放大镜-可以放大一切

之前有篇博客写过可以调整Pycharm中的字体大小,在上台汇报的时候方便一些。有的同学不想来回修改字体大小,可以用该文中的放大镜🔍。设置-辅助功能-放大镜,如下图所示。

2025-08-26 14:10:16 281

原创 Markdown

如果从Jupyter导出,可导为word格式或者pdf格式。如果用Typora打开,Markdown的扩展名为.md。Markdown编辑器和阅读器。Jupyter中文本的格式。

2025-08-25 11:24:00 111

原创 JavaScript常见命令

弹出一个弹窗并显示“Hello World!· 输出“Hello World!

2025-08-22 14:14:32 187

原创 Anaconda创建虚拟环境常见命令

其中,env-name为你要创建的虚拟环境的名字,python的版本可以有自己指定。

2025-08-21 13:46:42 140

原创 【问题解决】如何放大Pycharm的字体大小?

汇报时字体太小影响展示?简单几步解决:在文件设置中选择"编辑器-字体"选项,直接调整字号大小,调整时可实时预览效果。这个方法能快速改善演示文稿的阅读体验,让观众看得更清楚。

2025-08-20 14:21:45 198

原创 【问题解决】如何修改Matplotlib中的默认字体?

Matplotlib绘图时中文显示为方块的解决方案有两种:1)临时方案是在代码中加入plt.rcParams['font.sans-serif']=['SimHei']设置中文字体;2)永久方案是修改Matplotlib配置文件matplotlibrc,在font.sans-serif下添加"SimHei"中文字体。两种方法都能解决中文显示问题,前者适合临时使用,后者可一劳永逸。修改配置文件后需重启Jupyter才能生效。

2025-08-19 14:51:59 438

原创 【问题解决】在Pycharm导入.csv文件时,由于列数太长导致无法完全显示。

摘要:针对Pycharm导入.csv文件时列数过长显示不全的问题,提供两种解决方案:1) 在print语句后添加to_string()函数输出完整标题;2) 通过设置pandas显示选项解决:①pd.set_option('display.max_columns',None)取消列数限制;②pd.set_option('display.width',1000)设置输出宽度为1000字节避免内容省略。两种方法均可完整显示数据内容,解决省略号显示问题。

2025-08-18 15:21:04 511

原创 【报错解决】ERROR: Cannot unpack file C:\Users\13150\AppData\Local\Temp...

使用清华镜像源解决pip安装报错问题:当pip install命令报错时,可尝试通过清华镜像源加速安装,命令为:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn 包名。该方案通过国内镜像提高下载速度,并添加信任参数确保连接安全,有效解决网络连接或下载速度导致的安装失败问题。

2025-08-15 10:51:03 264

原创 检测pytorch是否安装好

本文介绍了PyTorch中CUDA相关功能的检测方法。通过导入torch库后,可以使用torch.cuda.is_available()检查CUDA是否可用,返回True表示可用。torch.cuda.device_count()可获取可用CUDA设备数量,torch.version.cuda则能查询CUDA版本号。这些方法帮助开发者快速验证PyTorch的CUDA环境配置情况。

2025-08-14 14:02:25 515

原创 【报错解决】Conda - Downloaded bytes did not match Content-Length

在Anaconda虚拟环境中安装PyTorch时遇到超时问题,可通过添加清华镜像源解决。具体步骤为:使用conda config命令添加包括free、main、conda-forge、pytorch等多个清华源通道;从PyTorch官网获取对应版本安装命令时,需删除"-c pytorch"参数以避免使用官方通道导致下载缓慢。这一方法可有效提升国内用户的下载速度,解决安装过程中的超时问题。

2025-08-13 11:17:57 285

原创 如何将新建的Anaconda虚拟环境导入Juputer内核中?

本文介绍了当Jupyter Notebook无法识别已创建的虚拟环境时的解决方法。首先需要安装ipykernel库,然后通过jupyter kernelspec list查看已有内核。若目标虚拟环境不在其中,使用python -m ipykernel install --user --name=xxx命令手动添加(xxx为虚拟环境名)。文中还提供了删除内核的命令jupyter kernelspec remove yyy(yyy为内核名称)。这些操作可帮助用户灵活管理Jupyter内核。

2025-08-12 16:00:47 9447

原创 【Spark征服之路-4.6-Spark-Streaming核心编程(四)】

摘要:Spark Streaming提供了状态管理和窗口操作功能。UpdateStateByKey用于维护跨批次的状态,通过定义状态类型和更新函数实现累积计算,需配合检查点使用。WindowOperations通过设置窗口时长和滑动步长来动态计算数据流。输出操作包括print()、saveAsTextFiles()、foreachRDD()等方法,其中foreachRDD是最通用的输出方式,可将数据写入外部系统。使用时需注意连接创建的位置,建议在foreachPartition中建立以提高效率。

2025-08-05 09:10:13 562

原创 【Spark征服之路-4.5-Spark-Streaming核心编程(三)】

摘要:DStream操作分为Transformations和OutputOperations两类,包括updateStateByKey()、transform()等特殊转换。无状态转换将RDD操作应用于每个批次数据,而transform()函数支持任意RDD转换。示例展示了如何使用transform对文本流进行词频统计,以及如何通过join操作合并两个流的数据(要求批次大小一致)。这些操作在Spark Streaming中通过对底层RDD的转换实现流处理功能。

2025-08-04 09:23:56 724

原创 如何改变Jupyter的默认保存路径?

摘要:本文介绍如何修改Jupyter Notebook的默认工作目录。首先找到配置文件jupyter_notebook_config.py,添加c.NotebookApp.notebook_dir参数指定新路径(新版可能需要改为ServerApp)。保存后通过命令行启动即可生效。若使用快捷方式启动,还需删除快捷方式属性中的"%USERPROFILE%/"路径。完成这些步骤后,Jupyter Notebook将成功跳转到指定目录。

2025-08-01 14:38:09 745

原创 【Spark征服之路-4.4-Spark-Streaming核心编程(二)】

摘要:Spark Streaming从Kafka读取数据有两种方式:Receiver API(已弃用)和Direct API。Direct API由计算Executor主动消费Kafka数据,避免内存溢出问题。示例演示了Kafka 0-10 Direct模式实现过程。

2025-07-31 10:34:22 953

原创 【Spark征服之路-4.3-Kafka】

本文详细介绍了Apache Kafka的核心概念与应用。文章首先阐述了Kafka的基本架构,包括Broker、Topic、Partition等核心组件,以及生产者和消费者的工作模式。接着详细讲解了Kafka的安装配置、命令行操作和存储机制。在架构深入部分,重点分析了数据可靠性保证、分区策略、offset维护等关键技术。最后介绍了Kafka与Flume、Spark Streaming的整合方法,包括数据采集、消费以及偏移量维护等实践方案。

2025-07-30 13:58:04 919

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除