- 博客(61)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 kafka消息发送大小限制 python confluent_kafka客户端
kafka消息发送大小限制 python confluent_kafka客户端。kafka的broker限制调整过后，发送图片base64编码，出现下面的问题。
2023-05-31 17:27:47
583
原创 Mac OS 安装 rocketmq-client-python【ImportError: rocketmq dynamic library not found】
问题执行pip install rocketmq-client-python之后调用的时候报错：File "/home/ops/python3/lib/python3.7/site-packages/rocketmq/ffi.py", line 40, in <module>raise ImportError('rocketmq dynamic library not found')ImportError: rocketmq dynamic library not found
2022-04-29 11:54:34
1287
1
原创 MAC 安装brew[更新日期 20220428]
如下指令即可：/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/uninstall.sh)"git config --global core.compression 0git config --global http.postBuffer 1048576000/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com
2022-04-28 13:38:06
893
原创 go build报错“gcc“: executable file not found in %PATH% 和collect2.exe: error: ld returned 1 exit status
windows机制装gcc, vscode报错，running gcc failed: exec: "gcc": executable file not found in %PATH%应该是gcc安装有问题，之前一篇安装，原文如下：GCC windows 安装方法 2021 11月有效【附最新连接】_Labiod的博客-CSDN博客go,应该要安装tdm-gcc:链接如下：TDM-GCC 10.3.0 release | tdm-gccCSDN 链接如下：链接...
2021-11-24 11:16:43
853
原创 GCC windows 安装方法 2021 11月有效【附最新连接】
2021有效【附最新连接】GCC windows 安装方法：打开如下连接：https://sourceforge.net/projects/mingw/files/Installer/mingw-get-setup.exe/download 找mingw-get-setup.exe进行下载。下载它并启动安装程序。接受这些条件，继续前进。之后下载器会下载。 当它结束时(不会花费很长时间)，您将看到一个标题为MinGW Installation Manager的窗口。默认情况下，当它启动时，你应..
2021-11-23 10:28:10
5498
原创 基于树莓派与Opencv和MLP神经网络搭建的自动驾驶小车
SelfDirveCar_OpenCV_MLP_RaspberryPi基于树莓派与Opencv和MLP神经网络搭建的自动驾驶小车(Self driving car based on raspberry pie and opencv and MLP Neural Network)搭建一个自己的自动驾驶小车本项目采用的机器学习的MLP算法，本质上是一个多分类问题。系统复杂度低，集成性高。后续会做进一步更新。github连接： https://github.com/Aismarter/SelfDirve
2021-06-29 22:36:59
2009
2
原创 ubuntu界面无法显示，只显示鼠标
解决方法：按ctrl + alt + F1 登录输入以下命令：sudo service lightdm stopsudo service lightdm start
2021-02-24 13:23:38
1723
原创 ResNeXt50、ResNest50、ResNet50、从EfficentNet到AutoML
ResNeXt50、ResNest50、ResNet50、EfficentNet对比ResNet50和ResNeXt50附一张ResNet的结构图：(图片后期再补充)ResNeXt50思想，就在于将卷积中的基数，完成整个算横向层面卷积层的拓展。根据文章的结果显示，在imageNet-1K的数据集上，错误率在不断下降。但根据论文提交的数据来看，相比大部分数据下降效果可能不明显。两种模型的模型参数,进行对比 :ResNeXt在模型的实现过程中，第一层中（stage1 &a..
2021-01-13 18:56:43
3397
原创 Conv2dStaticsSamePadding(nn.Conv2d)和 Conv2dDynamicSamePadding(nn.Conv2d)
EfficenrNet代码中（torch），出现了两个函数，Conv2dStaticsSamePadding(nn.Conv2d)和 Conv2dDynamicSamePadding(nn.Conv2d)。每个函数都有两步作用: padding + ConvConv2dStaticsSamePadding(nn.Conv2d)函数的作用，第一步，如果输入数据（一般来讲就是feature）需要做padding，就使用0填充（nn.ZeroPad2d（））对图像进行填充，如果不需要填充，就把原始数据传给
2020-12-10 15:02:05
1263
2
原创 2020-11-10 调优记录
2分类任务， Epoch 设置为300 峰值精度可达93.1%模型拟合的比较困难，整个模型的精度也未上升到最高的位置，280个epoch以后，精度出现了下降，loss略有回升的趋势。lr设置为0.001,手动设置每100epoch将0.1倍，结果，在10个epoch里面，损失在不断上升。如下。...
2020-11-11 09:49:37
231
原创 模型欠拟合
近期项目中使用了分类器和回归器。用以回归目标边界点并判断目标值。epoch结束了，精度还有上升趋势，loss还有下降趋势。首先，先自己手写了一个回归网络和分类网络。最终精度如下：epoch设定为100，BCEloss, ADM优化器优化，可以看出模型损失还在降低，精度也在上升。但精度还没达到预期的要求，假定精度要达到95%以上，目前最高却只有86%。此时，模型欠拟合。想办法解决问题。比如增加数据集，增长训练次数。...
2020-11-09 10:32:05
247
原创 服务器显示无信号输入 NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver.
服务器国庆8天没关，来了后发现显示老是显示无信号输入。连上那个远程putty,可以登录，输入指令：nvidia-smi爆出以下错误：NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver.排查原因，是ubuntu16.04掉了驱动。导致加载不上来。解决办法：重新安装驱动。、在官网下好指定的驱动文件后输入以下指令Ctrl+alt+F1sudo service li.
2020-10-09 09:57:54
405
原创 WARNING：your compiler(g++ 4.8.5)may be ABI-incompatible with PyTorch!
centos7 安装框架报错，警告gcc版本过低
2020-09-09 13:30:02
5726
原创 Robust Covariance (Minimum Covariance Determinant) 稳健协方差（最小协方差行列式）
Robust Covariance (Minimum Covariance Determinant) 是sklearn提供的求离群点数据的例子中出现过。目的是在于通过EllipticEnvelope(contamination=0.25)求给定数据集的协方差矩阵。经验协方差有时候由于种种原因，并不使用全部的样本数据计算协方差矩阵，而是利用部分样本数据计算，这时候就要考虑利用部分样本计算得到的协方差矩阵是否和真实的协方差矩阵相同或者近似。当提供的样本数目相对于特征数足够多时，利用最大
2020-09-09 13:26:35
2090
原创 Empirical Covariance 经验协方差 sklearn
sklearn中的离群点检测中，有个Empirical Covariance，翻译过来，为，经验协方差。对应 EllipticEnvelope 函数。实际上应该是sklearn.base工具包下，关于离群点检测函数的一个封装，目的在于用协方差来计算给定数据集离群点。EllipticEnvelope类继承自，OutlierMixin和MinCovDet这两个父类。类OutlierMixin作用是混合scikit-lear所有离群点检测估计工具的工具类。类MinCovDet作用是计算最...
2020-09-09 11:16:24
1437
原创 Fast API 测试记录
FASTAPI特点：编辑器支持 数据格式自动转换 数据格式自动校验 自动生成注解和文档请求参数、路径参数、 RequestBody参数。Request body参数继承自BaseModel。fastAPI请求函数会对参数按照以下顺序进行识别：如果这个参数已经再路径中被声明过，那么它就是一个请求参数。 如果这个参数的类型是单类型（如str,float， int, bool）等，那么它就是一个请求参数。 如果这个参数的类型是Pydantic数据模型，那么它就被认...
2020-09-07 10:03:46
695
原创 阅读Pascal VOC challenge的笔记
前述最近阅读了一篇Passcal VOC 挑战的论文，论文的发表日期在07年左右，文章在十几年前，对挑战中的数据集处理方法、验证方法、提交方法、处理流程的方法（分类、检测、图像分割、人体layerout的不同处理方法）以及对图像处理上的总结与展望等等等做了详细的论述。部分观点，在十几年后的现在看来，有的被淘汰、有的在现在仍然具有一定的启发性。阅读记录如下。阅读记录1.物体大小于AP存在一定的正相关。2.检测图像的外观和高度比等姿态可以在一定程度上，对检测的期望产生比较大的影响3.在图像精度不是
2020-07-03 11:21:20
317
原创 人工智能基础-机器学习3-朴素贝叶斯方法
机器学习中的线性回归算法，这一算法解决的是从连续取值的输入映射为连续取值的输出的回归问题。今天我分享的算法则用于解决分类问题，即将连续取值的输入映射为离散取值的输出，算法的名字叫作“朴素贝叶斯方法”。解决分类问题的依据是数据的属性。朴素贝叶斯分类器假定样本的不同属性满足条件独立性假设，并在此基础上应用贝叶斯定理执行分类任务。其基本思想在于分析待分类样本出现在每个输出类别中的后验概率，并以取得最大后验概率的类别作为分类的输出。假设训练数据的属性由 n 维随机向量 x 表示，其分类结果用随机变量 y 表
2020-05-26 20:40:27
822
1
原创 人工智能基础-机器学习2-线性回归
数学中的线性模型可谓“简约而不简单”：它既能体现出重要的基本思想，又能构造出功能更加强大的非线性模型。在机器学习领域，线性回归就是这样一类基本的任务，它应用了一系列影响深远的数学工具。在数理统计中，回归分析是确定多种变量间相互依赖的定量关系的方法。线性回归假设输出变量是若干输入变量的线性组合，并根据这一关系求解线性组合中的最优系数。在众多回归分析的方法里，线性回归模型最易于拟合，其估计结果的统计特性也更容易确定，因而得到广泛应用。而在机器学习中，回归问题隐含了输入变量和输出变量均可连续取值的前提，因而利
2020-05-26 20:18:52
1193
原创 人工智能基础--机器学习1-机器学习概论
不知道你在生活中是否留意过这样的现象：我们可以根据相貌轻易区分出日本人、韩国人和泰国人，却对英国人、俄罗斯人和德国人脸盲。造成这种现象的原因一方面在于日韩泰都是我国的邻国，观察这些国家普通人的机会较多；另一方面，抛开衣妆的因素不论，相同的人种也使得面貌特征更加容易进行比较和辨别。因此，根据大量的观察就能总结出不同国别的相貌特点：中国人下颌适中，日本人长脸长鼻，韩国人眼小颧高，泰国人肤色暗深。在做出路人甲来自日本或是路人乙来自韩国的判断时，正是以这些特征作为依据的。上面的例子就是简化版的人类学习机制：
2020-05-26 20:08:12
965
原创 tensorflow2.0实例教程2--keras图像分类
基本分类器：分类衣物图片这篇教程将会训练一个神经网络模型来对衣物图片进行分类。如果你了解整个代码的细节也没有什么问题，因为文章的目的在于帮助你快速理清tensorflow构建模型的过程。这里采用的tf.keras API。在tensorflow中，keras是一个用来构建和训练模型的高级API接口。导入数据集预处理数据构建模型设计网络层数编译模型训练模型执行训练验证精度看看预测结果怎么样验证精度使用训练的模型来分类一些其它的...
2020-05-21 11:00:44
1616
原创 tensorflow2.0实例教程1-- 快速入门模型搭建
tensorflow2.0版的本的一些小的测试与尝试，届时会陆续将代码与新的放到此处。主要参照tensorflow core给出的教程。原链接采用这是一个 Google Colaboratory 笔记本文件， jupyter编译工具，我这边使用的pycharm进行实现。接下来 我们开始快速入门 ，实现步骤为： 加载数据集–构建模型–训练模型–验证模型下载并安装 TensorFlow 2.0 测试版包。将 TensorFlow 载入你的程序：from __future__ import absol
2020-05-20 14:03:27
374
原创 cudaGetDevice() failed. Status: cudaGetErrorString symbol not found.
今日运行tensorflow,报出以下错误：cudaGetDevice() failed. Status: cudaGetErrorString symbol not found.因为项目需求，之前的tensorflow版本发生了变化。本机cuda version 是 10.1，执行下面两个命令，重装tensorflow：pip install tensorflow==2.1.0pip install tensorflow-gpu==2.1.0运行程序：OK..
2020-05-18 10:36:56
5815
原创 tensorflow-内核-分布式机制原理剖析
在探讨tensorflow分布式机制的之前，我们先要了解一下分布式机器学习平台的简单作用。分布式机器学习的目标是将具有庞大数据和计算量的任务分布式地部署到多台机器上，以提高数据计算的速度和可扩展性，减少任务的耗时。接下来，我们需要探讨一下数据流模型。早在2005年，Apache就实现了Hadoop分布式系统的基础架构，其核心设计———HDFS分布式文件系统为海量数据提供了存储空间，而 ...
2020-04-29 14:06:56
663
原创 人工智能-数学基础-小结
线性代数今天的种种人工智能技术归根到底都建立在数学模型之上，而这些数学模型又都离不开线性代数（linear algebra）的理论框架。其要点如下：线性代数的本质在于将具体事物抽象为数学对象，并描述其静态和动态的特性； 向量的实质是 n 维线性空间中的静止点； 线性变换描述了向量或者作为参考系的坐标系的变化，可以用矩阵表示； 矩阵的特征值和特征向量描述了变化的速度与方向。 在实...
2020-04-27 13:40:02
475
原创 AdaBoost算法原理剖析与实现（附源码）
算法概述原理在无线通信领域，有一种“MIMO”技术。“MIMO”是什么呢？ 它是 多输出多输入 “Multi Iuput Multi Output”的缩写。它可以用来解决来降低误码率并提升信道容量的问题。其原理是：通过多个发射机发送的信号，并在多个接收机端接收信号，这些信号经历的衰减是相互独立的。这样一来，在接收端多个信号同时被严重衰减的概率就会以指数形式减小，通过获得分集增...
2020-04-27 11:41:25
756
原创 人工智能基础-数学方法-形式逻辑
1956 年召开的达特茅斯会议宣告了人工智能的诞生。在人工智能的襁褓期，各位奠基者们，包括约翰·麦卡锡、赫伯特·西蒙、马文·明斯基等未来的图灵奖得主，他们的愿景是让“具备抽象思考能力的程序解释合成的物质如何能够拥有人类的心智”。通俗地说，理想的人工智能应该具备抽象意义上的学习、推理与归纳能力，其通用性将远远强于解决国际象棋或是围棋这些具体问题的算法。要实现这样的人工智能，不可或缺的基础是形...
2020-04-24 01:20:28
2360
原创 人工智能基础-数学方法-信息论
近年来的科学研究不断证实，不确定性才是客观世界的本质属性。换句话说，上帝还真就掷骰子。不确定性的世界只能使用概率模型来描述，正是对概率的刻画促成了信息论的诞生。1948 年，供职于美国贝尔实验室的物理学家克劳德·香农发表了著名论文《通信的数学理论》（A Mathematical Theory of Communication），给出了对信息这一定性概念的定量分析方法，标志着信息论作为一门学科的...
2020-04-24 01:10:40
1021
原创 人工智能基础-数学方法-最优化方法
从本质上讲，人工智能的目标就是最优化：在复杂环境与多体交互中做出最优决策。几乎所有的人工智能问题最后都会归结为一个优化问题的求解，因而最优化理论同样是人工智能必备的基础知识。最优化理论（optimization）研究的问题是判定给定目标函数的最大值（最小值）是否存在，并找到令目标函数取到最大值（最小值）的数值。如果把给定的目标函数看成连绵的山脉，最优化的过程就是判断顶峰的位置并找到到达顶峰路径...
2020-04-24 00:58:24
1854
原创 人工智能基础-数学方法-数理统计
在人工智能的研究中，数理统计同样不可或缺。基础的统计理论有助于对机器学习的算法和数据挖掘的结果做出解释，只有做出合理的解读，数据的价值才能够体现。数理统计（mathematical statistics）根据观察或实验得到的数据来研究随机现象，并对研究对象的客观规律做出合理的估计和判断。虽然数理统计以概率论为理论基础，但两者之间存在方法上的本质区别。概率论作用的前提是随机变量的分布已知，根据已...
2020-04-24 00:49:49
1204
1
原创 人工智能基础-数学方法-概率论
除了线性代数之外，概率论（probability theory）也是人工智能研究中必备的数学基础。随着连接主义学派的兴起，概率统计已经取代了数理逻辑，成为人工智能研究的主流工具。在数据爆炸式增长和计算力指数化增强的今天，概率论已经在机器学习中扮演了核心角色。同线性代数一样，概率论也代表了一种看待世界的方式，其关注的焦点是无处不在的可能性。对随机事件发生的可能性进行规范的数学描述就是概率论的公理...
2020-04-24 00:39:54
935
原创 人工智能基础-数学方法--线性代数
线性代数“人工智能基础课”将从数学基础开始。必备的数学知识是理解人工智能不可或缺的要素，今天的种种人工智能技术归根到底都建立在数学模型之上，而这些数学模型又都离不开线性代数（linear algebra）的理论框架。事实上，线性代数不仅仅是人工智能的基础，更是现代数学和以现代数学作为主要分析方法的众多学科的基础。从量子力学到图像处理都离不开向量和矩阵的使用。而在向量和矩阵背后...
2020-04-20 16:05:51
1144
原创 BS4+Openpyxl循环爬取114网站黄页信息存入excel + tinker界面输入（开源代码）
使用beautifulSoup框架爬取114黄页数据。分析网站首先打开网页，分析爬取网页的元素。点击选中需要爬取的地方-鼠标右键-检查元素。检测可见，要爬取的内容定位于：<td id="tdDetails" class="text" height="500" valign="top">释放数据潜能，激...。</td>在td块下。...
2020-04-16 10:41:29
1919
原创 爬虫PySpider框架
PySpiderweb界面编写调试脚本，启停脚本，监控执行状态，查看活动历史，获取产出结果：提供SaaS服务，可以在线提交部署支持MySQL、MongoDB、SQLite原生支持抓取JavaScript页面组件可替换，支持单机/分布式部署，支持Docker部署具有强大的调控控制灵活可扩展，稳定可监控PySpider的设计基础：以python脚本驱动的抓取环模型爬虫。PySpi...
2020-04-16 10:08:51
240
原创 张量、批量的理解（神经网络的数据表示）
一般来说，当前所有机器学习系统都是用张量作为基本的数据结构张量是一个数据容器，它包含的数据几乎总是数值数据，因此它是数字的容器，矩阵是二维张量， 张量是矩阵向任意维度的推广。张量的维度，叫做轴。注意5D向量 与 5D张量的 区别。3D张量相当于一个数字组成的立方体，将多个3D张量组合成一个数组，可以创建一个4D张量。以此类推。深度学习处理的一般是0D到4D的张量，但处理视频数据时可能会遇...
2020-04-07 11:56:57
896
原创 Pytorch版本yolov3部分代码语句分析
Tensor=torch.cuda.FloatTensor if torch.cuda.is_available() else torch.FloatTensortorch.cuda该包增加了对CUDA张量类型的支持，实现了与CPU张量相同的功能，但使用GPU进行计算。它是懒惰的初始化，所以你可以随时导入它，并使用is_available()来确定系统是否支持CUDA。CU...
2020-04-07 11:00:52
1152
原创 Keras、DenseNet下的数据修改、模型增强、优化器、损失函数等模型调优，对模型最终精度的影响。包括对GPU问题。，占用、GPU利用率等的研究探讨（模型调优、策略方式等的记录）
使用keras搭建模型，用imagenet的权重进行预训练。densenet169的layers数量未595，冻结模型前593，增加一个2分类的dense层，使用图片训练。本篇文章是对上一篇DenseNet模型微调训练后的参数调优过程的记录和分析，对denseNet模型微调的方式和方法请参见另一篇博客：https://blog.csdn.net/Labiod/article/details...
2020-04-03 18:58:31
3376
毕设工具软件.rar
2020-05-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人