- 博客(42)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 keras 多主机分布式训练，mnist为例
keras 多主机分布式训练，mnist为例1.概述由于一般GPU的显存只有11G左右，（土豪误入），采用多主机分布式训练是非常有必要的；折腾了几天，按照谷歌的教程，终于搞清楚了，给大家梳理一下：参考：https://tensorflow.google.cn/tutorials/distribute/multi_worker_with_keras?hl=be2.配置首先，设置 TensorFlow 和必要的导入。import osfrom tensorflow import keras #t
2020-08-11 11:19:29
909
10
原创 面试：关于word2vec的相关知识点Hierarchical Softmax和NegativeSampling
具体来说，CBOW是上下文预测中间词，我们将上下文初始化的词嵌入进行求和得到一个X表示，哈夫曼树的每一个节点都是一个逻辑回归判断，从根节点开始，向下判断，直到落到目标节点上，此时把已走的路径的LR值相乘，即得到此时的条件概率，而训练的目标就是使得整个条件概率达到最大。哈夫曼树是带权路径和最短的最优二叉树，所以通过对词表中的词进行树构造，可以生成一个哈夫曼树，越接近根节点的词，其词频是越高的，我们需要优先更新，越向下，词频越低，更新频率也小一点，通过这样的方式就可以实现训练速度的加快。
2024-06-23 21:43:18
531
原创 介绍一下SVM,遇到线性不可分怎么办,核函数有什么特点
3.高斯核函数（Gaussian Kernel），在SVM中也称为径向基核函数（Radial Basis Function,RBF），它是libsvm默认的核函数，也是scikit-learn默认的核函数。但是映射到高维空间同时带来一个问题：在高维空间上求解一个带约束的优化问题显然比在低维空间上计算量要大得多，这就是所谓的。数据在原始空间（称为输入空间）线性不可分，但是映射到高维空间（称为特征空间）后很可能就线性可分了。其中，各种参数都需要自己调参定义，调参比较麻烦。其中，γ大于0，需要自己调参定义。
2024-05-09 16:22:45
359
原创 请你说说回归问题可以设置支持向量机吗
支持向量机的目标是找到一个函数，使得大部分数据点都落在间隔内，并且使得落在间隔之外的数据点的预测误差最小化。支持向量机回归的核心原理是通过最小化预测误差来拟合数据，并且在拟合过程中保持一个边界（间隔），使得大部分数据点都落在这个边界之内。c. 拟合数据： SVR尝试找到一个函数，使得大部分数据点都落在间隔之内，并且最小化间隔之外的数据点的预测误差。d. 模型评估： 训练完成后，需要评估模型的性能。e. 参数调优： 在训练完成后，可能需要调整模型的参数，例如间隔的大小或核函数的选择，以进一步提高模型的性能。
2024-05-09 16:15:00
471
原创 AttributeError: module ‘backend_interagg‘ has no attribute ‘FigureCanvas‘.
选择合适的后端（如 ‘TkAgg’ 或 ‘Qt5Agg’），然后运行代码，看看是否能够解决这个警告并正确显示图像。’ 替换掉 ‘backend_interagg’，看看是否能够解决这个错误。当你解决完问题一后，大概率还会遇到问题2，请往下看👇。在你的代码开头加上这两行代码，尝试用 ‘
2024-04-17 16:59:20
910
1
原创 import covalent报错No module named ‘fcntl‘
win系统是没有这个包的，需要自己在环境所在位置的“D:\Anaconda3\envs\QVR\Lib\site-packages”新建文件fcntl.py。
2023-03-17 17:22:36
298
原创 ValueError: The following settings are not supported: {‘http_port‘: 7474}
【代码】ValueError("The following settings are not supported: %r" % other)ValueError: The following settings are not supported: {'http_port': 7474}
2023-03-17 09:28:24
1366
2
原创 报错: original_keras_version = f.attrs[ ‘keras_version ].decode( ‘utf8‘)及问题解决
windows系统下出现的。
2023-03-15 17:49:40
1145
1
原创 DeepLabCut简单安装
1.介绍DeepLabCut依赖tensorflow，所以注意tensorflow版本问题；1.介绍DLC自从问世后，被国内外实验室广泛使用，其鲁棒性、实用性远超其他tracking软件或网络。DLC主打动物2D身体点追踪，有预训练网络以及ResNet50、101等可选训练网络，支持自定义身体点，流程清晰。甚至有DLC3D的版本，但3D版初期有很多BUG，目前是否修复很多暂不知晓。2019.10，DLC官方发布了2.1版本，终于有了GUI！
2022-09-14 16:53:00
958
原创 mmdetection3d简单安装（官方教程就是坑）
所有的Python包安装不确定对应的版本就是坑，本教程教您少安装mmdetection3d闭坑。
2022-08-30 16:00:53
3952
1
原创 Ubuntu18.04安装OpenPCDet（详细介绍）
最近在摸索点云数据的处理，希望实现对点云数据的目标检测。但是在复现算法时遇到很多坑，特此记录一下。不建议在windows环境下测试程序，笔者自己测试下，windows总会遇到奇奇怪怪的报错。......
2022-08-14 16:13:31
925
原创 win10/mac/linux安装fbprophet
默认为anaconda环境，新不新环境随意，只要基础依赖包全。如果无root权限可能还是创个环境比较好。简单粗暴，全部用conda-forge刷一遍，避免各种冲突。然后安装fbprophet。
2022-08-04 15:29:24
417
原创 安装tensorflow报错protobuf，解决方案
import tensorflow出的问题：If this call came from a _pb2.py file, your generated code is out of d~Downgrade the protobuf package to 3.20.x or lower.解决方案：下载 1、下载 protobuf 并解压；Release Protocol Buffers v3.19.0 · protocolbuffers/protobuf · GitHub2、系统环境p
2022-05-28 14:24:51
3559
2
原创 HGA复现
项目来源：GitHub - Jumpin2/HGA: Reasoning with Heterogeneous Graph Alignment for Video Question AnsweringReasoning with Heterogeneous Graph Alignment for Video Question Answering - GitHub - Jumpin2/HGA: Reasoning with Heterogeneous Graph Alignment for Video Que
2022-05-14 16:24:23
374
原创 win 测试 openvino性能
1.下载git clone https://github.com/openvinotoolkit/openvino.git离线下载：2.编译git clone https://gitlab.com/ApexAI/ade-clicd ade-cli./osx-installwhich ade~/.local/bin/adeade --version
2021-10-31 23:18:38
311
原创 cuda9.0+cudnn7.4.1 ubuntu16.04 18.04
https://developer.download.nvidia.com/compute/cuda/9.0/secure/Prod/local_installers/cuda_9.0.176_384.81_linux.run?JRLwKHJYG5dtmwoZowjaFHMr-0EDLhh8rlfyfFSKSo4kEySq0X0H0N-4_sPagYokcNIh22G72W6gLC4lVkwbKeksrZnZQQbJFmqsL4_BVf6NNPNWmzExjbr476NjzlRgfk_QCtawMBKGay
2021-10-27 10:55:02
208
原创 win10系统下python安装ElecSus
准备：python=3.6.5Scipy ==1.2.1 Numpy==1.19.5 Matplotlib==3.2.2 wxPython ==4.0.0 lmfit ==1.0.2下载：https://github.com/jameskeaveney/ElecSuspython setup.py install测试：from elecsus import elecsus_guielecsus_gui.start()安装成功：......
2021-10-14 17:43:08
329
1
原创 Python中__init__和self的意义和作用
由于类可以起到模板的作用，因此，可以在创建实例的时候，把一些我们认为必须绑定的属性强制填写进去。以学生类为例，通过定义一个特殊的__init__方法，在创建实例的时候，就把name，score等属性绑上去：class Student(object):def __init__(self, name, score): self.name = name self.score ...
2021-10-14 16:53:46
809
原创 Could not load dynamic library ‘cusolver64_11.dll‘； dlerror: cusolver64_11.dll not found
问题：下载了CUDA11.0配置相应的cuDNN后，安装了tensorflow-gpu但是运行tensorflow时出现了以下的错误使用anaconda的把文件cusolver64_11.dll添加到\Library\bin中，创建了环境就放在环境下的\Library\bin中；文件地址：链接：https://pan.baidu.com/s/1W9fR2N_hoVD-7_ODtOiJhg提取码：u65i...
2021-09-07 09:32:53
9030
7
原创 tensorflow V1版本测试代码
```pythonimport tensorflow as tfwith tf.device('/cpu:0'): a = tf.constant([1.0, 2.0, 3.0], shape=[3], name='a') b = tf.constant([1.0, 2.0, 3.0], shape=[3], name='b')with tf.device('/gpu:0'): c = a + b# 注意：allow_soft_placement=True表明：计算设备.
2021-03-28 22:19:14
463
原创 30系列安装tensorflow和pytorch
（4）安装cuda11.0和pytorch1.7（不用再conda install cudatoolkit==11.0）conda install pytorch torchvision cudatoolkit=11（5）安装cudnn8（因为conda还不支持cudatoolkit=11中下载cudnn）从https://developer.nvidia.com/rdp/cudnn-download下载cudnn，解压后进入cuda/lib64路径下，把里面所有文件拷入对应虚拟环境（exp38）的l
2021-01-23 16:57:28
497
转载 python学习之argparse模块
python学习之argparse模块转发：https://zhuanlan.zhihu.com/p/28871131
2020-08-15 22:37:16
155
原创 ubuntu深度学习安装必备（详细到爆）
ubuntu深度学习安装必备（详细到爆）文章目录ubuntu深度学习安装必备（详细到爆）一、创建root用户二、apt换源三、设置中文输入法四、挂载第二块硬盘五、安装Nvidia驱动六、安装cuda+cudnn七、安装anaconda八、安装TensorFlow-gpu教程结束！解决从安装完ubuntu的新系统到部署深度学习环境所需要，解决一些常见的问题；一、创建root用户 sudo passwd root二、apt换源详细见https://blog.csdn.net/hungita/art
2020-07-31 15:20:56
986
原创 ubuntu下载太慢？换国内源走起
1.备份原始源文件 sources.list桌面打开终端，执行命令：sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak2.修改源文件sources.list（1）终端执行命令：sudo chmod 777 /etc/apt/sources.list更改文件权限使其可编辑；（2）执行命令：sudo gedit /etc/apt/sources.list打开文件进行编辑；（3）删除原来的文件内容，
2020-07-31 15:17:05
1070
原创 ubuntu容量不够？加块硬盘挂载
简介记录Ubuntu18.04 桌面版系统下实现某个磁盘挂载到自己想要的目录下，内容参考网上教程，此处为自己操作记录。查看当前所有的磁盘信息命令：sudo fdisk -l从列出的信息中可以看出，电脑内两个硬盘分别为sda和sdb。sdb为固态硬盘安装了win10系统和win10下的软件，sda安装了Linux系统，sda3与sda4用于win10下的文件存储，带有"microsoft 基本数据"标识；其余盘用于Linux使用，sda1与sda2作为Linux的文件存储，带有"Linux 基本数据
2020-07-31 15:05:04
516
原创 ubuntu再也不害怕装完驱动就黑屏了
0. 准备工作禁用BIOS中的secure boot，因为此方法使用第三方源安装显卡驱动，不禁止secure boot会导致安装的驱动不能使用，禁用也不会有多大安全隐患。（超级重要，不设置导致不能进桌面）华硕主板为例：F10保存，重启；后面部分在 有可以直接执行的shell脚本 ，也可以安装下面的方式一步一步执行；1. 禁用nouveau卸载已经安装了的nvidia驱动（一般之前没装过的话，也没有nvidia驱动可以卸载）sudo apt-get purge nvidia*禁用
2020-07-31 14:50:42
3439
原创 基于chineseocr 与psenet 实现中文自然场景文字检测及识别（1）
本文基于https://github.com/ouyanghuiyu/chineseocr_lite.git，先学会使用，在了解其中所使用的技术；环境 pytorch 1.2.0 python3（笔者使用的环境是python3.6） linux/macos/windows（笔者的环境是win10 家庭版） Docker 环境 1. PyTorch进入...
2020-04-09 17:57:25
1836
9
原创 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史（简单记忆）
1.Word Embedding什么是语言模型？为了能够量化地衡量哪个句子更像一句人话，可以设计如上图所示函数，核心函数P的思想是根据句子里面前面的一系列前导单词预测后面跟哪个单词的概率大小（理论上除了上文之外，也可以引入单词的下文联合起来预测单词出现概率）。句子里面每个单词都有个根据上文预测自己的过程，把所有这些单词的产生概率乘起来，数值越大代表这越像一句人话。CBOW（多对一）...
2019-04-09 14:38:28
887
转载 RDD与DSM的区别
RDD（Resilient Distributed DataSet)弹性分布式数据集，是Spark的核心数据结构。DSM（Distributed Shared Memory）分布式共享内存，它是一种通用的内存数据抽象。在DSM中，应用可以向全局地址空间的任意位置进行读写操作。RDD与DSM主要区别在于，不仅可以通过批量转换创建（即“写”）RDD，还可以对任意内存位置对写。RDD限制应用执行...
2019-03-19 10:19:51
710
原创 pycharm配置pyspark
1 、pycharm右上角“run”三角形的左边有一个run configurition，打开它。2 、设置configurition---Environment--- Environment variables ---点击“...”，出现框框，点击+，输入两个name，一个是SPARK_HOME，另外一个是PYTHONPATH，设置它们的values，SPARK_HOME的value是安...
2019-03-18 11:10:20
652
原创 linux配置pyspark的问题解决
问题一：Service 'sparkDriver' failed after 16 retries (on a random free port)。。。解决方案：ifconfig，查看ip,vi /etc/hosts改成与ifconfig的ip对应；vi /etc/sysconfig/network-scripts/ifcfg-eth0中的HWaddr对应ifconfig的HWaddr；...
2019-03-18 10:07:00
605
转载 Python中的X[:,0]、X[:,1]、X[:,:,0]、X[:,:,1]、X[:,m:n]和X[:,:,m:n]
Python中对于数组和列表进行切片操作是很频繁的，当然对于切片的操作可供我们直接使用的函数也是很遍历了，我们今天主要简单总结一下常用集中索引化方式，希望对大家有所帮助吧。 对于列表的切片比较简单，在我之前的博客里面有详细的讲解，需要的话可以去看看，这里就不再详细说了，今天主要是讲解对于Python中Array对象的操作，我们平时使用比较频繁的一般也就是三维的矩阵了，再高维度的处理方式...
2018-08-09 10:28:58
9181
原创 OSError: pydot failed to call GraphViz.Please install GraphViz (https://www.graphviz.org/) and ensur
问题：OSError:pydotfailed to call GraphViz.Please install GraphViz (https://www.graphviz.org/) and ensure that its executables are in the $PATH.1.安装相应模块pip install pydot-ngpip install graphvizp...
2018-08-08 17:12:28
5842
7
转载 模型评价(一) AUC大法
问题：AUC是什么AUC能拿来干什么AUC如何求解（深入理解AUC）AUC是什么混淆矩阵(Confusion matrix)混淆矩阵是理解大多数评价指标的基础，毫无疑问也是理解AUC的基础。丰富的资料介绍着混淆矩阵的概念，这里用一个经典图来解释混淆矩阵是什么。显然，混淆矩阵包含四部分的信息：True negative(TN)，称为真阴率，表明实际是负样本预测成负样本的样本数False positi...
2018-06-26 14:07:45
715
1
cusolver64_11.dll
2022-05-26
install_nvidia_driver.sh
2020-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人