- 博客(34)
- 收藏
- 关注
RSS订阅原创 谷歌colab使用教程
笔记本在打开时的默认硬件加速器是None，运行规格是标准。在深度学习中，我们希望使用GPU来训练模型，同时如果购买了pro，我们希望使用高内存模式。由于免费的用户所能使用的GPU运行时有限，因此建议在模型训练结束后调回None模式或直接结束会话。有限的GPU运行时：无论是免费用户还是colab pro用户，每天所能使用的GPU运行时间都是有限的。到达时间上限后，使用GPU的代码执行程序将被立刻断开且用户将被限制在当天继续使用任何形式的GPU。终端：文件浏览下的终端（非常卡，不建议使用）
2023-03-29 11:21:54
703
原创 【分布式训练】基于docker容器的pytorch多机分布式训练
Deep Learning:PyTorch 基于docker 容器的分布式训练实践基于Docker的大规模人脸数据集分布式训练
2022-03-10 21:46:31
1478
原创 【Pytorch分布式训练】MistGPU服务器训练
MistGPU地址PyCharm连接MistGPU教程ifconfig命令查看ip地址报错：zsh: command not found: ifconfig原因：在服务器上第一次使用该命令需要先安装net-tools解决办法：sudo apt install net-toolssudo apt install net-tools安装网络包报错报错：unable to locate package net-tools解决办法：sudo apt-get update...
2022-03-07 10:20:52
1754
原创 【Pytorch分布式训练】在MNIST数据集上训练一个简单CNN网络，将其改成分布式训练
通过一个MNIST实例来讲解，将其改成分布式训练。普通单卡训练-GPUimport osfrom datetime import datetimeimport argparseimport torch.multiprocessing as mpimport torchvisionimport torchvision.transforms as transformsimport torchimport torch.nn as nnimport torch.distributed as di
2022-03-06 19:55:43
1699
原创 【深度学习】OMP: Error #15: Initializing libiomp5.dylib, but found libomp.dylib already initialized.
MacOS训练神经网络报错如下：OMP: Error #15: Initializing libiomp5.dylib, but found libomp.dylib already initialized.OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can degrade performan
2022-03-04 15:54:54
440
原创 【经典算法题】【牛客网NC68】跳台阶（递归）
描述：示例思路对于本题,前提只有 一次 1阶或者2阶的跳法。a.如果两种跳法，1阶或者2阶，那么假定第一次跳的是一阶，那么剩下的是n-1个台阶，跳法是f(n-1);b.假定第一次跳的是2阶，那么剩下的是n-2个台阶，跳法是f(n-2)c.由a\b假设可以得出总跳法为: f(n) = f(n-1) + f(n-2)d.然后通过实际的情况可以得出：只有一阶的时候 f(1) = 1 ,只有两阶的时候可以有 f(2) = 2e.可以发现最终得出的是一个斐波那契数列：代码public class
2021-12-24 15:38:53
1024
原创 【Android】Android连接SQLite
一、安装SQLite1、下载SQLite链接：https://www.sqlite.org/download.html解压放到同一个文件夹下2、安装可视化界面SQLiteStudio链接：https://sqlitestudio.pl/二、Android连接SQLite总体的思路是：先继承SQLiteOpenHelper抽象类并实现其中的构造方法和onCreate方法来进行数据库的创建以及表的创建，接着通过创建SQLiteDatabase类实例并调用其提供的insert、query等方法来
2021-12-10 16:29:55
5996
原创 【大论文】文献阅读——学术期刊
1.基于分布式卷积神经网络的车型识别算法研究_董伊明2019_河南科技异步框架（+分组技术）+SGD算法，降低梯度延迟改进Dis-CNN将前向传播损失函数计算的误差值与自定义阈值b进行对比，根据阈值b划分小组。小于b说明识别精度高，分配权重0.55，否则权重为0.45。以小组为单位合并slave端的通信数据。2.一种改进的分布式同步梯度下降法_李梁2021_重庆理工大学学报同步框架+SGD算法+修改数据分配机制，解决节点互相等待问题，提高训练速度举例：一个size为500的batch，2个性能差
2021-12-01 17:51:45
712
原创 【大论文】可扩展机器学习的并行与分布式优化算法综述_亢良伊2017
基础知识：1.目标函数机器学习要优化的目标函数一般表现为一下形式：函数J(θ)为目标函数，f为表示真实值与拟合值之差的损失函数，r(θ)为正则项（防止过拟合问题，主要分为L1正则项、L2正则项）。各种优化算法通过不同的方式求解该方程以得到使J(θ)最优的参数θ2.优化算法5类最常见的优化算法：梯度下降算法（GD）：可微凸函数二阶优化算法（Second-order）：可微凸函数邻近梯度算法（PG）：可微凸函数与不可微凸函数的和问题坐标下降算法（CD）：不可求导凸函数问题交替方向乘子算
2021-11-23 16:15:16
1655
原创 【大论文】文献阅读——学位论文
1.面向大规模机器学习的分布式优化算法研究_梁先锋2021现有的分布式优化算法主要分为两类研究方向：①降低单次迭代的通信成本。（ex.基于梯度压缩和带有误差补偿的随机优化算法，弊端：无法应用于当前最先进的RingAllreduce通信框架）②降低训练过程中的通信频率。（ex.Local SGD，优点：不要求对传输量进行压缩操作，因而能适用于RingAllreduce框架；弊端：当机器间数据分布不一致，基于目前周期性的模型平均算法，收敛性会显著衰减）第三章VRL-SGD——从降低通信频率角度，
2021-11-23 14:05:22
760
原创 【目标检测】OpenCV调用YOLOv3检测自己的图片和视频
参考资料：中文博客https://blog.csdn.net/ling_xiobai/article/details/82082614英文教程https://learnopencv.com/deep-learning-based-object-detection-using-yolov3-with-opencv-python-c/文件准备（1）权重文件yolov3.weights（在yolov3官网）（2）网络构建文件yolov3.cfg（在/darknet/cfg/yolov3.cfg）（.
2021-09-14 17:33:43
745
原创 【分布式机器学习】spark环境在线运行平台Databricks
登录页面https://community.cloud.databricks.com/?o=588140745259459#，需要注册并申请免费试用是一个类似jupyter notebook的平台点击create→Notebook→输入project的名称，选择语言→创建成功下面就可以在spark环境中编写自己的project了点击workspace可以看到目前已创建的projects简直是神器啊xdm！！！...
2021-09-13 11:23:12
3664
3
原创 【分布式机器学习】基本知识
从今天开始正式入门【分布式机器学习】啦~~~由于研一的科研项目中我的课题是一、梯级水电站海量多源异构数据高效存储方法二、提出梯级水电站时空大数据的并行处理框架所以我就一直跟并行处理框架过不去，各种资料搜关键词也是搜“并行处理”，没有想到分布式这一层。经过一段时间的研究之后发现【分布式机器学习】这个领域的研究成果还是挺多的，所以打算正式入门。一、书籍推荐1、《分布式机器学习——算法、理论与实践》 作者：刘铁岩 陈薇 王太峰 高飞本书对分布式机器学习这一领域进行了全面而深入的介
2021-09-11 14:10:38
1356
原创 【神经网络并行训练（下）】mrjob的多种使用方法
经过上个星期的摸索，发现了mrjob这个神器，网络上搜出来的教程都是最传统的一个map+一个reduce的Wordcount例子，具体实现参考【神经网络并行训练（上）】。但是要实现梯度下降算法的并行化远不止这么简单，所以决定好好研究一下如何用其实现梯度下降算法并行化。思考一：mrjob任务接受的参数只能是一个文件吗？答案：No，mrjob任务可以接受一个或多个文件，甚至一个文件夹，在执行命令后面加n个文件就会处理n个文件。example.mrjob任务接受多个文件代码如下：#!/usr/bin/
2021-09-05 22:37:09
665
原创 【虚拟机】Ubuntu20.04更新系统后所有文件变成只读解决办法
参考链接https://www.cnblogs.com/ranxf/p/8649736.html查看系统分区信息命令：df -T-h使用fsck手动修复，具体操作如下：切换到root用户，运行fsck.ext4 -y /dev/sda5
2021-09-03 18:42:41
1164
原创 【Hadoop】解决Hadoop Unable to load native-hadoop library问题
1、启动Hadoop提示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable在/etc/profile中添加export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/hadoop/hadoop-2.9.2/lib/native/"参考链接https:
2021-09-02 14:33:54
9247
原创 【神经网络并行训练（上）】基于MapReduce的并行算法的实现
最近看了一些基于MapReduce的神经网络并行训练方面的论文，老师让我自己去实现一下，更深入的体会其中的原理。MapReduce是基于java语言的框架，于是一开始想用java写深度学习代码。但是dl4j框架实在太难用了，而且网络上的深度学习教程都是基于python的，所以最终还是决定用python去实现基于MapReduce框架的神经网络。如果行不通的话，后面再考虑用java实现神经网络。目前大致的学习步骤如下：1、Python实现最简单的MapReduce例子，如Wordcount2、MapR
2021-08-30 21:06:57
2327
1
原创 【anaconda】centos7安装python3+anaconda+pytorch+pycharm
一、安装Python31、首先安装依赖环境yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel2、下载python3的源码版本根据自己需求选择，官网网址：https://www.python.org/downloads/source/
2021-08-08 22:11:17
1654
原创 【DL4J】DeepLearning4J学习
1、官方中文文档https://deeplearning4j.konduit.ai/v/zhong-wen-v1.0.0/2、官方提供的所有依赖jar包https://deeplearning4j.org/api/latest/3、官方例子dl4j-examples下载https://github.com/eclipse/deeplearning4j-examples4、dl4j的基本依赖jar包下载https://github.com/woolfel/robottag5、dl4j安装配置教
2021-08-06 21:47:34
828
原创 【Maven】idea/linux命令行编译打包maven项目并在命令行运行
一、maven项目打包1、idea打包（1）修改pom.xml文件，添加以下内容<configuration> <testFailureIgnore>true</testFailureIgnore></configuration>（2）打开右侧maven，双击package（3）打包完成打包好的jar包在原项目的target文件夹中其中带有shaded的jar包是可执行jar包，里面包含该项目需要的所有依赖2、linux命令行打包
2021-08-06 21:18:56
2823
原创 【DL4J】centos eclipse运行dl4j-examples例子
参考https://depiesml.wordpress.com/2015/08/26/dl4j-gettingstarted/一、配置java、maven二、配置eclipse1、下载eclipsehttp://www.eclipse.org/downloads/2、配置maven插件参考https://blog.csdn.net/qq_39209361/article/details/82861674三、下载dl4j-examples下载链接：https://github.com/ecli
2021-08-05 20:53:40
133
原创 【DL4J】macOS idea运行dl4j-examples官方例子
1.在idea中配置maven2.将dl4j-examples导入project，选择maven形式3.maven clean4.maven-install
2021-08-04 22:23:01
281
原创 【虚拟机】macOS系统 centos7把/dev/sda的磁盘空间分给根目录
1.修改硬盘大小关闭虚拟机→设置→硬盘→修改到自己需要的磁盘大小2.查看当前磁盘使用情况统计df -h从左到右每一列分别代表： 文件系统的名称、 总磁盘空间大小、 已使用空间大小、 可用空间大小、 使用的磁盘空间百分比、 "安装在"指定的文件系统的挂载点虽然在第1步已经设置过新的磁盘大小为50G，但是这里明显可以看出总磁盘大小还是之前的20G，这就涉及到挂载问题。3.（非必要步骤）清理缓存文件查看各文件夹内存占用情况du -h /home(目标文件夹)通常/home/xxx/.ca
2021-08-03 22:03:12
2985
2
原创 【虚拟机】centos安装idea并创建桌面快捷方式
官网下载idea网址：https://www.jetbrains.com/idea/download/#section=linux将idea安装包解压到相应目录tar -zxvf /home/wwj/Downloads/ideaIU-2021.2.tar.gz -C /opt为了简便，修改解压文件夹名为ideamv idea-IU-212.4746.92 idea启动ideacd /opt/idea/bin./idea.sh创建桌面快捷方式cd home/xxx/des.
2021-08-02 18:23:36
3074
1
原创 【虚拟机】centos配置maven环境
官网下载maven安装包解压maven压缩包创建maven文件夹mkdir /usr/maven将压缩文件解压到maven文件夹tar -zxvf /home/wwj/Downloads/apache-maven-3.8.1-bin.tar.gz -C /usr/maven修改环境变量vim /etc/profile添加如下环境变量#mavenexport MAVEN_HOME=/usr/maven/apache-maven-3.8.1export PATH=$MAVE.
2021-08-02 17:02:36
366
原创 【Hadoop】hadoop-eclipse-plugins插件安装和配置
1.安装eclipse2.hadoop-eclipse-plugins插件安装下载插件百度云：链接: https://pan.baidu.com/s/1bhdNgOOlsixT9OchEhijnw 密码: vvr7将插件移动到eclipse安装目录的dropins文件夹下打开eclipse（eclipse文件夹下命令行输入 ./eclipse；若配置了快捷方式直接打开即可）Windows→show view→other→MapReduce配置locationcreate project
2021-07-26 21:40:50
5693
1
原创 【MapReduce】命令行编译打包MapReduce程序详细过程及错误解决
1.在eclipse中将Java程序打包成jar包出现错误，是因为hadoop文件夹没有写入权限，可以修改jar file的保存路径，先保存在另一个地方，然后移动到hadoop文件夹中（其实是否放在hadoop文件夹中好像没啥影响）。2. 在命令行运行jar包报错1：执行Wordcount.jar时出现找不到主类是因为WordCount类的地址不精确，前面要加包名hadoop jar /usr/hadoop/hadoop-2.7.3/WordCount.jar book.WordCount
2021-07-25 17:36:14
1116
原创 【HBase】eclipse提示缺少hbase相关jar包的解决方法
在eclipse中的hbase工程中右击→properties→java build path→libraries→add external jars→把hbase/lib中有关hbase的jar包add进去，问题解决。
2021-07-25 15:36:50
478
原创 【HBase】centos7完全分布式hbase配置
创建工作路径，并将HBase解压到该路径中mkdir /usr/hbasetar -zxvf /opt/soft/hbase-1.2.4-bin.tar.gz -C /usr/hbase修改配置文件conf/HBase-env.shcd /usr/hbase/hbase-1.2.4/confcp hbase-env.sh.template hbase-env.shvi hbase-env.sh添加如下内容：export HBASE_MANAGES_ZK=falseexport JAVA_.
2021-07-25 11:30:31
174
原创 【ZooKeeper】解决zookeeper集群启动状态出现Error contacting service. It is probably not running.问题
可能原因1：只在master节点启动了zookeeper。解决办法1：先在master节点启动zookeeper，然后在从节点（slave1、slave2）启动zookeeper。用zkServer.sh status查看启动状态，这时候master是leader，其他为follower。可能原因2：防火墙开启。解决办法2：systemctl stop firewalld #关闭防火墙systemctl status firewalld #查看防火墙状
2021-07-25 11:16:50
457
原创 【Hadoop】Centos7中完全分布式hadoop-2.7.3集群的安装与配置
一、安装操作系统并配置IP在VMware虚拟机中安装三台Centos，分别作为Master，Slave1，Slave2，并配置root用户。配置三台机器的静态IP地址，本次示例IP分别为：Master: 192.168.157.128Slave1: 192.168.157.129Slave2: 192.168.157.130（关于设置静态ip连不上网的问题，https://blog.csdn.net/tearofthemyth/article/details/112800999 Mac VMw
2021-07-24 11:05:06
1040
1
原创 【虚拟机】解决mac系统虚拟机“重新安装VMware Tools”按钮灰色
1.解决按钮灰色问题虚拟机设置→启动磁盘→硬盘→重新启动→虚拟机→“重新安装VMware Tools按钮”PS如果这样不行，则现将虚拟机挂起（suspend），然后在执行以上步骤。2.安装VMware Tools①点击“重新安装VMware Tools按钮”，虚拟机左侧程序坞出现一个DVD光盘。②打开DVD光盘，里面是VMware tools的安装包，实操过程中不允许直接在DVD光盘里解压，因此将其复制到downloads文件夹解压。③命令行进入刚刚解压的vmware-tools-distr
2021-07-21 15:40:32
3878
原创 【VueThink】Win10搭建wamp server服务器并运行vuethink项目
Win10搭建wampserver并运行vuethink项目1.下载wamp server服务器官网连接：https://bitnami.com/stack/wamp/installer百度云链接: https://pan.baidu.com/s/17fGLq0aK-4e_3hxBu5dCeQ 密码: 19992.wamp server服务器安装与启动wamp安装：按照步骤安装wamp，安装完wamp会自动启动。安装过程中可能会提示缺少组件，下载安装即可。组件链接: https://pan
2021-07-21 10:44:24
588
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人