学习
快乐地笑
这个作者很懒,什么都没留下…
展开
-
Failed building wheel for opencv-python
报这个错误大部分可能原因是”cmake“没有安装,先安装cmake即可pip install cmakepip install opencv-python如果遇到 Failed building wheel for xxxxx 这样的错,也可尝试先安装cmakepip install cmakepip install xxxxx...原创 2021-08-16 14:47:47 · 18385 阅读 · 5 评论 -
ModuleNotFoundError: No module named ‘skbuild‘
pip install scikit-build这个包不叫skbuild,就像cv2和opencv-python一样原创 2021-08-15 22:06:15 · 783 阅读 · 0 评论 -
ubuntu安装deb文件
sudo dpkg -i sxxxxx.deb2.如果安装过程中提示缺少相关依赖,则执行如下命令解决:sudo apt -f install3.如果还找不到对应软件,重启电脑即可。原创 2021-08-09 15:24:49 · 1466 阅读 · 0 评论 -
ubuntu安装微信,QQ等软件
ubuntu安装微信,QQ等软件1.添加仓库2.安装微信只需要运行下面的命令3. 安装QQ其他一些软件1.添加仓库首次使用时,你需要运行如下一条命令将移植仓库添加到系统中。wget -O- https://deepin-wine.i-m.dev/setup.sh | sh自此以后,你可以像对待普通的软件包一样,使用apt-get系列命令进行各种应用安装、更新和卸载清理了。2.安装微信只需要运行下面的命令sudo apt-get install com.qq.weixin.deepin之后电原创 2021-08-09 14:09:39 · 2857 阅读 · 2 评论 -
BigDecimal中的compareTo()方法的使用
import java.math.BigDecimal;public class DemoBigDecimal { public static void main(String[] args) { BigDecimal a1 = new BigDecimal(123.34); BigDecimal a2 = new BigDecimal(5.34); BigDecimal a4 = new BigDecimal(123); Big原创 2020-10-13 20:49:30 · 29695 阅读 · 2 评论 -
线程中的通信及线程池的简介
第一章 等待唤醒机制1.1 线程间通信**概念:**多个线程在处理同一个资源,但是处理的动作(线程的任务)却不相同。比如:线程A用来生成包子的,线程B用来吃包子的,包子可以理解为同一资源,线程A与线程B处理的动作,一个是生产,一个是消费,那么线程A与线程B之间就存在线程通信问题。为什么要处理线程间通信:多个线程并发执行时, 在默认情况下CPU是随机切换线程的,当我们需要多个线程来共同完成一件任务,并且我们希望他们有规律的执行, 那么多线程之间需要一些协调通信,以此来帮我们达到多线程共同操作一份数原创 2020-08-27 01:20:40 · 362 阅读 · 0 评论 -
单线程的一些小例子
1.获取线程名/* 线程的名称: 主线程: main 新线程: Thread-0,Thread-1,Thread-2 */public class Demo01GetThreadName { public static void main(String[] args) { //创建Thread类的子类对象 MyThread mt = new MyThread(); //调用start方法,开启新线程,执行r原创 2020-08-26 02:27:53 · 477 阅读 · 2 评论 -
安装mpi4py模块遇到的一些问题(Ubuntu)
安装此模块需要首先安装mpich,如下sudo apt install mpich如果提示没有mpich可以首先更新一下:sudo apt-get update,在进行安装mpich。之后在进行pip install mpi4py如果还有问题可以参考:https://www.cnblogs.com/devilmaycry812839668/p/9476554.html...原创 2019-12-24 13:02:26 · 6512 阅读 · 2 评论 -
Redis的简单介绍
Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询。 Redis 内置了 复制...原创 2019-11-05 18:48:31 · 370 阅读 · 0 评论 -
Apache Arrow:列式内存
Apache Arrow 是列式内存分析的事实标准,由来自Drill、Hadoop、HBase、Impala、Storm等13个顶级开源项目的工程师们开发和完善。Apache Arrow 是一种基于内存的列式数据结构,它的出现就是为了解决系统到系统之间的数据传输问题,2016 年 2 月 Arrow 被提升为 Apache 的顶级项目。在分布式系统内部,每个系统都有自己的内存格式,大量的 CPU...原创 2019-11-05 14:55:51 · 1419 阅读 · 0 评论 -
git的简单使用
1.安装gitUbuntu: $ sudo apt-get install git or $ sudo apt-get install git-core # ord versionwindow: 下载安装包2.因为Git是分布式版本控制系统,所以,每个机器都必须自报家门:你的名字和Email地址。$ git config --global user.name "Your Nam...原创 2019-11-04 16:34:37 · 91 阅读 · 0 评论 -
Ray----Tune(6):Tune 的实例(二)
三、PyTorch 实例mnist_pytorch转换PyTorch MNIST示例以使用Tune和基于函数的API。另外展示了argparse命令行解析来使用Tune。代码:# Original Code here:# https://github.com/pytorch/examples/blob/master/mnist/main.pyfrom __future__ import...原创 2019-10-30 20:10:28 · 926 阅读 · 0 评论 -
RLlib概念和构建自定义算法
本篇描述了用于在RLlib中实现算法的内部概念。1.Policies策略类封装了RL算法的核心数值组件。这通常包括确定要采取的操作的策略模型、用于体验的轨迹后处理程序和用于改进给定后处理体验的策略的损失函数。有关简单示例,请参见策略渐变策略定义。与深度学习框架的大多数交互都与策略接口隔离,从而允许RLlib支持多个框架。为了简化策略的定义,RLlib包括Tensorflow和特定于pytor...原创 2019-06-19 20:31:44 · 3385 阅读 · 2 评论 -
RLlib: Scalable Reinforcement Learning
RLlib是一个用于增强学习的开源库,它为各种应用程序提供了高可伸缩性和统一的API。首先,查看自定义env示例和API文档。如果您希望使用RLlib开发自定义算法,请查看概念和自定义算法安装RLlib是依赖于ray的。首先,您需要安装PyTorch或TensorFlow。然后,安装RLlib模块(此处默认安装tensorflow):pip install tensorflow # o...原创 2019-06-09 21:07:24 · 1193 阅读 · 0 评论 -
RLlib模型和预处理器
1.RLlib 模型和预处理器概述(RLlib Models and Preprocessors Overview)下图提供了RLlib中不同组件之间数据流的概念性概述。我们从一个开始Environment,给出一个动作产生一个观察。在发送到神经网络之前,观察由 Preprocessor和Filter(例如,用于运行均值归一化)预处理Model。模型输出又由一个解释ActionDistribut...原创 2019-06-19 16:21:20 · 1860 阅读 · 0 评论 -
RLlib Environments
1.RLlib 的环境概述RLlib可以处理几种不同类型的环境,包括OpenAI Gym、用户定义的环境、多代理环境以及批处理环境。您可以传递字符串名称或Python类来指定环境。默认情况下,字符串将被解释为gym环境名称。直接传递给训练器的自定义env类必须在构造函数中使用一个env_config参数:import gym, rayfrom ray.rllib.agents impo...原创 2019-06-13 17:27:06 · 2455 阅读 · 0 评论 -
Python中的join()函数的用法
函数:string.join()Python中有join()和os.path.join()两个函数,具体作用如下:join(): 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串os.path.join(): 将多个路径组合后返回函数说明1、join()函数语法: ‘sep’.join(seq)参数说明sep:分隔符。可以为空se...转载 2019-05-29 19:31:27 · 209 阅读 · 0 评论 -
python中的split()函数的用法
函数:split()Python中有split()和os.path.split()两个函数,具体作用如下:split():拆分字符串。通过指定分隔符对字符串进行切片,并返回分割后的字符串列表(list)os.path.split():按照路径将文件名和路径分割开一、函数说明1、split()函数语法:str.split(str="",num=string.count(str))[n]...转载 2019-05-29 13:42:23 · 8301 阅读 · 0 评论 -
Ubuntu 升级pip3
pip3升级pip3 install --upgrade pip hash -r如果只运行pip3 install --upgrade pip可能会出现一下错误Traceback (most recent call last): File "/usr/bin/pip3", line 9, in <module> from pip import mainImpor...原创 2019-05-31 15:34:07 · 1325 阅读 · 0 评论 -
机器学习算法的随机数据生成
1.numpy随机数据生成API2.1) 用make_regression 生成回归模型的数据2) 用make_hastie_10_2,make_classification或者make_multilabel_classification生成分类模型数据3) 用make_blobs生成聚类模型数据4) 用make_gaussian_quantiles生成分组多维正态分布的数据1. n...转载 2019-05-12 15:14:27 · 594 阅读 · 0 评论 -
tf.Variable和tf.placeholder
tf.Variable声明一个变量,该变量必须被赋初值。# W = tf.Variable(tf.random_normal([784,10], stddev=0.1))# b = tf.Variable(tf.zeros([10]))Variable( initializer, name=None)initializer: 初值,既可以是一个张量,也可以是一个返回...转载 2019-05-15 19:20:22 · 1224 阅读 · 0 评论 -
rm -rf XXXXX:Device or resource busy问题解决
首先解除用到此文件的进程:umount XXXXX然后再删除rm -rf XXXXX例子:$ rm -rf netns/rm: cannot remove ‘netns/default’: Device or resource busy$ umount netns$ rm -rf netns/...原创 2019-08-18 18:56:52 · 8651 阅读 · 0 评论 -
np.argsort()
np.argsort()函数将数组的值从小到大排序后,并按照其相对应的索引值输出一维数组a = array([3,3,6,2,1,9])print(np..argsort())输出:[4 3 0 1 2 5]分析:a[4]=1 为a中最小值,排序后第一个为1,其索引为4;a[5]=9 为a中最大值,排序后最后一个为9,其索引为5.二维数组b = array([[1,2],[...原创 2019-05-01 11:32:52 · 4133 阅读 · 0 评论 -
Python中参数前面的星号
python函数参数前面单星号(*)和双星号(**)的区别在python的函数中经常能看到输入的参数前面有一个或者两个星号:例如def foo(param1, *param2):def bar(param1, **param2):这两种用法其实都是用来将任意个数的参数导入到python函数中。单星号(*):*agrs将所以参数以元组(tuple)的形式导入:例如:>>...转载 2019-06-04 10:46:58 · 1238 阅读 · 0 评论 -
RLilib 训练API
1. 入门指南(命令行)在高层次上,RLlib提供了一个训练器(Trainer)类,其中包含环境交互策略。通过trainer接口,可以对策略进行训练、检查或计算操作。在多智能体训练中,训练器同时管理多个策略的查询和优化。你可以用以下命令训练一个简单的DQN训练器:rllib train --run DQN --env CartPole-v0默认情况下,结果将被记录到~/ray_resu...原创 2019-06-11 19:14:34 · 1986 阅读 · 0 评论 -
Ray----Tune(1):可伸缩的并行的超参搜索
本篇仅初步简单介绍Ray中的重要训练框架Tune-----一个可伸缩的超参搜索框架,主要应用在深度学习和深度强化学习中。可以在GitHub上找到Tune代码,要开始使用Tune,需要一定的储备知识,深度学习,Keras库,tensorflow等强化学习的知识。特点支持任何深度学习框架,包括PyTorch、TensorFlow和Keras。选择可伸缩的超参数和模型搜索技术,如Populati...原创 2019-04-03 22:25:55 · 1264 阅读 · 0 评论 -
shell基本用法及简单利用expect实现简单(本地->跳板机->集群)自动化实例
1.执行shell脚本命令例 test.sh内容如下#!/bin/bash# echo 是输出标示 如:输出 This is a exampleecho "This is a example"# 当前目录 pwd ; 列出当前目录下的文件 lsecho "当前目录"pwdls注:其中第一行是提示用bash执行,#是注释执行结果This is a example当前目录...原创 2019-10-01 14:53:37 · 659 阅读 · 0 评论 -
python中[:-1],[::-1]的用法及说明
1、案例解释a='python'b=a[::-1]print(b) #nohtypc=a[::-2]print(c) #nhy#从后往前数的话,最后一个位置为-1d=a[:-1] #从位置0到位置-1之前的数print(d) #pythoe=a[:-2] #从位置0到位置-2之前的数print(e) #pyth2、用法说明b = a[i:j] 表示复制a[i]到a[j...转载 2019-08-31 13:07:35 · 2884 阅读 · 0 评论 -
np.array和np.asarray区别,以及.numpy.argsort()
1. np.array和np.asarray区别array和asarray都可将结构数据转换为ndarray类型。但是主要区别就是当数据源是ndarray时,array仍会copy出一个副本,占用新的内存,但asarray不会。例子1:import numpy as np #example 1: data1=[[1,1,1],[1,1,1],[1,1,1]] arr2=...原创 2019-08-27 21:56:27 · 430 阅读 · 1 评论 -
使用matplotlib动态打印图片(RGB图片)
import osimport numpy as npimport matplotlib.pyplot as plt# /home/kuka_data/data.npy中保存的是一个字典,共6560条数据# 其中的obs是图像的矩阵,每张图片的大小是256x256x4 load_dict = np.load('/home/kuka_data/data.npy',allow_pickle...原创 2019-08-26 13:53:43 · 2679 阅读 · 0 评论 -
numpy保存字典数据,读取数据,以及读取文件目录下的所有文件(此处以npy文件为例)
numpy保存数组,字典,非结构话数据注意 保存字典数组是用save()函数保存保存非结构化数据使用savez()函数保存非结构化读取的数据,若调用具体元素需要在后边加[()]想去请看一下例子。import numpy as np# 简单的数组保存arr = np.array([[1, 2], [3, 4]])np.save('/Users/lilong/Desktop/mm.n...原创 2019-08-26 13:42:52 · 14705 阅读 · 1 评论 -
RGB图片转换为灰度图片,以及图像和numpy矩阵之间的转换
1. 转换一张图片RGB==> 灰度图(一维)from PIL import Image# 加载RGB图片I = Image.open('/home/timg.jpg')I.show()# 转换为灰度图片L = I.convert('L')L.show()L.save('/home/timg2.jpg')2. 图片和numpy矩阵的转换图片 ==>numpu矩...原创 2019-08-26 12:57:16 · 5319 阅读 · 0 评论 -
RLlib算法
1.High-throughput architectures(高通量的架构)Distributed Prioritized Experience Replay (Ape-X)Apex论文和实现DQN、DDPG和QMIX (APEX_DQN、APEX_DDPG、APEX_QMIX)的Ape-X变量使用一个GPU学习器和许多CPU worker来收集实验。实验收集可以扩展到数百个CPU wor...原创 2019-07-19 16:24:57 · 1159 阅读 · 1 评论 -
os库中的部分功能
os.path.dirname(path)语法:os.path.dirname(path)功能:去掉文件名,返回目录print(os.path.dirname("C:/Read_File/read_yaml.py"))#结果:E:/Read_Fileos.listdir()os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表。这个列表以字母顺序。pat...原创 2019-07-17 12:49:05 · 147 阅读 · 0 评论 -
Ray:一个分布式应用框架
下一代AI应用程序将持续与环境交互并从这些交互中学习。 这些应用程序在性能和灵活性方面都提出了新的和苛刻的系统要求。 在本文中,我们考虑这些要求并提出Ray - 一个分布式系统来解决它们.Ray实现了一个统一的接口,可以表示任务并行和基于actor的计算,由单个动态执行引擎支持。 为了满足性能要求,Ray采用分布式调度程序和分布式容错存储来管理系统的控制状态。 在我们的实验中,我们展示了超过每秒180万个任务的规模,并且比几个现有的具有挑战性的强化学习应用程序的性能好。原创 2019-06-28 11:13:01 · 3042 阅读 · 0 评论 -
Huge pages (标准大页)和 Transparent Huge pages(透明大页)
在 Linux 中大页分为两种: Huge pages ( 标准大页 ) 和 Transparent Huge pages( 透明大页 ) 。内存是以块即页的方式进行管理的,当前大部分系统默认的页大小为 4096 bytes 即 4K 。 1MB 内存等于 256 页; 1GB 内存等于 256000 页。CPU 拥有内置的内存管理单元,包含这些页面的列表,每个页面通过页表条目引用。当内存越...转载 2019-04-30 21:51:43 · 560 阅读 · 0 评论 -
Ray- Plasma 的对象存储、资源管理(cpu,gpu)和临时文件
1 The Plasma Object StorePlasma是一种高性能共享内存对象存储,最初是在Ray中开发的,现在正在Apache Arrow中开发。请参阅相关文档。在Linux上,可以通过使用标准大页(huge pages)来增加Plasma对象存储的写吞吐量。您首先需要创建一个文件系统并激活如下所示的标准大页(huge pages)。sudo mkdir -p /mnt/hugep...原创 2019-04-30 17:22:36 · 4376 阅读 · 0 评论 -
Ray --内部运行机制、对象存储中对象的存储和容错
本篇主要介绍了分布式框架 Ray 的内部运行机制,对象的存储过程和容错能力。内部运行机制主要分为Ray的连接,远程函数的定义和使用以及获取对象ID的运行机制。对象存储主要是对象放入存储对象的序列化和从对象调出的反序列化,以及特殊的numpy数组的Apache Arrow 化存储。容错主要是进程和对象的恢复,丢失的actor不能重建,以及那些进程和对象不能重建问题。原创 2019-04-30 14:11:12 · 1594 阅读 · 0 评论 -
Ray入门指南(5)----Signal API (Experimental)
这个实验性API允许任务和参与者生成可以被其他任务和参与者接收的信号。此外,任务失败和actor方法失败生成错误的信号。错误信号能够使应用程序检测到故障并冲故障中恢复。ray.experimental.signal.send(signal)发送信号。信号具有唯一的标识符,这些标识符由发送该信号的actor或者任务的ID(即调用此函数的actor或任务),每次该源发送信号时递增的索引。这...原创 2019-04-03 16:44:59 · 529 阅读 · 0 评论 -
Tune:一个分布式模型选择与训练研究平台
摘要: 现代机器学习算法对计算的要求越来越高,需要专门的硬件和分布式计算来在合理的时间范围内实现高性能。为了提高模型选择的效率,已经提出了许多超参数搜索算法,但它们对分布式计算环境的适应性往往是临时的。我们提出了一个统一的模型选择和训练框架Tune,它在训练脚本和搜索算法之间提供了一个窄腰接口。结果表明,该接口能够满足大范围超参数搜索算法的要求,可以直接将搜索扩展到较大的集群上,并简化了算法的实现...原创 2019-04-15 22:43:53 · 1346 阅读 · 0 评论