自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

coding乐园

一生最忌见识短浅,故步自封。

原创 NVIDIA Profiling Tools

前言:目前在用的监控GPU的工具有很多,比较常用的有nvprof和nvvp,还有Nsight。对这三种工具的使用不是很熟练,尚在学习当中。 NVprof Nvprof 是一款用以监控GPU和CPU的运行状态的工具。可以采集程序的运行热点,运行时间线,并进行任务以来分析和kenel函数调度分析等。 ...

2019-12-04 20:47:55

阅读数 46

评论数 0

原创 Benchmark: A survey

前言 在进行大规模集群问题的研究时,我们往往没有足够多的服务器来搭建一个真正的大规模云计算集群,通常有以下几种方案解决此问题: 租用云计算集群服务,如Amazon,华为云和阿里云等云服务。但该方式需要投入大量资金,有些同学在刚接触云计算时往往申请不到该资金,当然有收入的同学也可以选择自己购买。...

2019-11-19 19:33:30

阅读数 20

评论数 0

原创 ubuntu安装prophet

For Python3.6 Ubuntu16.10.4 sudo apt-get install gcc pip3 install pystan --user sudo apt-get install python3.6-dev pip3 install fbprophet --user

2019-08-30 11:13:52

阅读数 96

评论数 2

原创 python-pip如何批量导入当前python脚本需要的组件

问题描述 当在一个新环境运行python脚本或者运行别人已经写好的python文件时,需要导入其所需要的组件,但是一个个导入或者将需要的名字都输入再导入非常麻烦,python提供了以下方法用以批量导入组件。 解决方法 两条命令解决问题 解决方案是将需要的组件导入到一个txt文件,pip通过读取tx...

2019-03-29 11:50:49

阅读数 141

评论数 1

转载 线程的抢占式和非抢占式调度

在一个进程里,线程的调度有抢占式或者非抢占的模式。 在抢占模式下,操作系统负责分配CPU时间给各个进程,一旦当前的进程使用完分配给自己的CPU时间,操作系统将决定下一个占用CPU时间的是哪一个线程。因此操作系统将定期的中断当前正在执行的线程,将CPU分配给在等待队列的下一个线程。所以任何一个线程都...

2019-03-14 16:48:33

阅读数 317

评论数 0

原创 ubuntu-修改python默认版本

在linux跑python脚本时默认是2.7版本,但是有许多组件在2.x已经摒弃了,最熟悉使用的还是3.x版本,为了一致性,不免要将linux系统上的python版本调整。 本机在ubuntu14.04 系统上进行更改设置。 1.查看本地已安装的python root@ccrfox111...

2018-09-06 15:29:55

阅读数 330

评论数 0

原创 深入理解Linux的CPU

前言 在分析linux机器上运行的负载特性时,常常需要分析很多的metrics。影响负载运行效率的关键因素中CPU是非常重要的一个。这里针对promethues中提取的有关cpu的metrics进行详细分析。同时也是对linux CPU的深入理解。 1.CPU利用率的理解 在linux系...

2018-09-06 11:19:04

阅读数 265

评论数 0

原创 Docker深入理解(一)

1.什么是Docker? Docker是基于go语言实现的开源项目,诞生于2013年初。最初发起者是DotCloud公司 开源项目地址:http://github.com/docker/docker 现在主流的Linux操作系统都已经支持Docker Docker的主要目标是:Build,...

2018-09-05 11:55:32

阅读数 555

评论数 0

转载 Prometheus-Linux系统监控时序数据库

在做负载分析时,需要用到时序数据进行分析和可视化,一个专门用于存储时序数据的数据库就非常必要了。在同学的推荐下,发现并开始使用prometheus。正在慢慢探索当中… Prometheus 1.定义 Prometheus是一套开源的监控&报警&时间...

2018-09-04 16:11:56

阅读数 936

评论数 0

转载 Docker容器资源管理

前言 在进行集群实验时,由于物理机不够用,而在一台物理机装虚拟机又会造成很大的资源开销,电脑运行缓慢。而容器则为我们提供了一种很好的解决方式。Docker也在近几年很快扩展开来,被用以微服务架构的搭建和实验。 那么,使用docker创建的容器与物理机之间的资源占用是怎样的呢?下面我们来具体说明...

2018-09-03 16:28:27

阅读数 1039

评论数 0

原创 Perf-Linux性能测试工具

perf 1. 首先看一下英文给出的解释 Performance analysis tools for Linux Performance counters for Linux are a new kernel-based subsystem that provide a framewo...

2018-09-03 15:28:36

阅读数 1470

评论数 0

原创 ubuntu安装perf

perf 是一款检测linux性能状况的工具 安装 sudo apt-get install linux-source 打开文件目录: cd /usr/src 找到linux文件解压 进入到 tools/perf 目录 cd tools/perf #编译 make &a...

2018-08-31 13:44:30

阅读数 5438

评论数 0

原创 使用Tex 撰写paper-TexStudio设置默认字体样式大小等

1.编辑tex格式的文件可以用相应的编辑器TexStadio,可自行从网站下载 下载地址这里写链接内容 2.TexStudio默认文本字体太小,如何设置呢? 直接点击 格式-字体-大小 这种方式只能更改当前窗口的字体样式和大小,关闭之后恢复默认 点击 编辑-首选项-编辑器-...

2018-07-19 13:48:34

阅读数 4427

评论数 0

原创 Hadoop-深入实践(一)

1. 大数据概念 无法再一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 =海量数据+复杂类型的数据 2. 核心特征 数据量大 类型繁多 价值密度低 速度快时效高 3. 大数据处理平台 离线处理平台 交互式处理平台 流处理平台 4.大数据技术路线图 ...

2018-07-04 09:33:24

阅读数 561

评论数 0

原创 如何重新编译linux内核

1.环境 ubuntu 12.04 2.linux内核下载 官网选择适合的版本 这里选择是https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.3.tar.xz 3.ubuntu操作 # 下载 sudo wget https:/...

2018-06-29 14:58:14

阅读数 2589

评论数 0

原创 mysql 判断为NULL的语句

MySQL判断某个字段的值为NULL,不能用 != 1 , <>1来判断(查出结果为0) 而应该用is NULL 判断 例如: update workload_pattern set mss = 0 where mss is null

2018-06-19 14:23:12

阅读数 17642

评论数 0

转载 mysql执行计划

引言: 实际项目开发中,由于我们不知道实际查询的时候数据库里发生了什么事情,数据库软件是怎样扫描表、怎样使用索引的,因此,我们能感知到的就只有 sql语句运行的时间,在数据规模不大时,查询是瞬间的,因此,在写sql语句的时候就很少考虑到性能的问题。但是当数据规模增大,如千万、亿的时候,我们运 ...

2018-06-13 23:58:23

阅读数 89

评论数 0

原创 python 一张图中绘制一个小的子图

有时候为了直观展现图的信息,可以在大图中添加小子图的方式进行数据分析,如下图所示: 具体的代码如下:该图连接了数据库,当然重要的不是数据展示,而是添加子图的方法。 import matplotlib.pyplot as plt import MySQLdb as mdb import nu...

2018-06-08 10:09:57

阅读数 2173

评论数 0

原创 sql语句where in子查询优化

好好理解好好理解 转载请注明出处。 作者:wuxiwei 出处:http://www.cnblogs.com/wxw16/p/6105624.html

2018-06-01 14:22:26

阅读数 10114

评论数 0

原创 alibaba trace_201708 数据集简介

1。原文地址 1.简介 数据中心增长的大规模的在线服务以及批处理作业的联合分配被用来提升数据中心的效率。这种联合分配为现有的集群管理系统带来了很大的挑战,特别是一起工作的用来提升集群利用率和效率的服务和作业的调度。 跟随我们认为的学术团体和工业界比较感兴趣的研究热点,我们提取出以下挑战: ...

2018-05-29 23:43:12

阅读数 922

评论数 0

原创 pip安装MySQL-python报错error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++

1。问题说明: 在python环境安装MySQL时,出现如下问题: error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.v...

2018-05-26 09:58:21

阅读数 3006

评论数 1

转载 python-pandas基本数据操作

一、查看数据(查看对象的方法对于Series来说同样适用) 1.查看DataFrame前xx行或后xx行 a=DataFrame(data); a.head(6)表示显示前6行数据,若head()中不带参数则会显示全部数据。 a.tail(6)表示显示后6行数据,若tail()中不带参数则...

2018-05-17 10:03:27

阅读数 421

评论数 0

原创 机器学习数据分析之-轮廓系数(评估聚类结果)

在学习使用k-means算法进行负载聚类分析时看到了这样的图,查了之后大仙是用轮廓系数来评估分类结果的准确度或者称合适度。 定义 轮廓系数结合了凝聚度和分离度,其计算步骤如下: 1.对于第i个对象,计算它到所属簇中所有其他对象的平均距离,记为ai(体现凝聚度) 2.对于第i个对象和不包...

2018-05-14 22:50:58

阅读数 9503

评论数 0

转载 Linux查看负载

负载(load)是linux机器的一个重要指标,直观了反应了机器当前的状态。如果机器负载过高,那么对机器的操作将难以进行。 Linux的负载高,主要是由于CPU使用、内存使用、IO消耗三部分构成。任意一项使用过多,都将导致服务器负载的急剧攀升。 查看服务器负载有多种命令,w或者uptime都可...

2018-05-02 09:05:12

阅读数 370

评论数 0

转载 高并发系统中的尾延迟

开发和运维高并发系统的工程师可能都有过类似经验,明明系统已经调优完毕,该异步的异步,该减少互斥的地方引入无锁,该减少IO的地方更换引擎或者硬件,该调节内核的调节相应参数,然而,如果在系统中引入实时监控,总会有少量响应的延迟高于均值,我们把这些响应称为尾延迟(Tail Latency)。对于大规模分...

2018-05-01 10:29:43

阅读数 1237

评论数 0

原创 BigDataBench4.0排错-./gen_random_text: error while loading shared libraries: libgsl.so.0: cannot open

问题说明: 在运行负载测试的离线负载时,出现如下error: ./gen_random_text: error while loading shared libraries: libgsl.so.0: cannot open shared object file: No such file...

2018-04-24 18:03:07

阅读数 731

评论数 0

原创 大数据基准测试BigDataBench4.0安装及使用

前言 BigDataBench已经升级到4.0版本,但是相对应的handbook还是3.x的,在安装配置以及运行实例的时候会遇到各种不可预测的问题。在这里记录下我在使用过程中踩到的雷区。 环境准备 hadoop集群环境已经正确安装,可通过50070端口访问namenode和datanode ...

2018-04-12 09:14:33

阅读数 1154

评论数 2

原创 docker安装hadoop集群

前置条件: 首先确保系统已经正确安装docker 验证: sudo docker version or sudo docker -v 启动docker sudo service docker start 拉取hadoop镜像 这里用的github开源的镜像地址: ...

2018-04-11 09:34:30

阅读数 239

评论数 0

原创 hadoop监控:JMX

前言 最近在研究hadoop集群的负载分析,同学推荐Hadoop自带的监控端口JMX,于是查阅资料做了一下总结。 认识JMX 1.首先看官方接口说明 类JMXJsonServlet继承父类 javax.servlet.http.HttpServlet 只提供web页面来访问JMX 例如...

2018-03-30 11:35:04

阅读数 2900

评论数 0

原创 python3.6在win64下安装scrapy出现error

1.问题描述: 在学习使用python爬虫时用到了scrapy模块,使用命令: pip install scrapy 安装时出现以下错误 下面还有: Command "e:\software\python3.6\python.exe -u -c "imp...

2018-03-15 17:23:29

阅读数 355

评论数 1

原创 增强学习(一)-基本概念的理解

Reinforcement learning 1.定义: Reinforcement learning is learning what to do —-how to map situations to actions —- so as to maximize a numerical rewa...

2018-03-09 16:34:45

阅读数 502

评论数 0

转载 树结构的理解——B-tree

1、概念:B树和平衡二叉树稍有不同的是B树属于多叉树又名平衡多路查找树(查找路径不只两个),数据库索引技术里大量使用者B树和B+树的数据结构,让我们来看看他有什么特点; 2、规则: (1)树种的每个节点最多拥有m个子节点且m>=2,空树除外(注:m阶代表一个树节点最多有多少个查找...

2018-03-05 15:58:10

阅读数 762

评论数 0

原创 树结构的理解——平衡二叉树

1.概念理解: 若要理解平衡二叉树(AVL),先要理解二叉排序树,很好理解,二叉排序树有这样的特点:若左子树不为空,则左子树上所有节点的值均小于它的根节点的值;若右子树不为空,则右子树的所有节点的值均大于根节点的值,左右子树也分别为二叉排序树。 简单看一个二叉排序树的例...

2018-03-05 14:41:06

阅读数 169

评论数 0

转载 粒子群算法(PSO)

1.粒子群算法概述 粒子群算法属于群智能算法的一种,使用过模拟鸟群捕食行为设计的。假设区域里只有一块食物(即通常优化问题的最优解)鸟群的任务是找到这个任务源。鸟群在整个搜寻过程中,通过相互传递各自的信息,让其他的鸟知道自己的位置,通过这样的协作,来判断自己找到的是不是最优解,同时,也将最优解的信...

2017-11-20 16:20:41

阅读数 722

评论数 0

转载 蚁群算法

1.蚁群算法定义 又称蚂蚁算法,是一种用来在图中寻找优化路径的机率型算法。它由Marco Dorigo于1992年在他的博士论文中提出,其灵感来源于蚂蚁在寻找食物过程中发现路径的行为。蚁群算法是一种模拟进化算法,初步的研究表明该算法具有许多优良的性质,并且现在已用于我们生活的方方面面。 2.基...

2017-11-16 14:41:11

阅读数 799

评论数 0

原创 多维多选的背包问题

0-1背包问题是一类典型的组合优化问题,它要求找出n个物体的一个子集使其尽可能的装满容量为W的背包。他本质上是一个只有一个约束条件的0-1规划问题,在计算理论上属于NP完全问题,计算复杂性为o(2^n)。随着该问题的发展,产生了该问题的许多变形。例如:多选择背包问题;有界背包问题;无界背包问题;多...

2017-11-12 15:47:18

阅读数 7938

评论数 0

转载 启发式算法

1.定义 大自然是神奇的,它造就了很多巧妙的手段和运行机制。受大自然的启发,人们从大自然的运行规律中找到了许多解决实际问题的方法。对于那些受大自然的运行规律或者面向具体问题的经验、规则启发出来的方法,人们常常称之为“启发式算法(Heuristic Algorithm)”。 现在的启发式算法也不...

2017-11-11 17:13:54

阅读数 406

评论数 0

原创 最优化理论

最优化理论主要研究给定限制条件下如何选取变量参数,使得目标函数达到最优的问题。 最优化理论分为线性规划与整数规划、非线性规划、动态规划等。最优化理论中的线性规划是运筹学中研究最早、发展较快、方法较成熟的一个重要分支,他是帮助人们进行科学计算的一种数学方法。一般地,求解目标函数在一定线性约束条件下...

2017-11-09 20:00:03

阅读数 489

评论数 0

翻译 what is CPU capacity-什么是CPU容量

原文链接:https://www.techwalla.com/articles/what-is-cpu-capacity 翻译: 一个计算机的CPU,是中心处理单元,是让你的计算机成为一个计算机的关键。若没有它,你在使用的计算机将是一堆塑料和金属部件的结合。使用计算机时不知道CP...

2017-11-08 10:08:31

阅读数 1113

评论数 0

转载 l0-Norm, l1-Norm, l2-Norm, … , l-infinity Norm

原文链接:http://blog.csdn.net/u011650143/article/details/54695180What is a norm?Mathematically a norm is a total size or length of all vectors in a vecto...

2017-11-08 09:26:15

阅读数 640

评论数 0

提示
确定要删除当前文章?
取消 删除