自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

coding乐园

一生最忌见识短浅,故步自封。

  • 博客(162)
  • 资源 (7)
  • 论坛 (1)
  • 收藏
  • 关注

原创 k8s学习系列之-k8s源代码编译

从docker容器中下载k8s源代码并编译1.首先准备一个ubuntu环境2.从docker镜像中查询golangdocker search golang看第一个显示Official为OK,且Stars最多,说明是官方镜像,因此可以下载该镜像。3.下载golang官方镜像docker pull golang4.创建golang 容器docker run -it -v /root/golang/go:/go -v/root/golang/code:/code --privilege.

2020-11-26 13:47:26 127

原创 论文分享-Heterogeneity-Aware Cluster Scheduling Policies for Deep Learning Workloads

这篇文章是由斯坦福大学和微软研究院共同合作的,于2020年11月发表于系统类顶级会议OSDI。主要研究了不同异构硬件资源对神符学习负载的影响和集群调度策略的设计。

2020-11-18 15:18:46 51

原创 编程题记录一字符计数并排序

题目描述:Python3解题方法:def f(): while True: try: from collections import defaultdict dic, str, res = defaultdict(list), input().strip(), "" for i in set(str): dic[str.count(i)].append(i)

2020-07-13 15:06:18 51

原创 win10系统更新后显示 找不到相机的问题

**win10系统更新后显示 找不到相机的问题**在一次在线考试之前的一个小时,突然发现自己的电脑无法打开摄像头,且显示找不到相机,一片黑屏。当时就蒙了,前两天测试还好好地,突然就不能用了?于是,开始在网络上搜索方法,安装驱动人生,检查驱动,更新,重启,然而毫无反应。让同学帮忙弄了半天,在考试的前几分钟突然好了,虽然没有耽误考试,但由于别的原因,emmm,心态要崩溃了。过了几天,恢复了一下心情,再一次使用相机的时候,发现??嗯??又不能用了。仔细回忆了一下,难道是和前几天的系统更新有关?! 目前

2020-06-23 16:03:08 450

原创 论文分享-Characterizing and Evaluating a Key-value Store Application on Heterogeneous CPU-GPU Systems

Characterizing and Evaluating a Key-value Store Application on Heterogeneous CPU-GPU Systems最近在阅读异构环境中的负载特征分析,想深入调研有关cpu与GPU异构环境下的应用运行特征,在一篇survey中看到了这篇paper,做个总结,加深一下印象。这篇paper发表于2012年,比较久远,但采用的性能分析方法比较经典,对于初步进行异构应用分析的同学大有裨益。引用地址是:Hetherington T H, Roge

2020-06-02 11:13:44 72

原创 NVIDIA Profiling Tools

前言:目前在用的监控GPU的工具有很多,比较常用的有nvprof和nvvp,还有Nsight。对这三种工具的使用不是很熟练,尚在学习当中。NVprofNvprof 是一款用以监控GPU和CPU的运行状态的工具。可以采集程序的运行热点,运行时间线,并进行任务以来分析和kenel函数调度分析等。NVVP是可以对Nvprof的trace结果.nvvp文件记性图形化展示,也可以直接连接物理机运行你的...

2019-12-04 20:47:55 455

原创 Benchmark: A survey

前言在进行大规模集群问题的研究时,我们往往没有足够多的服务器来搭建一个真正的大规模云计算集群,通常有以下几种方案解决此问题:租用云计算集群服务,如Amazon,华为云和阿里云等云服务。但该方式需要投入大量资金,有些同学在刚接触云计算时往往申请不到该资金,当然有收入的同学也可以选择自己购买。采用开源的云计算集群模拟平台,如Cloudsim。这种方式好像做通信方向的使用的较多,有兴趣的可...

2019-11-19 19:33:30 172

原创 ubuntu安装prophet

For Python3.6 Ubuntu16.10.4sudo apt-get install gccpip3 install pystan --usersudo apt-get install python3.6-devpip3 install fbprophet --user

2019-08-30 11:13:52 436 2

原创 python-pip如何批量导入当前python脚本需要的组件

问题描述当在一个新环境运行python脚本或者运行别人已经写好的python文件时,需要导入其所需要的组件,但是一个个导入或者将需要的名字都输入再导入非常麻烦,python提供了以下方法用以批量导入组件。解决方法两条命令解决问题解决方案是将需要的组件导入到一个txt文件,pip通过读取txt文件中的内容,并导入到当前运行环境中。pip freeze > requirements.t...

2019-03-29 11:50:49 315 1

转载 线程的抢占式和非抢占式调度

在一个进程里,线程的调度有抢占式或者非抢占的模式。在抢占模式下,操作系统负责分配CPU时间给各个进程,一旦当前的进程使用完分配给自己的CPU时间,操作系统将决定下一个占用CPU时间的是哪一个线程。因此操作系统将定期的中断当前正在执行的线程,将CPU分配给在等待队列的下一个线程。所以任何一个线程都不能独占CPU。每个线程占用CPU的时间取决于进程和操作系统。进程分配给每个线程的时间很短,以至于我们...

2019-03-14 16:48:33 1513

原创 ubuntu-修改python默认版本

在linux跑python脚本时默认是2.7版本,但是有许多组件在2.x已经摒弃了,最熟悉使用的还是3.x版本,为了一致性,不免要将linux系统上的python版本调整。 本机在ubuntu14.04 系统上进行更改设置。1.查看本地已安装的pythonroot@ccrfox111:/home/wychen/python_code# ls /usr/bin/python*/usr...

2018-09-06 15:29:55 473

原创 深入理解Linux的CPU

前言在分析linux机器上运行的负载特性时,常常需要分析很多的metrics。影响负载运行效率的关键因素中CPU是非常重要的一个。这里针对promethues中提取的有关cpu的metrics进行详细分析。同时也是对linux CPU的深入理解。1.CPU利用率的理解在linux系统中,CPU执行时分为用户态、系统态和空闲态。分别表示cpu处于用户态执行的时间、系统态执行的时间和空...

2018-09-06 11:19:04 379

原创 Docker深入理解(一)

1.什么是Docker?Docker是基于go语言实现的开源项目,诞生于2013年初。最初发起者是DotCloud公司 开源项目地址:http://github.com/docker/docker 现在主流的Linux操作系统都已经支持Docker Docker的主要目标是:Build, Ship and Run Any App, Anywhere.即通过对应用组件的封装(packagi...

2018-09-05 11:55:32 856

转载 Prometheus-Linux系统监控时序数据库

在做负载分析时,需要用到时序数据进行分析和可视化,一个专门用于存储时序数据的数据库就非常必要了。在同学的推荐下,发现并开始使用prometheus。正在慢慢探索当中…Prometheus1.定义Prometheus是一套开源的监控&报警&时间序列数据库的组合,起始是由SoundCloud公司开发的。随着发展,越来越多公司和组织接受采用Prometheus,社...

2018-09-04 16:11:56 1290

转载 Docker容器资源管理

前言 在进行集群实验时,由于物理机不够用,而在一台物理机装虚拟机又会造成很大的资源开销,电脑运行缓慢。而容器则为我们提供了一种很好的解决方式。Docker也在近几年很快扩展开来,被用以微服务架构的搭建和实验。 那么,使用docker创建的容器与物理机之间的资源占用是怎样的呢?下面我们来具体说明。1.基础概念 Docker使用cgroups归类运行在容器中的进程。这使得可以管理一组进程...

2018-09-03 16:28:27 1919

原创 Perf-Linux性能测试工具

perf1. 首先看一下英文给出的解释 Performance analysis tools for Linux Performance counters for Linux are a new kernel-based subsystem that provide a framework for all things performance analysis. It covers ...

2018-09-03 15:28:36 3135

原创 ubuntu安装perf

perf 是一款检测linux性能状况的工具安装sudo apt-get install linux-source打开文件目录:cd /usr/src找到linux文件解压 进入到 tools/perf 目录cd tools/perf#编译make && make install...

2018-08-31 13:44:30 11371 1

原创 使用Tex 撰写paper-TexStudio设置默认字体样式大小等

1.编辑tex格式的文件可以用相应的编辑器TexStadio,可自行从网站下载 下载地址这里写链接内容 2.TexStudio默认文本字体太小,如何设置呢? 直接点击 格式-字体-大小 这种方式只能更改当前窗口的字体样式和大小,关闭之后恢复默认点击 编辑-首选项-编辑器-编辑器默认配置右侧有一个XX磅的选项 这里更改之后 点击OK 关闭编辑器 重启...

2018-07-19 13:48:34 8159

原创 Hadoop-深入实践(一)

1. 大数据概念 无法再一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 =海量数据+复杂类型的数据 2. 核心特征 数据量大 类型繁多 价值密度低 速度快时效高 3. 大数据处理平台 离线处理平台 交互式处理平台 流处理平台 4.大数据技术路线图 5. Hadoop 定义 Apache开源软件基金会开发的运行于大规模服务器上的大数据存...

2018-07-04 09:33:24 917

原创 如何重新编译linux内核

1.环境 ubuntu 12.04 2.linux内核下载 官网选择适合的版本 这里选择是https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.3.tar.xz 3.ubuntu操作# 下载sudo wget https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.3....

2018-06-29 14:58:14 5175

原创 mysql 判断为NULL的语句

MySQL判断某个字段的值为NULL,不能用 != 1 , <>1来判断(查出结果为0) 而应该用is NULL 判断 例如:update workload_pattern set mss = 0 where mss is null

2018-06-19 14:23:12 23445

转载 mysql执行计划

引言:实际项目开发中,由于我们不知道实际查询的时候数据库里发生了什么事情,数据库软件是怎样扫描表、怎样使用索引的,因此,我们能感知到的就只有sql语句运行的时间,在数据规模不大时,查询是瞬间的,因此,在写sql语句的时候就很少考虑到性能的问题。但是当数据规模增大,如千万、亿的时候,我们运行同样的sql语句时却发现迟迟没有结果,这个时候才知道数据规模已经限制了我们查询的速度。所以,查询优...

2018-06-13 23:58:23 104

原创 python 一张图中绘制一个小的子图

有时候为了直观展现图的信息,可以在大图中添加小子图的方式进行数据分析,如下图所示: 具体的代码如下:该图连接了数据库,当然重要的不是数据展示,而是添加子图的方法。import matplotlib.pyplot as pltimport MySQLdb as mdbimport numpy as npfrom mpl_toolkits.axes_grid1.inset_locato...

2018-06-08 10:09:57 3336

原创 sql语句where in子查询优化

好好理解好好理解 转载请注明出处。 作者:wuxiwei 出处:http://www.cnblogs.com/wxw16/p/6105624.html

2018-06-01 14:22:26 19834

原创 alibaba trace_201708 数据集简介

1。原文地址 1.简介 数据中心增长的大规模的在线服务以及批处理作业的联合分配被用来提升数据中心的效率。这种联合分配为现有的集群管理系统带来了很大的挑战,特别是一起工作的用来提升集群利用率和效率的服务和作业的调度。 跟随我们认为的学术团体和工业界比较感兴趣的研究热点,我们提取出以下挑战:负载特性:我们如何能够以一种有代表性的方式为调度器研究模拟各种生产工作负载的方式来描述阿里巴巴工作负...

2018-05-29 23:43:12 1666

原创 pip安装MySQL-python报错error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++

1。问题说明: 在python环境安装MySQL时,出现如下问题: error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools2.解决 按照说明,...

2018-05-26 09:58:21 3250 1

转载 python-pandas基本数据操作

一、查看数据(查看对象的方法对于Series来说同样适用) 1.查看DataFrame前xx行或后xx行 a=DataFrame(data); a.head(6)表示显示前6行数据,若head()中不带参数则会显示全部数据。 a.tail(6)表示显示后6行数据,若tail()中不带参数则也会显示全部数据。2.查看DataFrame的index,columns以及values a.i...

2018-05-17 10:03:27 632

原创 机器学习数据分析之-轮廓系数(评估聚类结果)

在学习使用k-means算法进行负载聚类分析时看到了这样的图,查了之后大仙是用轮廓系数来评估分类结果的准确度或者称合适度。 定义 轮廓系数结合了凝聚度和分离度,其计算步骤如下: 1.对于第i个对象,计算它到所属簇中所有其他对象的平均距离,记为ai(体现凝聚度) 2.对于第i个对象和不包含该对象的任意簇,记为bi(体现分离度) 3.第i个对象的轮廓系数为si=(bi-ai)/max(a...

2018-05-14 22:50:58 19577 1

转载 Linux查看负载

负载(load)是linux机器的一个重要指标,直观了反应了机器当前的状态。如果机器负载过高,那么对机器的操作将难以进行。Linux的负载高,主要是由于CPU使用、内存使用、IO消耗三部分构成。任意一项使用过多,都将导致服务器负载的急剧攀升。查看服务器负载有多种命令,w或者uptime都可以直接展示负载,$ uptime 12:20:30 up 44 days, 21:46, 2...

2018-05-02 09:05:12 606

转载 高并发系统中的尾延迟

开发和运维高并发系统的工程师可能都有过类似经验,明明系统已经调优完毕,该异步的异步,该减少互斥的地方引入无锁,该减少IO的地方更换引擎或者硬件,该调节内核的调节相应参数,然而,如果在系统中引入实时监控,总会有少量响应的延迟高于均值,我们把这些响应称为尾延迟(Tail Latency)。对于大规模分布式系统来说,尾延迟的影响尤其严重,例如大规模搜索引擎,单个请求可能就会发送到上万台服务器,系统不得不...

2018-05-01 10:29:43 2445

原创 BigDataBench4.0排错-./gen_random_text: error while loading shared libraries: libgsl.so.0: cannot open

问题说明: 在运行负载测试的离线负载时,出现如下error:./gen_random_text: error while loading shared libraries: libgsl.so.0: cannot open shared object file: No such file or directory原因及解决方案 原因:由错误信息可知:当加载共享库时,不能打开共享文件...

2018-04-24 18:03:07 936

原创 大数据基准测试BigDataBench4.0安装及使用

前言 BigDataBench已经升级到4.0版本,但是相对应的handbook还是3.x的,在安装配置以及运行实例的时候会遇到各种不可预测的问题。在这里记录下我在使用过程中踩到的雷区。 环境准备 hadoop集群环境已经正确安装,可通过50070端口访问namenode和datanode 在这里也是使用BigDataBench_V4.0_Hadoop进行的测试 下载wget h...

2018-04-12 09:14:33 1896 2

原创 docker安装hadoop集群

前置条件: 首先确保系统已经正确安装docker 验证:sudo docker versionorsudo docker -v启动dockersudo service docker start 拉取hadoop镜像 这里用的github开源的镜像地址:sudo docker pull kiwenlau/hadoop:1.0clone到本地...

2018-04-11 09:34:30 299

原创 hadoop监控:JMX

前言 最近在研究hadoop集群的负载分析,同学推荐Hadoop自带的监控端口JMX,于是查阅资料做了一下总结。 认识JMX 1.首先看官方接口说明类JMXJsonServlet继承父类 javax.servlet.http.HttpServlet只提供web页面来访问JMX 例如:启动了hadoop集群(master slave1 slave2) 通过端口50070访问:ma...

2018-03-30 11:35:04 5276

原创 python3.6在win64下安装scrapy出现error

1.问题描述: 在学习使用python爬虫时用到了scrapy模块,使用命令:pip install scrapy安装时出现以下错误 下面还有:Command "e:\software\python3.6\python.exe -u -c "import setuptools, tokenize;__file__='C:\\Users\\lenovo\\AppData...

2018-03-15 17:23:29 485 1

原创 增强学习(一)-基本概念的理解

Reinforcement learning 1.定义: Reinforcement learning is learning what to do —-how to map situations to actions —- so as to maximize a numerical reward signal. 增强学习关注的是:智能体agent如何在环境中采取一系列行为,从而获得最大的累...

2018-03-09 16:34:45 756

转载 树结构的理解——B-tree

1、概念:B树和平衡二叉树稍有不同的是B树属于多叉树又名平衡多路查找树(查找路径不只两个),数据库索引技术里大量使用者B树和B+树的数据结构,让我们来看看他有什么特点;2、规则:(1)树种的每个节点最多拥有m个子节点且m>=2,空树除外(注:m阶代表一个树节点最多有多少个查找路径,m阶=m路,当m=2则是2叉树,m=3则是3叉);(2)除根节点外每个节点的关键字数量大于等于cei...

2018-03-05 15:58:10 1238

原创 树结构的理解——平衡二叉树

1.概念理解: 若要理解平衡二叉树(AVL),先要理解二叉排序树,很好理解,二叉排序树有这样的特点:若左子树不为空,则左子树上所有节点的值均小于它的根节点的值;若右子树不为空,则右子树的所有节点的值均大于根节点的值,左右子树也分别为二叉排序树。 简单看一个二叉排序树的例子: 好了,现在大概了解了二叉排序树的特点,接下来认识一下平衡二叉树,它是为了减少二叉排序树左右子树...

2018-03-05 14:41:06 268

转载 粒子群算法(PSO)

1.粒子群算法概述 粒子群算法属于群智能算法的一种,使用过模拟鸟群捕食行为设计的。假设区域里只有一块食物(即通常优化问题的最优解)鸟群的任务是找到这个任务源。鸟群在整个搜寻过程中,通过相互传递各自的信息,让其他的鸟知道自己的位置,通过这样的协作,来判断自己找到的是不是最优解,同时,也将最优解的信息传递给整个鸟群,最终,整个鸟群都能聚集在食物源周围,既我们所说的找到了问题的最优解,即问题收敛。 2

2017-11-20 16:20:41 1131

转载 蚁群算法

1.蚁群算法定义 又称蚂蚁算法,是一种用来在图中寻找优化路径的机率型算法。它由Marco Dorigo于1992年在他的博士论文中提出,其灵感来源于蚂蚁在寻找食物过程中发现路径的行为。蚁群算法是一种模拟进化算法,初步的研究表明该算法具有许多优良的性质,并且现在已用于我们生活的方方面面。 2.基本原理 蚂蚁在运动过程中,会留下一种称为信息素的东西,并且会随着移动的距离,播散的信息素越来越少,所以

2017-11-16 14:41:11 977

蚁群算法解决01背包问题-java实现

使用蚁群算法实现了单维的01背包问题,自己写的,可直接运行AcoKP.java文件即可输出结果,收敛速度还可以,可根据自己需要修改参数

2017-12-17

matlab初学者教程

matlab初学者教程,比较详细,对于初学者非常实用。

2017-06-19

Hadoop权威指南.pdf

2016-11-28

HBase权威指南中文版.pdf

2016-11-28

mysql-connector-java-5.1.39.zip

2016-11-28

代码库(for ACM)

包含acm长出算法以及配套解析,为你精选出经典例题,有助于算法能力的提升。

2015-10-13

编程之美pdf

对许多著名编程试题的详细分析和讲解,对学习算法和编程人员有极大的帮助。

2015-10-13

wychen_sunshine的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除