- 博客(16)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 Docker(七)-Dcoker常用命令
容器生命周期管理runstart/stop/restartkillrmpause/unpausecreateexec容器操作psinspecttopattacheventslogswaitexportport容器rootfs命令commitcpdiff镜像仓库loginpullpushsearch本地镜像管理imagesrmitagbuildhistorysaveimportinfo|versioninfover
2020-05-09 15:52:49
263
转载 Docker(二)-Docker安装
官方文档：https://docs.docker.com/Docker 支持多平台的安装（Linux/Windows/OS X）。因为Docker原生支持Linux，所以，可以直接在Linux上运行，而且在Windows和 OS X 平台则需要借助轻量级的 Linux VM 运行。Ubuntu在线安装docker在Ubuntu上安装Docker的说明取决于您使用的是Docker企业版（Docker EE）还是Docker社区版（Docker CE）。参考文档：https://docs...
2020-05-09 15:43:31
512
转载 Docker(一)-Docker介绍
什么就Docker?Docker是一个开源项目， 诞生于2013年初，最初是dotCloud公司内部的一个业余项目。它基于Google公司推出的Go语言实现。项目后来加入了Linux基金会，遵从了Apache 2.0协议，项目代码在GitHub 上进行维护。Docker项目的目标是实现轻量级的操作系统虚拟化解决方案。Docker的基础是Linux容器（LXC）等技术。在LXC的基础上Docker进行了进一步的封装，让用户不需要去关心容器的管理，使得操作更为简便。用户操作Docker...
2020-05-09 15:16:43
261
原创 Linux 磁盘I/O工作原理及IO性能分析
磁盘介绍： 磁盘是可以持久化存储的设备，根据存储介质的不同，常见磁盘可以分为两类：机械磁盘和固态磁盘。机械磁盘，也称为硬盘驱动器（Hard Disk Driver），通常缩写为 HDD。机械磁盘主要由盘片和读写磁头组成，数据就存储在盘片的环状磁道中。在读写数据前，需要移动读写磁头，定位到数据所在的磁道，然后才能访问数据。显然，如果 I/O 请求刚好连续，那就不需要磁道寻址，自然可...
2020-05-08 12:43:19
1607
转载 Docker容器CPU、memory资源限制
背景在使用 docker 运行容器时，默认的情况下，docker没有对容器进行硬件资源的限制，当一台主机上运行几百个容器，这些容器虽然互相隔离，但是底层却使用着相同的 CPU、内存和磁盘资源。如果不对容器使用的资源进行限制，那么容器之间会互相影响，小的来说会导致容器资源使用不公平；大的来说，可能会导致主机和集群资源耗尽，服务完全不可用。docker 作为容器的管理者，自然提供了控制容...
2020-05-07 21:21:21
2632
1
原创 如何“快准狠”的找到内存的问题
如何“快准狠”的找到内存的问题内存性能指标内存性能工具性能指标和工具的联系如何迅速分析内存的性能瓶颈小结内存性能指标为了分析内存的性能瓶颈，首先你要知道，怎样衡量内存的性能，也就是性能指标问题。首先，我们最容易想到的是系统内存使用情况，比如已用内存、剩余内存、共享内存、可用内存、缓存和缓冲区的用量等。1、已用内存和剩余内存很容易理解，就是已经使用和还未使用的内存。2、共享内存是通过 tm...
2020-05-05 22:19:21
331
原创 内存中的Buffer和Cache有什么区别？
我们知道可以使用free 和 top 等工具，来查看系统和进程的内存使用情况，我们也知道内存和 CPU 的关系非常紧密，而内存管理本身也是很复杂的机制。所以，接下来一点点抽丝剥茧free# 注意不同版本的 free 输出可能会有所不同$ free total used free shared buff/cache ...
2020-05-05 21:15:02
2107
原创 Spark中的Application、Job、Stage与Task区别
首先，我先将这四种的定义列出来，之后咱们再通过简单代码进行分析。RDD任务切分中间分为：Application、Job、Stage和Task（1）Application：初始化一个SparkContext即生成一个Application；（2）Job：一个Action算子就会生成一个Job；（3）Stage：Stage等于宽依赖的个数加1；（4）Task：一个Stage阶段中...
2020-05-05 10:30:42
1751
1
原创 Linux系统内存究竟是如何工作的？
内存管理是Linux操作系统最核心的功能之一。其主要用来存储系统和应用程序的指令、数据、缓存等。那么，Linux 到底是怎么管理内存的呢？内存映射 说到内存，你能说出你现在用的这台计算机内存有多大吗？我估计你记得很清楚，因为这是我们购买时，首先考虑的一个重要参数，比方说，我的笔记本电脑内存就是 8GB 的 。我们通常所说的内存容量，就像我刚刚提到的 8GB，其实指的...
2020-05-03 15:06:23
293
原创 怎样快速分析出CPU瓶颈原因？
工作中你们是否也碰到了一个我曾有过的困惑： CPU 的性能指标那么多，CPU 性能分析工具也是一抓一大把，在实际的工作场景，我又该观察什么指标、选择哪个性能工具呢？接下来咱们说说在不同场景下，指标工具怎么选，性能瓶颈怎么找。 CPU 性能指标 接下来我们想象CPU 的性能指标都有哪些？首先最容易想到的应该是 CPU 使用率，这也是实际环境中最常见的一个性能指标。...
2020-05-03 15:06:17
2596
原创 spark-submit运行上传jar包问题
问题1： hadoop2.7+spark1.2: class not found com.hadoop.compression.lzo.LzoCodec测试环境，上传jar包，spark-submit运行报上述错误，主要原因是：hadoop集群的core-site.xml有：<property><name>io.compression.codec.l...
2020-05-02 08:59:08
1169
原创 当某个应用的CPU使用率达到100%时，我们应该怎么办？
前面有几篇你博文对平均负载和 CPU 上下文切换进行了介绍，接下来我们聊聊你最常用什么指标来描述系统的 CPU 性能呢？我想你的答案，可能不是平均负载，也不是 CPU 上下文切换，而是另一个更直观的指标—— CPU 使用率。我们前面说过，CPU 使用率是单位时间内 CPU 使用情况的统计，以百分比的方式展示。那么，作为最常用也是最熟悉的 CPU 指标，你能说出 CPU 使用率到底是怎么...
2020-05-01 20:48:42
914
原创 spark中Master与Worker区别及Driver与Executor区别
Master和Worker是Spark的守护进程，即Spark在特定模式下正常运行所必须的进程。Driver和Executor是临时程序，当有具体任务提交到Spark集群才会开启的程序。...
2020-05-01 14:03:35
1946
1
原创 CPU 上下文切换是什么意思？（下）
我们就接着来看，究竟怎么分析 CPU 上下文切换的问题。，上篇理论知识见：https://blog.csdn.net/czz1141979570/article/details/105873945怎么查看系统的上下文切换情况通过上一篇文章我们知道，过多的上下文切换，会把 CPU 时间消耗在寄存器、内核栈以及虚拟内存等数据的保存和恢复上，缩短进程真正运行的时间，成了系统性能大幅下降的一个...
2020-05-01 08:59:30
565
原创 CPU 上下文切换是什么意思？（上）
我们都知道，Linux 是一个多任务操作系统，它支持远大于 CPU 数量的任务同时运行。当然，这些任务实际上并不是真的在同时运行，而是因为系统在很短的时间内，将 CPU 轮流分配给它们，造成多任务同时运行的错觉。而在每个任务运行前，CPU 都需要知道任务从哪里加载、又从哪里开始运行，也就是说，需要系统事先帮它设置好CPU 寄存器和程序计数器（Program Counter，PC）。...
2020-05-01 08:52:18
1413
1
史上最详细最实用的Linux常用命令
2018-05-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人