- 博客(10)
- 收藏
- 关注
RSS订阅原创 Spark yarn 模式设置执行器 executor 的核心数目（core number）、数量以及内存
按需静态设置参考链接：Stack Overflow接下来的回复包含了标题中的三方面内容：executor 核心数目，executor 数量，executor 内存。例如 driver memory 这样的参数原文并没有提及。案例：6 个节点，每个节点 16 核 + 64 GB RAM由于每个 executor 都是一个 JVM 实例，所以我们可以给每个节点分配多个 executor。为系统的运行保留资源文章原文的内容是：为了保证操作系统和 hadoop 进程的运行，每个节点要预留 1 个核心
2020-12-24 12:08:50
4966
1
原创 如何用 python matplotlib.pyplot.hist() 方法画出频率直方图，而非频数直方图
用 python matplotlib.pyplot.hist() 方法画出频率直方图问题：data 是一个一维数组，matplotlib.pyplot.hist(data)可以画出 data 的频数分布，但是无法直接得到 data 的频率分布。并且设置 density=True 只能得到 data 的概率密度分布，如何才能得到 data 的频率分布呢？解决方案：matplotlib.pyplot.hist(data, weights = np.zeros_like(data) + 1 / len(d
2020-08-30 21:26:03
4342
1
转载 python 中的可变（不可变）对象以及可哈希（不可哈希）的定义
可变（不可变）对象当改变一个对象的值时，如果能维持其 id 值不变，我们就说这个对象是可变的，否则这个对象就是不可变的。对于变量 x 来说，如果 id(x) 不随 x 的内容发生变化而变化，我们就说 x 是可变的；否则 x 就是不变的。常见的可变对象有字典，列表，常见的不可变对象有数字，字符串，元组。可哈希（不可哈希）对象参考官方文档的解释：如果一个对象在其生命周期内有一个固定不变的哈希值 (这需要__hash__()方法) 且可以与其他对象进行比较操作 (这需要__eq__()方法) ，那么
2020-08-22 09:48:17
1482
原创 不同组织机构所收集的与 BGP 相关的数据
管理 AS 信息，收集域间路由信息的组织Motivation组织介绍IANARIPE RISRIS Raw DataRIS RIPEstatRIPE ATLAStraceroute.orgRouteViewsPeeringDB & EURO-IXWHOISMotivation因为最近开始研究 BGP 相关的内容，然后在看了一些颇具代表性的文章后，也认识了很多管理 AS 信息，收集域间路由信息的组织。所以想写一篇文章把这些组织拥有的数据情况记录一下，为以后的研究提供便利。组织介绍IANAIA
2020-07-16 15:46:43
2635
原创 NetHide: Secure and Practical Network Topology Obfuscation 论文阅读笔记
Introduction恶意的用户可以通过一些像 tracerout 这样简单的网络工具来推断一个 AS 的内部结构，并识别结构中薄弱的链路发起链路洪泛攻击（Link-Flooding Attack, LFA)。虽然存在这样的问题，但大部分的网络管理者依然会允许路径的追踪，因为这也是他们查找网络错误原因的重要工具。如何在保证 trace 工具可用性的前提下对网络路由进行隐藏是一个值得研究的重要问题。这篇文章提出了一个混淆网络路由的框架——NetHide，NetHIde 的核心思想是把路由混淆问题转换成一
2020-06-30 21:52:21
502
2
原创 On Inferring Autonomous System Relationships in the Internet 论文阅读笔记
On Inferring Autonomous System Relationships in the Internet 论文阅读笔记#拓扑推断AS 拓扑推断相关的研究（较早）可参考：AS Relationships介绍在过去对于互联网架构的研究中，除了（R. Govindan and A. Reddy, “An analysis of Internet inter-domain topology and route stability,” in /Proc. IEEE INFOCOM/, vol.
2020-06-23 20:58:36
289
原创 利用 kubeadm 在ubuntu 上搭建 kubernetes 集群（国内环境下）
ubuntu 搭建 kubernetes 集群（国内环境下）Motivation想学习 kubernetes 权威指南第4版这本书，但是书中配置环境采用的的系统为 CentOS，本人服务器装的全部都是 Ubuntu，有很多操作是不太一样的，于是本人写下了这个文件，希望对大家有所帮助。#搭建实时机器学习集群参考网页与书籍https://blog.csdn.net/shykevin/art...
2019-11-15 14:25:55
571
翻译 初步学习 Docker
初步学习 Docker#搭建实时机器学习集群/学习Docker参考网页Post-installation steps for Linux | Docker DocumentationGet Started, Part 1: Orientation and setup | Docker Documentation安装之后的一些可选操作以非 root 用户的身份管理 DockerDock...
2019-11-15 10:54:04
126
翻译 在 Ubuntu 上安装 Docker
在 ubuntu 上安装 Docker参考网页：Get Docker Engine - Community for Ubuntu | Docker Documentation查看系统要求在上面的网页上查看对系统版本的要求。安装 Docker Engine Community 版本一共有三种安装 Docker 的方式，可以依据自己的喜好选择：大多数的用户为了更新升级方便会选择先设置 ...
2019-11-15 10:51:17
157
翻译 WebRTC 初体验
一、 什么是 WebRTC想象一下一个这样的世界：你能利用你的手机、或你的电脑，或电视在一个公共的平台——web浏览器上与他人交流，这样人与人之间的沟通，文件分享该有多便利啊。利用WebRTC（web real time communication）就能做到这点。二、 WebRTC API 介绍 WebRTC is a new front in the long war for...
2018-07-28 23:40:25
3600
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人