- 博客(3)
- 资源 (8)
- 收藏
- 关注
原创 Zookeeper原理及算法模型
概述Zookeeper(下简称zk)的基本数据模型为一个树形结构(类似文件系统结构)。zk的节点(znode)分为临时节点和永久节点。临时节点对当前session有效,永久节点永久有效。(同HIVE UDF)。永久节点下面可以挂子节点,临时节点下面不能再挂任何节点。znode特点:znode:每一个节点都有一个id,id不会重复;每一个id都有一个父id(pid)。每一个节点上的数据发生了变化,这时候会引发数据版本号cversion变化(版本号+1)znode上面不要存放太大的数据(几个kb),
2021-08-26 16:34:35 542
原创 YARN的配置项
这里以Hadoop 2.7为例,如果新版有变更以新版为主。ResourceManager相关配置参数:yarn.resourcemanager.address:ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等。默认值:${yarn.resourcemanager.hostname}:8032yarn.resourcemanager.scheduler.address:ResourceManager 对ApplicationMaster暴露的访问地
2021-08-04 09:44:19 3355
原创 Numpy随机数生成
numpy.random比Python的random(只能一次生成一个样本值)性能好很多,更便捷,使用如下:import numpy as npnp.random.normal(size=(4, 4)) # 生成标准正态分布的随机样本shape为4*4数组np.random.randint(0, 1) # 从给定的上下限选择整数,这里0到1两个中选(np.abs([2, -1, 3]) > 0).argmax() # 返回第一个最大值的索引,argmax(1)指定轴1返回数组# 随机数生成
2021-08-03 10:13:50 1053
Linux操作系统笔记
2019-03-29
Code128条码编码规则与绘制
2012-10-21
获取汉字拼音的首字母_C#代码
2012-10-16
DataMax打印机指令打印二维条码_C#代码
2012-10-16
DataMax打印机指令打印_C#代码
2012-10-15
ASCII码_含扩展(256个字符)_含解释
2012-10-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人