HDP学习--YARN Resource Management(02)

本节介绍通过UI, 命令行, 配置文件, YARN API 管理YARN资源:

  1. Ambari UI
  2. ResourceManager UI
  3. Command line and manual configuration
  4. YARN API

一、 Ambari UI

1.1、Ambari UI YARN Management

这里写图片描述

1.2、Ambari UI YARN Resource Monitoring

这里写图片描述

1.3 Ambari UI YARN Heatmaps

这里写图片描述

1.4

这里写图片描述

The Configs tab provides the ability to modify the default behavior of YARN and YARN applications. The default Settings sub-tab contains several customizeable settings that can be configured via a GUI. These include:

 Memory: Controls the amount of node memory that can be allocated for containers, as well as the minimum and maximum size of those containers.
 YARN Features: Enable Node Lables to restrict YARN applications so that they can only run on nodes that have a specified label. Pre-emption allows the specification of higher-priority applications, which can reclaim resources from lower-priority applications in the event of resource contention.
 CPU: Enable CPU scheduling, which changes the default scheduler behavior to include both memory *and* CPU (rather than just memory) when making scheduling decisions. Enable CPU Isolation, which allows the isolation of CPU-heavy processes. When applicable (more on that in a later lesson), this section also controls the percentage of physical CPU allocated for containers on a node, the number of virtual cores allocated for containers. The Container settings set the minimum and maximum number of virtual cores (VCores) that can be allocated to any individual container.
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Gensim是一个相当专业的主题模型Python工具包。在文本处理中,比如商品评论挖掘,有时需要了解每个评论分别和商品的描述之间的相似度,以此衡量评论的客观性。评论和商品描述的相似度越高,说明评论的用语比较官方,不带太多感情色彩,比较注重描述商品的属性和特性,角度更客观。gensim就是  Python 里面计算文本相似度的程序包。示例代码:针对商品评论和商品描述之间的相似度,怎么使用gensim来计算?原理1、文本相似度计算的需求始于搜索引擎。搜索引擎需要计算“用户查询”和爬下来的众多”网页“之间的相似度,从而把最相似的排在最前返回给用户。2、主要使用的算法是tf-idftf:term frequency词频idf:inverse document frequency倒文档频率主要思想是:如果某个词或短语在一篇文章中出现的频率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。第一步:把每个网页文本分词,成为词包(bag of words)。第三步:统计网页(文档)总数M。第三步:统计第一个网页词数N,计算第一个网页第一个词在该网页中出现的次数n,再找出该词在所有文档中出现的次数m。则该词的tf-idf 为:n/N * 1/(m/M) (还有其它的归一化公式,这里是最基本最直观的公式)第四步:重复第三步,计算出一个网页所有词的tf-idf 值。第五步:重复第四步,计算出所有网页每个词的tf-idf 值。3、处理用户查询第一步:对用户查询进行分词。第二步:根据网页库(文档)的数据,计算用户查询中每个词的tf-idf 值。4、相似度的计算使用余弦相似度来计算用户查询和每个网页之间的夹角。夹角越小,越相似。 标签:Gensim

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值