- 博客(17)
- 收藏
- 关注
RSS订阅转载 kubernetes
Scheduler调度器做为Kubernetes三大核心组件之一， 承载着整个集群资源的调度功能，其根据特定调度算法和策略，将Pod调度到最优工作节点上，从而更合理与充分的利用集群计算资源。其作用是根据特定的调度算法和策略将Pod调度到指定的计算节点（Node）上，其做为单独的程序运行，启动之后会一直监听API Server，获取PodSpec.NodeName为空的Pod，对每个Pod都会创建一个绑定。默认情况下，k8s的调度器采用扩散策略，将同一集群内部的pod对象调度到不同的Node节点，以保证资源的
2020-06-25 10:22:38
149
转载 高性能计算
转载自：https://blog.csdn.net/btb5e6nsu1g511eg5xeg/article/details/79987391HPC系统实际上就是一个并行计算系统，很多初学者刚接触并行计算的时候会对MPI、OpenMPI和OpenMP产生非常大的疑惑，主要原因是对这几个概念本身理解的不清晰以及这几个缩写的字母确实是如此的近似。下面先通过一张图来看看MPI、OpenMPI和Op...
2019-07-17 21:19:24
3364
转载 协同过滤
为什么同现矩阵*评分矩阵=推荐结果举个用户3对物品102是否感兴趣的例子:用户3对所有物品的评分， 有评分说明用户3喜欢这东西用户ID物品ID1用户评分31012310203103
2018-01-31 19:49:21
385
转载 大数据第九天
1.倒排索引 "倒排索引"是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（Inverted Index）。1 实例描述 通常情况下，倒排索引由一个单词（或词组）以及相关的文
2018-01-30 23:05:10
271
转载 大数据第七天---MapReduce详解
1.Combiner Combiner的出现：为什么需要进行Map规约操作在上述过程中，我们看到至少两个性能瓶颈：（1）如果我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输，但如果我们只是对数据求最大值，那么很明显的Mapper只需要输出它所知道的最大值即可。这样做不仅可以减轻网络压力，同样也可以大幅度提高程序效率。
2018-01-28 19:01:10
762
转载 大数据第六天--MapReduce 计算框架
MapReduce是什么 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。Mapreduce的特点：
2018-01-27 18:45:52
742
转载 协同过滤
协同过滤算法和推荐系统分析1、基于用户的协同过滤算法步骤： 1.1找到和目标用户兴趣相似的用户集合 1.2 找到这个集合中的用户喜欢的，且目标用户没有听过的物品推荐给目标用户步骤1的关键是计算2用户的兴趣相似度。 2、基于物品的协同过滤算法 2.1计算物品之间的相似度 2.2根据物品的相似度和用户的历史行为给用户生成推荐列表UserCF：给用户推荐那些和
2018-01-26 19:41:38
224
转载 大数据第四天--HDFS工具类
package info.xiaohei.www;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import java.io.IOException;import java.net.URI;
2018-01-26 19:26:51
284
转载 大数据第五天
1.校验和 HDFS数据完整性：用户希望储存和处理数据的时候，不会有任何损失或者损坏。 Hadoop提供两种校验 1校验和（常用循环冗余校验CRC-32） ·1 写入数据节点验证 写入数据节点验证 Hdfs会对写入的所有数据计算校验和，并在读取数据时验证校验和。 元数据节点负责在验证收到的数据后，储存数据及其校验和
2018-01-26 19:22:27
414
转载 大数据第三天--HDFS SHELL 命令总结
(1)-appendToFile用法： hadoop fs -appendToFile ... 作用：附加文件到指定文件后。示例:hadoop fs -appendToFile localfile /user/hadoop/hadoopfilehadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoop
2018-01-24 18:30:53
732
转载 大数据第三天-HDFS
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。Hadoop 是一个以一种可靠、高效、可伸缩的方式进行处理的，能够对大量数据进行分布式处理的系统框架。所以可以理解为hadoop是一个框架，HDFS是hadoop中的一个部件。1. hdfs架构 一个HDFS文件系统包括一个主控节点NameNode和一组Da
2018-01-24 18:16:07
317
转载 CAP原理
CAP理论在互联网界有着广泛的知名度，知识稍微宽泛一点的工程师都会把其作为衡量系统设计的准则。大家都非常清楚地理解了CAP：任何分布式系统在可用性、一致性、分区容错性方面，不能兼得，最多只能得其二，因此，任何分布式系统的设计只是在三者中的不同取舍而已。事实上，让人吃惊的是，CAP在国外的响力完全不如所想，相反还伴随着诸多的争论。下面我们系统地阐述一下CAP的来龙去脉。1.CAP的历史1
2018-01-23 18:05:39
161
转载 大数据第二天
1 .cap原理 BASE理论CAP原理(CAP Theorem)：一致性(C onsistency)、可用性(A vailability)、分区容忍性(P artition tolerance)● 一致性（C）：在分布式系统中的所有数据备份，在同一时刻是否同样的值。（等同于所有节点访问同一份最新的数据副本）● 可用性（A）：在集群中一部分节点故障后，集群整体是否还能响应客户端的读
2018-01-23 14:46:05
257
1
转载 大数据第一天
1. 大数据，特点(5个v) 在信息 技术中，“大数据”是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。其挑战包括采集、管理、存储、搜索、共享、分析和可视化。IBM提出了大数据”5V”特点：一、Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。二
2018-01-22 19:46:11
538
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人