zhisousou-CSDN博客

原创 FM算法解析及Python实现

1. 什么是FM？ FM即Factor Machine，因子分解机。 2. 为什么需要FM？ 1、特征组合是许多机器学习建模过程中遇到的问题，如果对特征直接建模，很有可能会忽略掉特征与特征之间的关联信息，因此，可以通过构建新的交叉特征这一特征组合方式提高模型的效果。 2、高维的稀疏矩阵是实际工程中常见的问题，并直接会导致计算量过大，特征权值更新缓慢。试想一个10000*100的表...

2020-02-27 17:16:01 324

转载 Hadoop 3.0纠删码(Erasure Coding)：节省一半存储空间

随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性，HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本，这也使得存储利用率仅为1/3，每TB数据都需要占用3TB的存储空间。随着数据量的增长，复制的代价也变得越来越明显：传统的3份复制相当于增加了200%的存储开销，给存储空间和网络带宽带来了很大的压力。因此，在保证可靠性的前提下如何提高存

2017-04-27 16:39:07 752

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人