![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
海量数据
qq_23617681
这个作者很懒,什么都没留下…
展开
-
海量数据的KNN分类、Kmeans聚类
针对海量数据,如何进行KNN分类和聚类,比如10万行的数据。本篇给出基本思路,具体实现未介绍。问题:如何对海量数据(5000万行)进行分类分析:进行分类的前提是,已经有相同格式数据分类完毕;接下来,是如何将新的海量数据(5000行),进行合理分类。思路1:bayes分类,根据数据的特征向量,计算其不同分类下的概率值,取最大概率所属类,即是分类结果。思路2:KNN分类,计原创 2016-05-16 23:39:55 · 4005 阅读 · 0 评论 -
海量数据处理分析经验和技巧
海量数据处理分析经验和技巧什么叫海量数据: 1. 数据量函数过千万,或者过亿,必须用程序处理; 2. 数据量达到TB,普通机器无法处理,必须借助特殊的工具和程序。 海量数据处理的软硬件要求: 3. 合理使用工具; 4. 合理分配系统资源; 5. 利用适当的方法。 对程序员的要求:没有通用方法,有通用原则和原理。 1. 丰富的经验; 2. 灵活的处理方式。海量数据原创 2016-05-20 17:55:53 · 2716 阅读 · 0 评论