大数据
关注
分享
扫一扫
RainStarX
鬼刀 马前卒 大航海时代 机器学习
展开
-
大数据零基础入门学习 最原始基础的解决算法
在解决问题之前，要先计算一下海量数据需要占多大的容量。常见的单位换算如下： 估算是做大数据架构必须会的手段。 机器问题基本解法： 如果数据量很大，无法放在一台机器上，就将数据拆分到多台机器上。这种方式可以让多台机器一起合作，从而使得问题的求解更加快速。但是也会导致系统更加复杂，而且需要考虑系统故障等问题； 内存问题基本解法： 如果在程序运行时无法直接加载一个大文件...原创 2019-02-21 22:29:13 · 337 阅读 · 0 评论 -
大数据零基础入门学习 topk与词频统计
词频统计与取前k内容 比如百度搜索如何取前k条符合的内容呢，最基础的方法是先算出每个内容的匹配值然后取前k位。词频类似，统计词对应频率然后取前k位 Topk 求取算法 TopK Elements 问题用于找出一组数中最大的 K 个的数。 此外还有一种叫 Kth Element 问题，用于找出一组数中第 K 大的数。 其实要求解 TopK Elements，可以先求解 ...原创 2019-02-22 15:05:39 · 588 阅读 · 0 评论