大数据算法
文章平均质量分 88
有梦想的人不睡觉121
大数据开发
展开
-
大数据与算法系列之算法性能分析
我们在敲出自己心爱的程序的时候,我们是否想过,自己程序的性能咋样!今天,我们说一说对程序或者算法的性能分析!算法复杂度算法复杂度是算法性能最基本的评价标准,复杂度是一个算法的时间运行函数,常用大写的‘O’表示,算法复杂度都时间复杂度和空间复杂度组成1.时间复杂度时间复杂度描述了算法的运行时间,例如,一个算法对于输入规模n的计算,它平均需要计算6n^3+9n次才能得到问题的解,则他的时间复杂度可视为...原创 2018-06-04 10:50:38 · 3930 阅读 · 0 评论 -
大数据与算法系列之排序算法
排序算法是从事IT行业中最为常见的算法,排序是数值计算基础,本次将讲解各种排序算法。一般情况下的算法思想是通过两两比较的方式进行排序,虽然从理论上来讲采用两两比较可以解决现实问题,但是实际上却不会采用两两比较的方式,因此,本次将会介绍性能较高的爱须算法,也是实际中用的最多的方法。快速排序快速排序(Quick Sort)采用分治法的思想,首先把一个数值序列划分为两个子序列,然后对两个子序列再进行分治...原创 2018-06-04 10:52:05 · 6208 阅读 · 0 评论 -
大数据与算法系列之字符压缩编码
字符压缩编码是常常用到的编码技术,压缩的目的在于将出现频率较高的字符用短编码表示,而对于很少出现的字符用较长编码表示,从而提升字符在某些领域中的负荷,如网络传输过程中减少流量开销,常用的字符串压缩编码包括哈夫曼编码及香农-范诺编码。哈夫曼编码通过哈夫曼编码(Huffman Coding)方式可以对词语进行数值化,根据词语可以进行哈夫曼编码处理,以减少词语集合的表示大小,哈夫曼编码是一种无损数据压缩...原创 2018-06-04 10:53:57 · 5269 阅读 · 0 评论 -
大数据与算法系列之数值查找算法
查找是指在大量的数据中寻找特定的元素,它是数值计算中常用的运算逻辑,一般情况下,可以按照顺序依次查找,但是在数据量较大的情况下,顺序查找的性能往往会让人望而却步,折半查找和二叉树查找可以针对的数值序列做到快速查找,哈希查找则是针对无序的数值序列查找,它们都具有较好的性能。二分搜索算法折半查找(Half-Interval Search)也称作二分查找(Binary Search)、对数查找(Loga...原创 2018-06-04 10:55:08 · 6980 阅读 · 0 评论 -
大数据与算法系列之海量数据查找算法
在某些时候,可能会涉及在海量数据中的查找,如果采用通常的做法,则很难达到一定的效果,在实际工程实践中,海量数据的查找性能很肯恩鬼成为整个系统的性能瓶颈,在海量数据中的查找包括基于布隆过滤器的方式,以及基于倒排索引的数据结构。基于布隆过滤器查找布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制矢量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集...原创 2018-06-05 07:16:55 · 17688 阅读 · 0 评论 -
大数据量下的集合过滤—Bloom Filter
原文地址:https://www.cnblogs.com/z941030/p/9218356.html算法背景如果想判断一个元素是不是在一个集合里,一般想到的是将集合中所有元素保存起来,然后通过比较确定。链表、树、散列表(又叫哈希表,Hash table)等等数据结构都是这种思路,存储位置要么是磁盘,要么是内存。很多时候要么是以时间换空间,要么是以空间换时间。在响应时间要求比较严格的情况下,如果我...转载 2018-06-26 16:33:59 · 9191 阅读 · 0 评论 -
基于redis(key分段,避免一个key过大) 和db实现的 布隆过滤器(解决hash碰撞问题)
原文地址:https://yq.aliyun.com/articles/167466摘要: 基于redis(key分段,避免一个key过大) 和db实现的 布隆过滤器(解决hash碰撞问题)1.计算出key的哈希值。根据hash值和固定段大小取模计算出偏移位offset。根据固定前置+hash值/固定段大小计算出所处段的bitKey。根据bitKey和offset判断是否存在。如果存在然后调用co...转载 2018-06-27 19:12:01 · 7467 阅读 · 0 评论 -
kerberos认证原理
原文地址:https://blog.csdn.net/wulantian/article/details/42418231前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候,讲了半天也别把那位老兄讲明白,还差点把自己给绕进去。后来想想原因有以下两点:对于一个没有完全不了解Kerberos的人来说,Kerberos的整个Authentication过程确实...转载 2018-07-06 16:30:09 · 6099 阅读 · 0 评论