海量数据处理
木木老蔫
活泼开朗,呵呵,热爱钓鱼
展开
-
Rainbow table彩虹表破解md5密码
彩虹表(Rainbow Table)是一种破解哈希算法的技术,是一款跨平台密码破解器,主要可以破解MD5、HASH等多种密码。它的性能非常让人震惊,在一台普通PC上辅以NVidia CUDA技术,对于NTLM算法可以达到最高每秒103,820,000,000次明文尝试(超过一千亿次),对于广泛使用的MD5也接近一千亿次。更神奇的是,彩虹表技术并非针对某种哈希算法的漏洞进行攻击,而是类似暴力破解,对转载 2012-10-09 10:51:41 · 6877 阅读 · 0 评论 -
海量数据处理:十道面试题与十个海量数据处理方法总结
第一部分、十道海量数据处理面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计,然后再找出频率最大的几个)及相应的转载 2012-09-21 14:18:07 · 885 阅读 · 0 评论 -
linux中fedora安装memcached转载与总结
Danga Interactive 开发 memcached的目的是创建一个内存缓存系统来处理其网站LiveJournal.com的巨大流量。每天超过2000万的页面访问量给LiveJournal的数据库施加了巨大的压力,因此Danga的Brad Fitzpatrick 便着手设计了memcached。memcached不仅减少了网站数据库的负载,还成为如今世界上大多数高流量网站所使用的缓存解原创 2012-09-27 10:02:41 · 1310 阅读 · 0 评论 -
memcached状态stats参数详解
memcache的运行状态可以方便的用stats命令显示。首先用telnet 127.0.0.1 11211这样的命令连接上memcache,然后直接输入stats就可以得到当前memcache的状态。这些状态的说明如下:pidmemcache服务器的进程IDuptime服务器已经运行的秒数time服务器当前的unix时间戳versionmemcache版本转载 2012-11-09 11:19:26 · 1623 阅读 · 0 评论 -
你在淘宝买件东西背后的复杂技术
你发现快要过年了,于是想给你的女朋友买一件毛衣,你打开了www.taobao.com。这时你的浏览器首先查询DNS服务器,将www.taobao.com转换成ip地址。不过首先你会发现,你在不同的地区或者不同的网络(电信、联通、移动)的情况下,转换后的IP地址很可能是 不一样的,这首先涉及到负载均衡的第一步,通过DNS解析域名时将你的访问分配到不同的入口,同时尽可能保证你所访问的入口是所有入口中可转载 2012-12-28 17:25:55 · 1548 阅读 · 0 评论 -
Memcached二三事儿
转自http://huoding.com/2012/12/30/205Memcached绝对称得上是NoSQL老兵!可惜随着时间的推移,Redis等后起之秀羽翼渐丰,Memcached相比之下已呈颓势。那我们还用不用学习它?答案是肯定的!毕竟仍然有很多项目依赖着它,如果忽视它,一旦出了问题就只有干瞪眼的份儿了。网络上关于Memcached的资料可以说是浩如烟海,其中不乏一些精彩之作,比如说转载 2013-01-05 16:04:42 · 686 阅读 · 0 评论 -
中文分词
中文搜索引擎技术揭密:中文分词中文搜索引擎技术揭密:中文分词作者Winter首发于:e800.com.cn前言信息的飞速增长,使搜索引擎成为人们查找信息的首选工具,Google、百度、yisou、中搜等大型搜索引擎一直人们讨论的话题。随着搜索市场价值的不断增加,越来越多的公司开发出自己的搜索引擎,阿里巴巴的商机搜索、8848的购物搜索等也陆续面世,自然,搜索引擎技术也成为技术人转载 2013-02-02 10:27:44 · 1182 阅读 · 0 评论 -
在线管理监控你的memcache,web工具memadmin
这个工具可以满足日常大部分管理操作http://www.junopen.com/memadmin/其中有使用截图和介绍https://github.com/junstor/memadmin 下载地址原创 2014-01-05 00:33:14 · 1943 阅读 · 0 评论