![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 79
Robin-Li
未来,我要执着于技术!
展开
-
Nginx+Tomcat+memcached负载均衡实现session共享
1. 安装各个软件不用说了。2. 到tomcat的安装目录lib中,加入:memcached-2.6.jar(http://spymemcached.googlecode.com/files/memcached-2.6.jar)javolution-5.4.3.1.jarmemcached-session-manager-1.5.1.jarmem转载 2015-03-25 13:14:18 · 404 阅读 · 0 评论 -
海量数据处理常见问题
有关海量数据处理的一直以来都是互联网企业笔试面试的重点,此类题目也非常多,但归纳起来,主要有以下3类:top K问题、重复问题、排序问题。以下将分别对这3类问题进行详细的分析。 14.3.1 top K问题在大规模数据处理中,经常会遇到的一类问题:在海量数据中找出出现频率最高的前K个数,或者从海量数据中找出最大的前K个数,这类问题通常被称为top K问题。例如,在搜索引擎中,统计转载 2015-03-19 19:43:11 · 726 阅读 · 0 评论 -
bloom filter原理
简介编辑Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构,它具有很好的空间和时间效率,被用来检测一个元素是不是集合中的一个成员。如果检测结果为是,该元素不一定在集合中;但如果检测结果为否,该元素一定不在集合中。因此Bloom filter具有100%的召回率。这样每个检测请求返回有“在集合内(可能错误)”和“不在集合内(绝对不在集合内)”两原创 2015-03-19 19:50:42 · 328 阅读 · 0 评论 -
十道海量数据处理面试题与十个方法大总结
本文将向您讲述诸多数据处理面试题以及方法的总结。原创 2015-03-19 20:31:41 · 314 阅读 · 0 评论 -
海量数据处理之基本方法
针对海量数据的处理,可以使用的方法非常多,常见的方法有Hash法、Bit-map法、Bloom filter法、数据库优化法、倒排索引法、外排序法、Trie树、堆、双层桶法以及MapReduce法。1.Hash法Hash一般被翻译为哈希,也被称为散列,它是一种映射关系,即给定一个数据元素,其关键字为key,按一个确定的哈希函数Hash计算出hash(key),把hash(key)作转载 2015-03-19 19:46:26 · 699 阅读 · 0 评论 -
HADOOP常用命令
1.首先su hadoop 用hadoop用户登录,密码1234562.到目录/usr/local/hadoop/bin,下执行./start-all.sh3.在浏览器访问localhost:50070......localhost:50030 hadoop hdfs常用命令 hadoop常用命令: hadoop fs 查看Hado原创 2015-03-20 20:04:59 · 778 阅读 · 0 评论 -
在win7中配置eclipse连接Ubuntu内的hadoop
1.设置Ubuntu静态IP: 1)配置网卡参数到interfaces文件: 2)重启网卡: 2.配置Ubuntu的hosts: 3.配置VirtualBox虚拟机的网络连接: 4.配置Win7的hosts: 5.在Win7的eclipse中配置Map/Reduce连接: 1)基本模式: 2)高级模原创 2015-03-20 20:10:18 · 432 阅读 · 0 评论 -
hadoop运行程序详解-helloworld
保证hadoop集群是配置好了的,单机的也好。新建一个目录,比如 /home/admin/WordCount 编译WordCount.java程序。 1.javac -classpath /home/admin/hadoop/hadoop-0.19.1-core.jar WordCount.java -d /home/admin/WordCount(目录)原创 2015-03-20 20:11:32 · 630 阅读 · 0 评论 -
HTTP错误代码大全
HTTP错误大全HTTP 400 - 请求无效HTTP 401.1 - 未授权:登录失败HTTP 401.2 - 未授权:服务器配置问题导致登录失败HTTP 401.3 - ACL 禁止访问资源HTTP 401.4 - 未授权:授权被筛选器拒绝HTTP 401.5 - 未授权:ISAPI 或 CGI 授权失败HTTP 403 - 禁止访问HTTP 403 -原创 2015-03-23 19:06:10 · 766 阅读 · 0 评论