大数据
qq_34256296
这个作者很懒,什么都没留下…
展开
-
大数据概念与Hadoop
一、什么是大数据1.概念 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产2.特点 大数据的特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracit...原创 2018-07-31 16:37:43 · 317 阅读 · 0 评论 -
Hadoop2.6集群搭建(CentOS7)
一、环境准备 1.三台虚拟机(CentOS7 + jdk1.8) 1)192.168.122.11 master 配置:2G内存+32G储存 2)192.168.122.12 slave1 配置:1G内存+32G储存 3)192.168.122.13 slave2 配置:1G内存+32G储存...原创 2018-07-31 21:25:08 · 1586 阅读 · 0 评论 -
传统Hash分流与一致性Hash
一、传统Hash分流 分析:Hash() % max结果在总在0 ~ max-1间,由此可以做负载均衡,请求分发 优点:简单 问题:分流时,机器宕机会产生失败请求,容易引起请求丢失二、一致性Hash 分析:一致性哈希就是将整个哈希值空间组织成一个虚拟的圆环,如图,哈希函数的值空间为0-2^32-1,2^32-1(最大值) + 1 = 0,由此形成闭环。添加机器,机器宕机,请...原创 2018-08-02 16:27:34 · 2847 阅读 · 0 评论