集群规模、mysql与hbase区别

1. hbase与mysql的区别

①定义：a)MySQL：关系型数据库，主要面向OLTP，支持事务，支持二级索引，支持sql，支持主从、Group Replication架构模型（此处以Innodb为例，不涉及别的存储引擎）。b)HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支持sql。②数据存储方式a)MySQL采用行存储MySQL行存储的方式比较适合OLTP业务。b)HBase是面向列的NoSql数据库列存储的方式比较适合OLAP业务，而HBase采用了列族的方式平衡了OLTP和OLAP，支持水平扩展，如果数据量比较大、对性能要求没有那么高、并且对事务没有要求的话，HBase也是个不错的选择。③适用场景：比较点

1.
集群规模？集群配置？

1）大数据搭建集群规模，需要在正式搭建集群之前，需要准备好，即是计划集群的规模情况，否则后面容易出麻烦。

如：
服务器为一台128G内存华为服务器
硬盘raid0之后为14T。
安装Esxi6.0系统。
服务器一台，内存128G，10C，安装windows操作系统
服务器规划：
服务器安装ESXI5.5,虚拟出4台centos6.5服务器，3台内存32G，2C，用于搭建大数据环境；另1台内存16G，2C，安装Oracle，mysql，Tomcat等软件作为应用服务器。

2）具体举例：

①整体规模分配
2台（Namenode HA，Resourcemanager HA，Hmaster HA）
10台（Datanode，nodemanager，journalnode，Regionserver）
1台（hive，sqoop，oozie，hue）
3台（zookeeper）

②内存以及cpu分配
cpu：
32-64核
内存：
64-128G

③具体分配
Namenode：16G
Resourcemanager：2G
Hmaster：2G
----------------------------------------------20G

Datanode：1G
nodemanager：1G
journalnode:1G
Regionserver:16G

----------------------------------------------20G

hive，sqoop，oozie，hue:1G

-----------------------------------------------1G

ZK:2G
要求磁盘读写快

-----------------------------------------------2G

yarn：
yarn.nodemanager.resource.memory-mb：8192
给定的是每个NM节点，任务运行允许分配的内存大小，工作中一般都会改大, 161024 或 241024

yarn.nodemanager.resource.cpu-vcores：8
给定的是每个NM节点，任务运行允许分配的CPU大小，必须和memory-mb转换为GB一样的值一样，工作中一般都会改大, 16 或 24

④网络配置
万兆
千兆：这时，瓶颈出现在网络上

⑤数据量规划
1~3千万的数据量，大约400W
需要磁盘50G。

⑥job数据规划
总数量在40个左右，mr程序30个左右，hive不到10个

ntile(n),用于将分组数据按照顺序切分成N片，返回当前切片值。ntile不支持rows between，
如果切片不均匀，默认增加第一个切片的分布。