面试_大数据

大数据

2.1 数据库

2.1.1 数据库的四大事物特性原子性等是如何保证的（数据库底层的优化）

2.1.2 SQL的优化方法，最好联合实际。

2.2 Hadoop

2.2.1 两个很大和很小数据量做差集，如何去用mapreduce优化

2.2.2 mapreduce流程方面

2.2.3 mapreduce数据倾斜处理方面需要增加实战经验

2.2.4 Hadoop不重启，动态删除节点和新增节点

hadoop重启太麻烦了，需要暂停当前所有的任务。所以动态的删除和新增节点就很重要了。

1. 先说动态删除节点：
   （配置为可动态删除节点，这个是要重启的，以后需要动态删除节点时，就不用重启了。）进入hadoop目录的etc/hadoop/目录
   1.增加excludes文件，每行写一个要删除的节点的主机名
   2.在hdfs-site.xml中增加

<property>
	<name>dfs.hosts.exclude</name>
	<value>/data/hadoop/etc/hadoop/excludes</value>
</property>

3.在mapred-site.xml中增加

<property>
	<name>mapred.hosts.exclude</name>
	<value>/data/hadoop/etc/hadoop/excludes</value>
	<final>true</final>
</property>

这样，如果需要删除某一节点，只需把该节点的主机名写入excludes文件，然后执行（仅在namenode上修改文件，执行命令即可）

hadoop dfsadmin -refreshNodes

查看节点状态hadoop dfsadmin -report或者web管理端页面，可以看到该节点是decomissioning状态，等它变化为decomissioned，就可以把这个节点拿掉了。拿掉后，该节点上进程还是都在的，直接kill即可。

2. 动态新增节点：
   修改新增节点A的系统hostname（通过修改/etc/hostname）
   修改集群中所有节点hosts，添加新增节点A的ip和主机名，（集群所有节点保持hosts文件统一）。注：不需要重启系统。
   修改集群所有节点slave文件，添加新增节点A的主机名。
   添加DataNode:
   对于新添加的DataNode节点，需要启动datanode进程，从而将其添加入集群
   
   在新增的节点A上，运行hadoop-daemon.sh start datanode即可
   然后在namenode通过hdfs dfsadmin -report查看集群情况.
   最后还需要对hdfs负载设置均衡， 启动Balancer，start-balancer.sh，等待集群自均衡完成即可。
3. 添加Nodemanager
   由于Hadoop2.X引入了YARN框架，所以对于每个计算节点都可以通过NodeManager进行管理，同理启动NodeManager进程后，即可将其加入集群。
   在新增节点，运行yarn-daemon.shstart nodemanager即可。

2.2.5 服务器为什么会崩溃/宕机？

1. 第一个是内存的问题。
   服务每个请求都是要吃内存的，请求越多内存用量越大，但内存毕竟是有限的，可能是物理内存确实用光了，也可能是OS或者中间层的限制。
2. 第二个是设计上的局限。
   有些东西设计上就不是为大负载高并发来做的。比如早年的mysql/myisam。速度快不快？飞快。但一定数据库大到一定程度，性能就会直线下降。虽然在这个阶段还只是反应慢，服务器没有趴窝，但这种慢并非是线性增长的，而是近似于指数那这样增长方式。

总的来说，服务器挂掉，就是资源不足以支撑高并发的请求；
内存不足，数据库连接池的限制导致访问数据长时间等待导致服务超时，或者大量复制计算消耗CPU性能，都会导致服务器无法承担大量高并发的请求；

2.3 redis

2.3.1 redis的容器是？为什么用？

redis的底层是用数组来作为存储数据的容器，原因：数组拥有下标，可以遍历/寻址，redis采用头指针+偏移量的方式可以快速定位到数据所在的内存地址。