大数据
文章平均质量分 90
Cway_l
这个作者很懒,什么都没留下…
展开
-
HFDS伪分布式集群搭建
关于hostname命令hostname命令用于显示和设置系统的主机名称。环境变量HOSTNAME也保存了当前的主机名。在使用hostname命令设置主机名后,系统并不会永久保存新的主机名,重新启动机器之后还是原来的主机名。如果需要永久修改主机名,需要同时修改/etc/hosts和/etc/sysconfig/network的相关内容[root@localhost home]# vi /etc...原创 2018-10-11 23:26:27 · 1272 阅读 · 0 评论 -
Spark Executor内存管理以及shuffle调优
Spark Executor内存管理以及shuffle调优原创 2018-11-18 19:52:37 · 372 阅读 · 0 评论 -
Spark的Shuffle过程
Spark的Shuffle过程原创 2018-11-18 17:27:49 · 286 阅读 · 0 评论 -
MapReduce原理
MapReduce是一种处理大型及超大型数据集并生成相关执行的编程模型。通俗来讲,MapReduce是一个大数据分布式计算框架,它基于google的一篇研究论文MapReduce。MapReduce是由两个阶段组成:Map端Reduce端而Map端和Reduce端之间有着一系列复杂的suffle(洗牌)过程主要思想:分久必合核心思想:"相同"的key为一组,调用一次reduce...原创 2018-10-17 11:00:22 · 673 阅读 · 0 评论 -
HDFS原理
HDFS(Hadoop Distributed File System)原创 2018-10-10 08:19:50 · 2942 阅读 · 0 评论 -
HDFS完全分布式集群搭建
完全分布式HDFS集群,是一个真正的分布式集群,主要角色有NameNode,SecondaryNameNode,DataNode集群规划:NNSNNDNnode01*node02**node03*node04*一、时间同步各个节点安装ntp命令[root@node01 ~]# yum install npt上...原创 2018-10-15 21:50:21 · 180 阅读 · 0 评论 -
HDFS高可用完全分布式集群搭建
原创 2018-10-15 21:33:35 · 266 阅读 · 0 评论 -
搭建HDFS集群应该注意虚拟机的相关配置
关于防火墙搭建HDFS集群不仅要设置免密登录,还需要关闭防火墙或者开通相应的端口,免密登录是为了让机器通信无障碍,而开通端口或关闭防火墙是为了能让他们通信,否则集群中的虚拟机不能相互通信,导致集群搭建失败查看防火墙状态:[root@cluster1 ~]#service iptables status[root@cluster1 ~]# chkconfig | grep iptables...原创 2018-10-15 20:31:33 · 438 阅读 · 0 评论 -
yarn集群搭建
集群规划:NN-1NN-2DNZKZKFCJNNRSNMnode01****node02*******node03****node04***原创 2018-10-18 16:51:54 · 188 阅读 · 0 评论 -
MapReduce运行框架
在Hadoop1.X版本中,MapReduce是通过JobTracker运行实现的我们写好MapReduce程序打成jar包交给client端,client把jar包提交到JobTracker。JobTracker把这个作业拆分成很多份,然后分配给TaskTracker去执行。JobTracker和TaskTracker是主从关系,通过心跳机制管理。TaskTracker并不是随机分配任务的,...原创 2018-10-18 16:28:52 · 887 阅读 · 0 评论 -
HDFS高可用完全分布式
原创 2018-10-13 12:34:26 · 243 阅读 · 0 评论 -
SparkSQL介绍
SparkSQL介绍原创 2018-11-18 22:23:47 · 556 阅读 · 0 评论