- 博客(5)
- 收藏
- 关注
RSS订阅原创 大数据相关架构总结
spark 提交通过spark提交到集群上时，Driver会再我们初始化sparkcontext时创建DAG Scheduler，和Task SchedulerDAG会进行stage划分，然后通过创建TaskSet将Task提交到Task Scheduler上当创建对象完成后，Driver会向集群的Master阶段发送Application任务，Master接受到任务的时候，会进行相关任务调度，找到对应的Worker，当workder接收到任务时，会创建对应的executor，当executor成
2020-09-27 18:57:42
143
原创 zookeeper的配置搭建
大数据集群搭建之——zookeeper的搭建配置#解压tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/#改名mv zookeeper-3.4.10/ zookeeper#配置环境变量...#进入到zookeeper目录中，创建一个zkData目录，并创建一个myid文件，将写入你的节点idmkdir zkDatacd zkDatavi myid#写入一个数字到myid中，如1，每一个zk节点中的id都不可以相同。# 注意文件名必须是上面的，不可以自
2020-06-01 22:06:38
96
原创 大数据学习——hadoop正式安装
大数据学习——hadoop正式安装hadoop的安装需要配置好jdk等一系列的准备工作，具体见1.解压hadoop压缩包tar -zxvf hadoop-2.7.2.tar.gz -C /opt/cd /optmv hadoop-2.7.2 hadoop #改名#配置环境变量vi /etc/profilt # 在最后一行添加hadoop_Home 并添加到path中export HADOOP_HOME=/opt/hadoopexport PATH=$HADOOP_HOME/bin:$HA
2020-05-28 18:26:54
190
原创 hadoop搭建的准备工作，修改主机名，关闭防火墙，安装jdk，配置免密登录(Centos 7)
hadoop搭建的准备工作，修改主机名，关闭防火墙，安装jdk，配置免密登录(Centos 7)1.修改我们的主机名，并配置ip映射# 修改主机名vi /etc/hostname 将里面的内容删除，再添加你自己了主机名就可以了。# 配置ip映射vi /etc/hosts # 添加你自己的ip与名字的映射，如192.168.10.111 hadoop001192.168.10.112 hadoop002...这样你就可以使用hadoop001来代替ip192.168.10.111访问到你
2020-05-28 18:20:53
227
原创 大数据环境准备——linux的基础配置(Centos 7)之ip配置(NAT模式)
大数据环境准备——linux的基础配置(Centos 7)之ip配置(NAT模式)如何知道自己的的ip地址和网关要怎样配置呢？你可以按照下面的步骤去确定你的ip，网关，子网掩码该如何配置。1.点击VMware中的编辑–>虚拟网络编辑器如下图。2.点击更改设置3.选择nat模式再点击nat设置。 其实再这里我们就可以看到一些配置了，可以看到最后一行中可以看到子网ip和子网掩码。 那么我么linux中的NETMASK就可以设置为**255.255.255.0 **，基本上的子网掩码都可
2020-05-27 15:45:59
150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人