墨尘的大数据
大数据技术
我是尘客哥
梦想源于对技术的执着追求
展开
-
安装MySQL 5.7.11 详细步骤
1.解压及创建目录[root@hadoop39 ~]# cd /usr/local[root@hadoop39 local]# tar xzvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz -C /usr/local[root@hadoop39 local]# mv mysql-5.7.11-linux-glibc2.5-x86_64 mysql /...原创 2019-12-23 19:27:15 · 679 阅读 · 0 评论 -
ubuntu环境下hadoop2.7.7版本搭建伪集群步骤
hadoop2.7.7环境配置:版本对应关系hadoop 2.7.*-hadoop2.* ---------jdk-8, jdk-7hadoop 3.* --------jdk-8关闭防火墙:1.下载jdk,此处下载openjdk-8-jdk版本看linux中是否已经安装了java的jkd包# ja...原创 2019-09-28 16:46:09 · 259 阅读 · 0 评论 -
hdfs使用过程总结
1.HDFS按照数据块存储,每个数据块为64M,对于任何数据块都存储三分(分三个datanode存储),目的是为了保证硬件容错。其中两份放在同一个机架上面,另外一份放在另外机架上面。这样确保datanode节点和机架出现故障时数据不丢失。2.namenode和datanode之间有心跳协议:每隔多少秒,datanode都会向namenode汇报自身数据节点状态(是否处于active,or开关机...原创 2019-09-29 15:12:04 · 182 阅读 · 0 评论 -
MapReduce使用过程总结
关键名字:map:拆分,reduce:集成,job :作业,task: 任务,jobTracker, taskTrackerJobTracker角色:(1)Job作业调度;(2)分配任务,监控任务执行进度,每隔几秒TaskTracker会给JobTracker任务状态更新;TaskTracker角色:(1)执行任务;(2)向JobTracker汇报任务的执行状态MapReduce...原创 2019-09-29 15:11:50 · 223 阅读 · 0 评论