创作星球

Hadoop架构HDFS:分布式文件存储YARN:分布式资源管理MapReduce:分布式计算Others:利用YARN的资源管理功能实现其他的数据处理方式内部各个节点基本都是采用Master-Worker架构HDFS:Hadoop Distributed File System ，分布式文件系统Block数据块1. 基本存储单位，一般...

配置HADOOP_HOME配置完成后可以直接通过hadoop中的命令执行以下操作hdfs开启namenode、datanode格式化文件系统：$ bin/hdfs namenode -format启动服务：$ sbin/hadoop-daemon.sh start namenode$ sbin/hadoop-daemon.sh start data...

ssh免密钥（本机）ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keysJAVA_HOMEJAVA_HOME=/opt/modules/jdk1.7.0_79export PATH=$PATH:$JAVA_HOME/bincore-si...

设立各点通讯设置时间同步(CRT下选择对所有窗口发送)date -s "2019-8-21 11:15"密钥分发：scp id_dsa.pub bigdata02:`pwd`/bigdata01.pub//从bigdata01向其余从机分发公钥，公钥的名称为了区分注意要变化各节点把bigdata01的公钥追加到认证文件里：cat ~/.ssh/bigdata01.p...

配置在Zookeeper之上，进行故障转移单节点低可用配置：进入mapred-site.xml添加<property><name>mapreduce.framework.name</name><value>yarn</value></property>进入 y...

同步时间date -s "2019-8-22 09:36:15"实现从机到主机之间互相通信ssh免密钥（本机生成）ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys分发密钥到主机（并重命名区分 避免覆盖）scp id_dsa.pub...

二话不说，先上代码与执行。package com.yarn.wc;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org....

需求：找出每个月气温最高的2天（案例测试）数据源：1949-10-01 14:21:0234c1949-10-01 19:21:0238c1949-10-02 14:01:0236c1950-01-01 11:21:0232c1950-10-01 12:21:0237c1951-12-01 12:21:0223c1...