清风自来

最近打算自己装一套大数据相关的东西整着玩儿，下面就来记录并分享一下hadoop的安装步骤：1、下载安装包wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz2、解压安装包tar -xzvf hadoop-3.2.1.tar.gz3、配置1）etc/hadoop/core...

下面分享一下hadoop配置jdk路径：# The java implementation to use:export JAVA_HOME=/home/bigdata/media/jdk1.7export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}

下面介绍一下core-site.xml文件的配置：增加hadoop核心配置（hdfs文件端口是9000）core-site.xml文件中包含的信息，如使用Hadoop实例分配给文件系统的存储器，用于存储数据的内存限制的端口号，以及读/写缓冲器的大小。<configuration> <property> <name>fs.defaultFS</na...

下面来说下hadoop配置hdfs-site.xml文件的配置过程：增加hdfs配置信息（namenode、datanode端口和目录位置）hdfs-site.xml文件中包含的信息，如复制数据的值，名称节点的路径，本地文件系统的数据节点的路径。<configuration> <property> <name>dfs.namenode.secondar...

下面介绍一下mapred-site.xml配置文件的配置过程：增加mapreduce配置（使用yarn框架、jobhistory使用地址以及web地址）<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value&...

下面介绍一下yarn-site.xml配置文件的配置过程：增加yarn功能<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property&gt...