TheGreatAnt的博客

搭建Hadoop集群常用配置参数详解1、core-site.xml<configuration> <!-- 指定NameNode的位置 --> <property> <name>fs.defaultFS</name> <value>hdfs://IP:8020</value> </property> <!-- 指定NameNode、DataN

Hadoop企业级优化（常用的调优参数）1、资源相关参数（1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）配置参数参数说明mapreduce.map.memory.mb一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。mapreduce.reduce.memory.mb一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果Redu

VMware从零创建hadoop集群1、模板虚拟机环境的准备1）准备一台模板虚拟机hadoop100，虚拟机配置要求如下:注：本文Linux系统环境全部以CentOS-7.5-x86-1804 为例说明模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备[root@hadoop100 ~]# yum install -y epel-release[root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim l