Hadoop3.x配置

Hadoop3.x配置文件

首先了解一下有哪些即将配置的结点
在这里插入图片描述

下面开发的时候进行的结点配置
在这里插入图片描述

下面的内容的解释可以在官方文档中翻到最下面找到
在这里插入图片描述
第二列是如果不配的话,默认给你赋的值,第三列是解释
在这里插入图片描述

配置hdfs的集群关联


在主机的/liu/hadoop/etc/hadoop/core-site.xml的 <configuration></configuration>节点内插入如下内容。

<!-- 决定hdfs运行模式,这里填上自己的ip,就变为集群模式,填上的是NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://liu:8020</value> <!--主节点NameNode的地址(datanode不需要配置端口)-->
        <!-- liu这个主机名字必须是 在主机的hosts文件中已经标注过的-->
</property>

<!-- 配置hadoop临时目录,存储元数据用的-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/liu/hadoop/linshi</value>
</property>

<!-- 配置web端页面的静态用户 -->
<property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
        <!-- 管理员的名字,必须是 主机 存在的用户(不是副机),并且该用户拥有root权限才行(这里直接用了root用户,所以具有所有权限,就不管了) -->
</property>

<!--定义HDFS所开放的代理服务 给hive用 -->
<property>                  <!--↓这里的名字要和前面的staticuser的名字一样 -->
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>

<property><!--                  ↓这里的名字要和前面的staticuser的名字一样 -->
        <name>hadoop.proxyuser.root.groups</name><!--给所有组(里面包含用户)分配 权限-->
        <value>*</value>
</property>

配置结点关联的web控制台


在主机的/liu/hadoop/etc/hadoop/hdfs-site.xml的 <configuration></configuration>节点内插入如下内容。

<!-- 配置  主结点的web控制台地址-->
<property>
    <name>dfs.namenode.http-address</name>
    <value>liu:9870</value>
</property>

<!-- 配置  从结点的web控制台地址-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>liu2:9868</value>
</property>

完事后,启动NameNode和DataNode后,关闭防火墙,直接 公网ip:9870就能访问NameNode的web控制台了。

配置mapreduce的集群关联


在主机的/liu/hadoop/etc/hadoop/mapred-site.xml的 <configuration></configuration>节点内插入如下内容。

<property> <!-- 把mapred的工作区间放在yarn集群上跑-->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

<!-- 历史服务器运行机器以及端口 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>liu2:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>liu2:19888</value>
</property>

配置yarn的集群关联


在主机的/liu/hadoop/etc/hadoop/yarn-site.xml的 <configuration></configuration>节点内插入如下内容。

<!-- 指定MR走shuffle -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定ResourceManager的地址-->
 <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>liu2</value>
</property>

<!-- 环境变量的继承,给container用的-->
<property>
        <name>yarn.nodemanager.env-whitelist</name>
	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

<!-- yarn容器允许分配的最大最小内存 -->
<property><!-- 执行一个mr的job时 的最大最小空间 -->
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>4096</value>
</property>
<property><!-- NodeManager给ResourceManager 能给的最多内存-->
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>
<property> <!--            physical物理内存的使用检查,如果为true,那么一旦超过前面的最大值,就会直接杀死该进程-->
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property><!--            virtual物理内存的使用检查-->
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value> <!-- true就是 启动日志服务器 -->
</property>

<!-- 设置日志聚集服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://liu2:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop 3.x中配置Sqoop需要执行以下步骤: 1. 下载Sqoop 下载适合Hadoop 3.x版本的Sqoop。可以从Sqoop的官方网站下载,也可以从Apache镜像站点下载。一旦下载完成,解压Sqoop到任意目录。 2. 配置环境变量 使用以下命令设置Sqoop环境变量: ``` export SQOOP_HOME=/path/to/sqoop export PATH=$PATH:$SQOOP_HOME/bin ``` 3. 配置Sqoop 在Sqoop的conf目录中,有一个名为sqoop-env-template.sh的文件。将此文件复制为sqoop-env.sh并打开它。设置以下变量: ``` export HADOOP_COMMON_HOME=/path/to/hadoop export HADOOP_MAPRED_HOME=/path/to/hadoop export HIVE_HOME=/path/to/hive ``` 4. 配置Hadoop连接 在Sqoop的conf目录中,有一个名为sqoop.properties文件。打开此文件并设置以下变量: ``` sqoop.metastore.client.autoconnect.url=jdbc:<database>://<host>:<port>/<database_name> sqoop.metastore.client.connect.string=jdbc:<database>://<host>:<port>/<database_name> sqoop.metastore.driver=<database_driver_class> sqoop.metastore.username=<database_username> sqoop.metastore.password=<database_password> ``` 其中,<database>是数据库类型,例如mysql;<host>是数据库所在的主机名或IP地址;<port>是数据库服务的端口号;<database_name>是数据库名称;<database_driver_class>是数据库的驱动程序类;<database_username>是数据库用户名;<database_password>是数据库密码。 5. 配置Hadoop连接参数 在Sqoop的conf目录中,有一个名为sqoop-site.xml文件。打开此文件并设置以下变量: ``` <name>hadoop.home.dir</name> <value>/path/to/hadoop</value> ``` 6. 测试连接 使用以下命令测试Sqoop连接是否正常: ``` sqoop list-databases --connect <connection_string> --username <username> --password <password> ``` 其中,<connection_string>是数据库连接字符串,例如jdbc:mysql://localhost:3306;<username>是数据库用户名;<password>是数据库密码。 如果一切正常,Sqoop会返回数据库中的所有数据库名称。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值