Hadoop
文章平均质量分 67
简单实用
First_____
这个作者很懒,什么都没留下…
展开
-
hadoop实现推荐系统
转载请注明出处:http://blog.fens.me/hadoop-mapreduce-recommend/原创 2021-12-07 13:27:54 · 2010 阅读 · 1 评论 -
2. 搭建前虚拟机环境准备
1.hostnamectl set-hostname 主机名 bash生效2.systemctl stop firewalld3. vim /etc/hosts4-7 时区: tzselect4.1将得到的东西写入TZ配置环境变量4.2写入:server 127.127.1.0fudge 127.127.1.0 stratum 104.3 再修改网段限制4.4 重启 ntpd 服务 : systemctl restart ntpd// 同步时间ntpd原创 2021-08-22 18:38:34 · 140 阅读 · 0 评论 -
4.搭建hadoop环境(2.X)
1.解压安装2. 配置hadoop环境变量HADOOP_HOME3. 配置Hadoop运行环境JAVA_HOMEhadoop-env.shyarn-env.shhdfs-env.sh将这3个文件中的JAVA_HOME都进行修改,并且直接使用绝对路径不容易出错4.设置全局参数 core-site.xml<!--指定NN的IP为master ,端口号为 9000--><property><name>fs.default.name</name&g原创 2021-08-22 18:52:57 · 180 阅读 · 0 评论 -
hadoop经验调优
说明: 这个参数调优借鉴之尚硅谷课程1. 配置hdfs存储多目录生产环境的磁盘情况问题: 需要增加的磁盘? 如何进行存储说明:HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定,其默认值为file://${hadoop.tmp.dir}/dfs/data,若服务器有多个磁盘,必须对该参数进行修改。如服务器磁盘如上图所示,则该参数应修改为如下的值。hdfs-site.xml<property> <name>dfs原创 2021-11-17 13:19:41 · 1001 阅读 · 0 评论 -
HADOOP常见异常问题
1. yarn和hdfs启动停止问题dfs:HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=rootyarn:RN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=rootYARN_RESOURCEMANAGER_USER=root2.原创 2021-08-19 22:44:22 · 262 阅读 · 0 评论 -
sqoop的基本使用
介绍:sqoop是一种hadoop和 rdbms之间的数据传输的工具 , 其实就是关系形数据库和hdfs的传输转换.工作机制:Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。sqoop安装与部署下载安装包: 目前最稳定版 1.4.6版本进行解压之后,为了容易记录名称,可以更改一下名称mv sqoop-1.4.6.bin__hadoop-2.0.4-a原创 2021-07-06 00:25:34 · 336 阅读 · 0 评论 -
oozie的介绍与安装
介绍Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统。(一种xml定制的流程控制语言);。Oozie 的目的是按照 DAG(有向无环图)调度一系列的 Map/Reduce 或者 Hive等任务。适用场景:需要按顺序进行一系列任务;需要并行处理的任务;需要定时、周期触发的任务;可视化作业流运行过程;运行结果或异常的通报架构:Oozie Client:提供命令行、java api、rest 等方式,对 Oozie 的工作流流程的提交、启动、运行等原创 2021-07-07 16:17:56 · 249 阅读 · 0 评论 -
002__Hadoop3.x集群配置及shell相关脚本
hadoop3.x集群配置vim /opt/module/hadoop-3.1.3/etc/hadoop/workers//配置集群相关内容 例: hadoop202hadoop203hadoop204配置文件配置core.xml<configuration><!-- 指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value&原创 2021-05-16 21:32:54 · 598 阅读 · 0 评论 -
Hadoop3.x配置高可用
配置之前,我们先来思考一下我们为什么要配置高可用呢?原因:当namenode节点挂掉之后,集群就无法工作了,secondarynode 节点也只是能复制namenode的工作,而不能产生替代作用, 我们需要一个当namenode节点挂掉之后,能代替他的节点,这时候就需要来配置高可用了官方文档:点击这里去配置前提条件: 你的Hadoop已经能启动成功. 我们在其基础上进行修改.hdfs-site.xml<configuration><!-- 配置nameservice的I原创 2021-06-11 14:27:11 · 437 阅读 · 2 评论