![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
big data
不努力就种地~
problems will always solved by keep thinking
展开
-
dolphinscheduler docker部署海豚mysql版本,docker重新封装正在运行服务为镜像
主要解决此问题,并使用docker-compose 设置env 为mysql 来启动dolphinscheduler-standalone-server。docker commit -m="备注 描述" -a="作者" 运行服务的image_id apache/dolphinscheduler-standalone-server:3.2.1.0。1.docker-compse 先启动一个h2内置数据库 dolphinscheduler-standalone-server。3. 将运行服务重新打镜像。原创 2024-05-31 15:11:15 · 910 阅读 · 0 评论 -
HADOOP_HOME and hadoop.home.dir are unset. hdfs client 代码上传文件失败报错 hadoop api上传报错 win11 hadoop 环境错误
1. win环境安装hadoop依赖,配置环境变量,重启即可。原创 2023-11-22 12:20:01 · 299 阅读 · 0 评论 -
hadoop win11安装hadoop环境 winutils.exe获取,windows安装大数据运行环境 winutils文件获取,winutils文件 hadoop(十四)
2. 从上述链接,下载工程,复制出来自己的版本,我hadoop安装的3.3.4,这个github项目没有,所以复制的3.3.5版本一样能用;放入没有中文的路径内,然后配置环境变量。注:有些win环境的大数据dll文件,winutils.exe需要积分下载,我没有积分,提供一份github链接。我的是保存之后,没有生效,重启之后,命令成功写入hdfs文件系统。变量值为你自己从guthub 下载的文件,5. 还是在系统变量这个地方,4. 如图所示,在系统变量。每个版本基本都有,挺全。,注意不要有中文,和空格。原创 2023-11-22 12:15:47 · 3766 阅读 · 0 评论 -
hadoop shell操作 hdfs处理文件命令 hdfs上传命令 hadoop fs -put命令hadoop fs相关命令 hadoop(十三)
副本数量记录在NameNode,不要设置超过节点数量的副本,设置超过节点数,最多也只是总节点数量的副本,不会超过DataNode节点数, 如果设置8个副本,如果DataNode节点数有8个,才会有8个副本。总结:命令太多不一一列举了,同centos系统一样,只是前面加了hadoop fs, 很容易记住。作用: 从本地上传hdfs系统 (本地文件被剪切走,不存在了)hadoop fs -help rm 查看rm命令作用。下面是查看文件夹每个文件的统计信息。hadoop fs 查看命令。81 副本*文件大小。原创 2023-11-22 10:27:54 · 1391 阅读 · 0 评论 -
hadoop 常用端口号,常用配置文件都有哪些?hadoop3.x端口号 hadoop(十二)
3. 常用的配置文件。原创 2023-11-21 14:11:11 · 1057 阅读 · 0 评论 -
hadoop 日志聚集功能配置 hadoop(十一)
文件路径:/opt/module/hadoop-3.3.4/etc/hadoop。2. 配置了三台服务器,hadoop22, hadoop23, hadoop24。3. hadoop文件路径: /opt/module/hadoop-3.3.4。由图所示,本文主要是将三台机器log 进行日志聚集查看。文件名称:yarn-site.xml。文件中,需要修改为你自己的 服务器名。11. 日志已启用成功,能够查看日志。原创 2023-11-21 10:13:55 · 445 阅读 · 0 评论 -
hadoop 配置历史服务器 开启历史服务器查看 hadoop (十)
文件路径:/opt/module/hadoop-3.3.4/etc/hadoop。4. 将此文件分发到其他机器:(或者手动复制过去也行,每台机器的这个文件都需要改下)1. 配置了三台服务器,hadoop22, hadoop23, hadoop24。2. hadoop文件路径: /opt/module/hadoop-3.3.4。文件名称:mapred-size.xml。新增历史服务器配置,并修改为自己的地址。5. 重新启动yarn, hdfs集群。原创 2023-11-21 09:41:08 · 2423 阅读 · 1 评论 -
hadoop 编写开启关闭集群脚本, hadoop hdfs,yarn开启关闭脚本。傻瓜式hadoop脚本 hadoop(九)
1. 三台机器: hadoop22, hadoop23, hadoop24。2. hdfs在22机器启动,yarn在hadoop23机器。如果想在所有机器都能运行,你可以自己修改脚本。必须在hadoop22机器运行。原创 2023-11-21 09:07:49 · 561 阅读 · 0 评论 -
hadoop 如何关闭集群 hadoop使用脚本关闭集群 hadoop(八)
1. hadoop22, hadoop23, hadoop24三台机器。4. hdfs, yarn关闭后,直接关闭虚拟机即可。原创 2023-11-14 20:10:14 · 457 阅读 · 0 评论 -
Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). 大数据ssh权限问题 hadoop起不来 hadoopssh错
1. hadoop集群共三台机器尾号为:22,23,24。在22机器进行启动。sbin/start-dfs.sh报如下错误。机器给自己配置免密能够解决错误。目前不知道这样做对不对==!原创 2023-11-14 16:15:06 · 900 阅读 · 0 评论 -
hadoop 大数据集群环境配置 配置hadoop配置文件 hadoop(七)
1. 虚拟机hadoop三台机器hdfs 存储, mapreduce计算,yarn调度,三个方面集群配置。12. 如果启动失败,我是三台机器都删除了data,logs数据。重新从9步,重新生成机器id数据。8. 分别去23,24机器检查下是否发送成功。5.配置22机器的mapred-site.xml。2. 配置22机器core-site.xml。3. 配置22机器得hdfs-site.xml。4. 配置22机器的yarn-site.xml。DataNode的集群id不一致,集群。s目录,然后再进行格式化。原创 2023-11-14 17:32:08 · 630 阅读 · 0 评论 -
hadoop 大数据环境配置 同步时间 centos服务器时间同步 linux 安装ntp服务更新时间 hadoop(六)
4. 开机自启,更新时间。1. 安装ntp软件。原创 2023-11-14 14:40:10 · 2204 阅读 · 1 评论 -
hadoop 大数据环境配置 配置jdk, hadoop环境变量 配置centos环境变量 hadoop(五)
1. 遗漏一步配置系统环境变量,下面是步骤,别忘输入更新系统环境命令。在/etc/profile.d 文件夹下创建shell文件。/opt/module 解压缩文件存放地址。/opt/software 压缩包地址。原创 2023-11-14 10:46:16 · 512 阅读 · 0 评论 -
hadoop 大数据环境配置 ssh免密登录 centos配置免密登录 hadoop(四)
输入命令后,提示输入配置信息,啥也不用输入,三个回车结束!1. 找到.ssh文件夹。原创 2023-11-14 10:03:51 · 537 阅读 · 0 评论 -
hadoop 大数据环境配置 rsync命令 hadoop(三)
占用带宽少: rsync 在发送时会压缩数据块, 接收后再解压缩数据块. 所以和其他文件传输协议比起来, rsync在跨主机传输文件时会占用较小的带宽.有时我们希望拷贝或同步时, 时间戳不要发生变化, 源文件是什么时间戳,目标文件就是什么时间戳, 这时我们需要使用 -a --archive 归档模式选项. -a 选项相当于7个选项的组合。rsync 用来从一个位置到另一个位置高效地同步文件和文件夹. rsync可以实现在同一台机器的不同文件直接备份,也可以跨服务器备份.意思 remote sync.原创 2023-11-14 08:54:33 · 411 阅读 · 0 评论 -
hadoop 虚拟机配置大数据环境 hadoop(二)
注:Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS 和Scientific Liux。相当于是一个软件仓库,大多数rpm 包在官方repository 中是找不到的)如下面所示位置,添加箭头指得一行: hadoop All=(All) NOPASSWD:ALL。创建module文件夹, software文件夹。6. 修改sudo:方便使用sudo执行root权限得命令。注意:位置必须在wheel下面。原创 2023-11-13 14:14:40 · 579 阅读 · 0 评论 -
vmware 修改主机名称 hadoop 服务器环境配置(一)
1. 如图所示在/etc 文件夹下有个hosts文件。#关系 ip地址 名称。2. 保存后,重启reboot即可。原创 2023-11-13 13:33:40 · 423 阅读 · 0 评论