HDFS集群使用
文章平均质量分 50
大数据学习僧
大数据从业者
项目经理背锅者
业务需求对接者
代码灵魂改造者
PPT熬夜设计者
展开
-
史上最详细的Apache DolphinScheduler 安装文档
Apache DolphinScheduler 安装文档注:当前以Root用户安装一、host配置(ALLNode)# vi /etc/hosts192.168.121.x ip-192.168.121-x0.cn-northwest-1.compute.internal192.168.121.x ip-192.168.121-x.cn-northwest-1.compute.internal192.168.121.x ip-192.168.121-x.cn-northwest-1.原创 2021-12-22 17:53:37 · 1334 阅读 · 0 评论 -
shell编写脚本jps命令查看指定服务器的进程时,启动报错bash: jps: 未找到命令
想要查看单个主机在运行哪些java进程。我们可以去到每个主机下,使用jps命令,但是想要查看多个服务器进程时,我们可以使用一个shell脚本来完成此命令。shell编写脚本jps命令查看指定服务器的进程时,报错bash: jps: 未找到命令1.shell脚本 jpsall#!/bin/bashfor i in hadoop101 hadoop102 hadoop103do echo "==== $i =====" ssh $i "jps" | grep -v Jpsdone原创 2021-08-24 15:02:51 · 1485 阅读 · 2 评论 -
centos7.X重启后xhell连接超时, ifconfig找不到ens33
登到虚拟机的中断使用ifconfig发现没有ens33执行下面的命令,将导致ifconfig出现ens33,但没有ip地址ifconfig ens33 up执行下面的命令systemctl stop NetworkManagerifup ens33重启网络systemctl restart network.service此时执行ifconfig发现ens33已经有了ip地址最后一步:永久关闭NetworkManager,保证下次开机ens33会自启动s原创 2021-08-24 14:39:34 · 190 阅读 · 0 评论 -
HDFS 命令行基本最常用的基本操作
HDFS 命令行官方文档操作 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlhdfs最基本的命令行使用HDFS 命令行基本最常用的基本操作(1)查看帮助hdfs dfs -help(2)查看当前目录信息hdfs dfs -ls /(3)上传文件hdfs dfs -put /本地路径 /hdfs路径(4)剪切文件hdfs dfs -moveFromLocal a.txt /aa.txt(5)下载文件到本地hdfs df.原创 2021-01-30 19:32:33 · 252 阅读 · 0 评论 -
全网史上最详细全面的Hadoop集群|HDFS集群安装文档
详细全面的HDFS安装流程和环境配置文档,欢迎收藏1. 环境准备注意:以下步骤均以root权限操作1.1 虚拟机准备克隆三台虚拟机(linux01、linux02、linux03),修改虚拟机的网络配置vi /etc/sysconfig/network-scripts/ifcfg-eth0配置好对应主机的网络IPvi /etc/udev/rules.d/70-persistent-net.rules 永久修改主机名 vi /etc/sysconfig/network配置域名映.原创 2021-01-30 19:23:52 · 249 阅读 · 0 评论 -
Call From linux01/192.168.x.x to linux01:8020 failed on connection exception: 拒绝连接; For more details
测试的时候使用HDFS展示文件的时候报错,正好排查了一下在执行hdfs命令:hdfs dfs -ls /报错信息如下:DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.ls: Call From linux01/192.168.x.x to linux01:8020 failed on connection exception: 拒绝连接;原创 2021-01-22 10:24:17 · 3245 阅读 · 1 评论