weixin_43999048的博客

问题描述从问题中我们可以看到是的虚拟机无法识别 www.baidu.com这个域名，那我们就先看看能不能ping通百度的ip1.查看百度ip（在cmd窗口中输入nslookup www.baidu.com）2.在虚拟机ping 一下这个ip发现可以ping通，那就是域名映射的问题发现了问题就解决问题在/etc/resolv.conf中添加nameserve 8.8.8.8来进行域名和ip的地址映射就可以了最后重启网络 systemctl restart network在尝试pi

注意！！！这是在eclipse里面运行的Hadoopapi问题描述：Exception in thread "main" java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F D:*******具体代码如下（不包括map和reduce部分）：package com

问题描述：Exception in thread "main" java.lang.ClassNotFoundException: WriteFile at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

注意！！！！1.两个脚本都是在root用户下编写，然后还要有执行权限chmod 777 xsync/jpsall2.这两个脚本都必须在PATH环境变量之下xsync脚本:用于集群文件分发的脚本前提是：需要安装rsync—>用于文件分发的软件包yum install rsync#!/bin/sh# 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1

问题描述：由于centos8.x版本已经不支持ntp了！！！yum install ntp 是没有用的，所以我们通过wlnmp提供的源，来安装ntp服务解决方案：注意：一下操作都是在root用户之下！！！一、添加wlnmp源rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm或rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.no

Hadoop中的文件配置：一、配置java和Hadoop的环境变量：两种方式：1.在/etc/profile.d文件下创建了my_env.sh文件2.在/etc/profile文档最后增加export JAVA_HOME=/opt/java/jdk1.8export PATH=$PATH:$JAVA_HOME/binexport HADOOP_HOME=/opt/hadoop/hadoop2export PATH=$PATH:$HADOOP_HOME/binexport PATH=$P

问题描述：0/12/07 23:36:07 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.21.132:803220/12/07 23:36:12 INFO input.FileInputFormat: Total input paths to process : 120/12/07 23:36:13 INFO mapreduce.JobSubmitter: number of splits:120/12/0

创建一个完整Hadoop虚拟机基本步骤使用软件：VMwareLinuxcentos8jdk1.8hadoop2.71.首先是创建一个安装一个虚拟机（master）hostname：查看当前主机名hostnamectl set-hostname 修改后的名字 //修改名字只是为了能够达到见名知意2.设置静态ip和本地网络设置（vmnet8）（具体是啥意思不懂！！！）然后进入/etc/syscofig/network-scripts编辑ens32/ens33具体的

这也是作为初学者所犯的错：没有将datanode和namenode存放在同一文件夹下面需要按照/etc/local/hadoop/etc/hadoop下面的hdfs-site.xml文件去创建文件（mkdir）然后再使用格式化namenode（Hadoop namenode -format）最后重新启动就好start-all.sh/stop-all.shsbin/start-dfs.sh/sbin/stop-dfs.sh...

由于我使用的是centos8版本的虚拟机，所以这个命令是没有的需要使用：nmcli c reload 命令

查看hostname ： hostname修改hostname ： hostnamectl set-hostname master (比如要修改为master)修改完重启生效 ：reboot

CentOS8现已可使用国内的aliyun阿里云镜像站，方法如下:用cd命令切换到yum.repos目录，备份原始的3个repo文件：cd /etc/yum.repos.d/sudo cp CentOS-AppStream.repo CentOS-AppStream.repo.baksudo cp CentOS-Base.repo CentOS-Base.repo.baksudo cp CentOS-Extras.repo CentOS-Extras.repo.bak编辑上面3个repo文件，在

问题描述：今天我启动了dfs和yarn后想HDFS上创建/tmp我的代码是 hadoop fs -mkdir /tmp结果是从上面的图片我们可以看出没有namenode希望能帮助到一些人吧解决方法：1.先停止HDFS相关的所有的进程 关停指令 stop-all.sh2.需要做一次格式化指令：hdfs namenode -format3.启动HDFS start-all...

jupyter notebook—是一个用于数据预处理的工具注意！！！！我是在conda环境中安装的jupyter notebook（一般安装了anaconda的里面是有jupyter notebook的）具体步骤：1.查看conda的环境有哪些（conda info -e）2.激活conda的其中一个环境，activate 环境名3.安装jupyter notebook（pip i...

首先通过sbin/start-dfs.sh启动dfs然后看插件是否启动然后在浏览器中打开之后就可以在虚拟机中操作上传下载等操作打开ssh服务systemctl start ssh关闭ssh服务systemctl stop ssh查看ssh状态systemctl status ssh...