学习中的问题及解决
有bug不可怕,可怕的是不敢去修改bug
TryBest_
与bug奋战到底!又不懂的问题的可以私信我噢,有问必答!
展开
-
一、hadoop搭建的网络相关问题
一、ping百度时卡住不动1.问题截图2.解决办法(1)、打开配置文件resolv.conf[root@hadoop01 pcz]# vim /etc/resolv.conf(2)、在配置文件中加入nameserver 8.8.8.8(3)、保存退出即可,成功解决。原创 2022-04-04 21:06:41 · 404 阅读 · 0 评论 -
二、虚拟机扩容
一、扩容本人Centos7版本1、扩容前,虚拟机应保持关机状态2、右击需要扩容虚拟机名称,点击设置3、输入需要的容量大小,点击确定即可4、打开虚拟机二、管理分区1、虚拟机打开后,连接xshell2、查看分区情况(1)df -h(2)fdisk -l由上图可以发现,根目录上挂载的是/dev/sda3 这个分区,而且这个系统里的分区id为83,因此不能通过LVM进行逻辑卷管理。三、对分区扩容1、输入命令:fdisk /dev/sda2、在Command (m for hel原创 2022-04-05 13:32:44 · 5216 阅读 · 6 评论 -
三、集群配置Hadoop的Windows下的hosts映射失败
一、问题集群配置Hadoop的Windows下的hosts映射失败二、解决方法1、设置windows文件查看显示后缀名、隐藏文件1、修改windows的hosts文件权限1.1、进入Windows的hosts路径:C:\Windows\System32\drivers\etc1.2、修改hosts权限(1)、右击hosts文件,点击属性(2)、取消勾选只读(3)、修改权限2、点击打开hosts添加自己的映射主机ip和主机名并保存保存时需注意:按照如下方式保存...原创 2022-04-04 21:09:34 · 1467 阅读 · 0 评论 -
四、hadoop集群时间同步问题
一、出现的问题虚拟机的时间和北京时间不一致二、解决方案1.mv /etc/localtime /etc/localtime.bak2.ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime3.重启时间服务service crond restart问题解决原创 2022-04-04 21:10:15 · 1495 阅读 · 0 评论 -
五、格式化namenode出错
一、报错问题:ERROR conf.Configuration: error parsing conf yarn-site.xmlcom.ctc.wstx.exc.WstxParsingException: Illegal processing instruction target ("xml"); xml (case insensitive) is reserved by the specs. at [row,col,system-id]: [18,5,"file:/opt/module/hadoo原创 2022-04-05 13:35:28 · 2569 阅读 · 0 评论 -
六、hadoop启动hdfs时报错
一、遇到问题1hadoop集群执行命令:sbin/start-dfs.shsbin/start-yarn.sh报错如下:[root@hadoop01 hadoop-3.1.4]# sbin/start-dfs.shStarting namenodes on [hadoop01]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Abort原创 2022-04-05 13:36:58 · 4252 阅读 · 4 评论 -
七、分发脚本xsync报错
一、报错问题Bad owner or permissions on /home/pcz/.ssh/configBad owner or permissions on /home/pcz/.ssh/configrsync: connection unexpectedly closed (0 bytes received so far) [sender]rsync error: unexplained error (code 255) at io.c(226) [sender=3.1.2]Bad ow原创 2022-04-05 13:39:41 · 1571 阅读 · 0 评论 -
八、输入jps时有DataNode但是网页上没有
一、遇到的问题输入jps时有DataNode但是网页上没有jps:网页:二、解决方法:1.关闭集群2.在 hdfs-site.xml 中找到name和data的位置[pcz@hadoop1 bin]$ cd /opt/module/hadoop-3.1.3/etc/hadoop/[pcz@hadoop1 hadoop]$ cat hdfs-site.xml3.进入name和data所在的位置,并删除name和data里面的内容[pcz@hadoop1 dfs]$ cd /opt/mo原创 2022-04-05 13:42:30 · 2744 阅读 · 0 评论 -
九丶Hive元数据库格式化报错
命令[pcz@hadoop1 software]$ schematool -initSchema -dbType mysql -verbose出现错误Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal processing instruction target ("xml"); xml (case insensitive) is reserved原创 2022-04-05 13:28:43 · 629 阅读 · 0 评论 -
十丶安装mysql出现如下报错:
安装mysql出现如下报错:ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password: YES)解决方案(1)vim /etc/my.cnf文件;在[mysqld]后添加skip-grant-tables(登录时跳过权限检查)[pcz@hadoop1 mysql]$sudo vim /etc/my.cnf[mysqld]skip-grant-tables(2)重启MySQL服务:sudo原创 2022-04-05 13:29:50 · 1396 阅读 · 0 评论 -
十一、测试网速端口被占用 运行命令python -m SimpleHTTPServer报错
出现问题:运行命令python -m SimpleHTTPServer报错pcz@hadoop2 software]$ python -m SimpleHTTPServerTraceback (most recent call last): File "/usr/lib64/python2.7/runpy.py", line 162, in _run_module_as_main "__main__", fname, loader, pkg_name) File "/usr/lib64原创 2022-04-04 21:03:53 · 2362 阅读 · 0 评论 -
十二、Eclipse运行hadoop的jar包出现winutils.exe 问题
出现的问题:Could not locate Hadoop executable: D:\Chormedownload\hadoop-3.1.4\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems原因:hadoop的包中缺乏winutils.exe和hadoop.dll这两个文件解决方案下载这两个文件,可在官网下载也可在我的网盘里面下载:点击->小的已附上链接输入提取码:nxo7 即可下载然后放在原创 2021-12-12 18:18:43 · 1098 阅读 · 0 评论 -
十三、报错:NativeIO$Windows.access0(Ljava_lang_String;I)Z
出现的错误Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z解决方法在项目下创建包:org.apache.hadoop.io.nativeio并创建NativeIO类在NativeIO类中加入如下代码:/** * Licensed to the Apache Software原创 2021-12-07 14:01:10 · 210 阅读 · 0 评论 -
十四、通过IDEA下载hdfs上的文件报错java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windo
原代码1.错误java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V2.具体报错如下java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/原创 2021-11-30 12:39:00 · 1545 阅读 · 0 评论 -
十五、2021-11-16Hadoop集群问题记录
项目场景:运行WordCount单词记数案例提示:这里简述项目相关背景:例如:项目场景:示例:通过蓝牙芯片(HC-05)与手机 APP 通信,每隔 5s 传输一批传感器数据(不是很大)问题描述:在运行wordcount单词计数程序时报错:错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster提示:这里描述项目中遇到的问题:例如:数据传输过程中数据不时出现丢失的情况,偶尔会丢失一部分数据APP 中接收数据代码:@Overri原创 2021-11-16 10:58:00 · 2537 阅读 · 0 评论