Hadoop
文章平均质量分 56
Hadoop学习笔记
川川菜鸟
我是一位擅长数据科学、人工智能、网站搭建、网络爬虫和软件/接口测试的专家,同时也是畅销书《Python网络爬虫入门到实战》和《Python3编程从零基础到实战》 作者。
展开
-
HDFS_DFS(三):window10上配置Hadoop
Hadoop在window上安装原创 2022-08-30 19:39:32 · 1041 阅读 · 0 评论 -
Hadoop_HDFS(二):Shell操作之文件的管理(上传下载删除等)
HDFS的shell操作原创 2022-08-29 00:14:51 · 2939 阅读 · 1 评论 -
Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being avail
对于dfs.client.block.write.replace-datanode-on-failure.enable,客户端在写失败的时候,是否使用更换策略,默认是true没有问题。原创 2022-08-28 23:40:06 · 2660 阅读 · 1 评论 -
Hadoop_HDFS(一):基本概念
Hdfs基本概念原创 2022-08-28 20:43:34 · 508 阅读 · 1 评论 -
Hadoop入门(十二):集群时间同步
Hadoop集群时间同步原创 2022-08-28 20:06:41 · 1439 阅读 · 0 评论 -
Hadoop入门(十一): 集群常用脚本编写
Hadoop集群常用脚本编写原创 2022-08-28 19:01:38 · 758 阅读 · 0 评论 -
Hadoop入门(十):集群启动关闭的常见命令总结
hadoop常见命令总结原创 2022-08-28 17:28:43 · 4273 阅读 · 0 评论 -
hadoop入门(九):日志聚集功能配置
hadoop日志聚集功能配置原创 2022-08-28 17:13:22 · 912 阅读 · 0 评论 -
hadoop入门(八):配置历史服务器与查看
Hadoop历史服务器配置与查看原创 2022-08-28 16:53:17 · 951 阅读 · 0 评论 -
hadoop入门(七):集群崩溃处理方法
集群崩溃处理原创 2022-08-27 22:03:02 · 526 阅读 · 0 评论 -
hadoop入门(六):集群测试
Haddop集群测试原创 2022-08-27 20:57:05 · 854 阅读 · 0 评论 -
Block pool ID needed, but service not yet registered with NN, trace
然后下载了版本jdk-13.0.2_linux-x64_bin,重新安装上去就好了,然后记得环境变量那里也改一下,因为原来是18。我的hadoop版本为3.2.4 ,java版本为18.0.2.1,我的版本太新了,因此需要降低版本。好像是版本原因,Hadoop Java 版本。...原创 2022-08-27 17:47:19 · 1283 阅读 · 0 评论 -
dfs/name is in an inconsistent state: storage directory does not exist or is not accessible
Linux系统每次重新启动后,hadoop不能正常启动namenode,需要重新格式化namenode才可启动。这样就可以打开页面了。原创 2022-08-27 17:43:18 · 1375 阅读 · 0 评论 -
yarn启动后用jps查看没有resourcemanager
yarn启动后用jps查看没有resourcemanager原创 2022-08-27 15:56:51 · 5641 阅读 · 7 评论 -
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
同时解决了jps没有Namenode问题。原创 2022-08-27 15:02:32 · 1043 阅读 · 0 评论 -
Hadoop入门(五):集群配置
hadoop集群配置原创 2022-08-27 01:46:57 · 699 阅读 · 0 评论 -
Hadoop入门(四):SSH免密登录 配置
hadoop SSH免密码登录配置原创 2022-08-27 01:05:29 · 859 阅读 · 0 评论 -
ERROR: ssh: connect to host hadoop103 port 22: No route to host
解决:其它博客都说是IP变了,我查看了下没有变化。我就xsheel中把这个会话删了,新建立一个会话,就连接删了。原创 2022-08-27 00:48:55 · 1582 阅读 · 0 评论 -
Hadoop入门(三):本地运行模式和完全分布模式,集群分发脚本、远程同步、集群分发
本地模式和完全分布模式原创 2022-08-26 17:45:47 · 601 阅读 · 0 评论 -
Hadoop入门(二):手把手带你从零基础到完整安装配置
Hadoop详细零基础搭建过程原创 2022-08-26 05:26:04 · 1342 阅读 · 1 评论 -
Centos7 ping 未知的名称或服务
强烈建议,这些字母名称直接复制,改动后面的参数就好了,不然就像我一样,比如GATWAY我写成了CATWAY,DNS1携程DNSI ,数字1和字母I弄混了。比如这一篇:https://www.cnblogs.com/huainanhai/p/11111208.html。实际上我的错误是配置的时候弄错了,把字母弄错了。看了很多资料和博客,其实问题在于自己。...原创 2022-08-26 01:44:05 · 1017 阅读 · 0 评论 -
Hadoop入门(一):简介
Hadoop简介原创 2022-08-25 21:48:07 · 625 阅读 · 0 评论