Hadoop学习以及踩坑记录
文章平均质量分 53
Japson_z
这个作者很懒,什么都没留下…
展开
-
Hadoop笔记:HDFS环境搭建
大数据笔记:HDFS环境搭建标签: 大数据大数据笔记:HDFS环境搭建Prerequisites安装jdk7安装ssh安装伪分布式HDFS下载更改配置启动hdfs停止hdfs环境: CentOS6.4 Hadoop 2.6.0 -cdh5.7.0Prerequisites首先我们进入到官方网址http://archive-pri...原创 2018-05-27 10:30:00 · 688 阅读 · 0 评论 -
Hadoop笔记:YARN环境搭建
Hadoop笔记:YARN环境搭建标签: 大数据Hadoop笔记:YARN环境搭建伪分布式YARN环境搭建配置参数启动进程验证定制YARN相关的进程使用版本:hadoop-2.6.0-cdh5.7.0配置文件: yarn-site.xml mapred-site.xml伪分布式YARN环境搭建 You can run a MapR...原创 2018-05-31 09:34:43 · 918 阅读 · 0 评论 -
Hadoop笔记:YARN分布式资源调度框架
Hadoop笔记:YARN分布式资源调度框架标签: 大数据Hadoop笔记:YARN分布式资源调度框架YARN产生背景简单介绍文档说明YARN架构ResourceManager:RMNodeManager:NMApplicationMaster:AM执行流程YARN产生背景简单介绍MapReduce1.x存在的问题:单点故障 +...原创 2018-05-31 09:34:06 · 652 阅读 · 0 评论 -
踩坑:fileSystem.copyToLocalFile两个参数 空指针异常
踩坑:fileSystem.copyToLocalFile(Path src, Path dst) 空指针异常标签(空格分隔): 踩坑在网上一搜,直接改成fileSystem.copyToLocalFile(false,xx,xx,true)即可。但是基本上就这一句,也不说为啥,还是自己查API吧:public void copyToLocalFile(boolean de...原创 2018-05-31 09:33:25 · 2682 阅读 · 2 评论 -
踩坑:再次格式化hdfs就jps命令显示DataNode未启动
踩坑:再次格式化hdfs就jps命令显示DataNode未启动标签(空格分隔): 踩坑修改了hadoop的core.site.xml后,我自以为是地重新格式化了一下hdfs:hdfs namenode -format忘记了不能再次格式化的忠告!结果就出现了jps中显示DataNode没启动的问题出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了...原创 2018-05-31 09:29:33 · 1627 阅读 · 0 评论 -
踩坑:centos查看防火墙状态没反应
踩坑:centos查看防火墙状态没反应标签(空格分隔): 踩坑centos如何查看防火墙呢:service iptables status但是这条命令根本没反应,再上网查了一下,需要在前面加上sudo。难道不用sudo的人,一直都在root下操作么!?sudo service iptables status然后就可以查看防火墙状态了,防火墙是开着的,那么我们先把...原创 2018-05-31 09:28:31 · 1855 阅读 · 0 评论 -
踩坑:一个"、"引发的 Element 'properties' cannot have character [children],because the type's content type
踩坑:一个”、”引发的 Element ‘properties’ cannot have character [children],because the type’s content type is element标签(空格分隔): 踩坑做项目时遇到这个问题:Element 'properties' cannot have character [children],becau...原创 2018-05-31 09:26:07 · 17834 阅读 · 3 评论 -
踩坑:忍无可忍!IDEA创建maven项目下载依赖龟速!
踩坑:忍无可忍!IDEA创建maven项目下载依赖龟速!标签(空格分隔): 踩坑最近搞hadoop需要下载下载相关依赖,一个hadoop-client的依赖包下载了四个多小时。而且弄完之后还是错的,感觉根本就没下载下来。 简直忍无可忍。本来习惯性的在stackoverflow上搜,但是突然想到:我是在墙内啊,这种情况再厉害的老外也没经历过啊。得,还是在百度上搜搜吧。在CSD...原创 2018-05-31 09:25:09 · 1410 阅读 · 1 评论 -
踩坑:Failed to create a Maven project: 'xxx/pom.xml' already exists in VFS
踩坑:Failed to create a Maven project: ‘xxx/pom.xml’ already exists in VFS标签(空格分隔): 踩坑最近看hadoop,maven下载依赖包各种问题,无奈之下我只有频繁重新创建项目,不免有重名。以上为背景。根据错误提示,我琢磨着,应该把这个VFS里面的内容清理一下,因为毕竟我已经在文件中将project删除了。...原创 2018-05-31 09:24:18 · 11987 阅读 · 8 评论 -
踩坑:(两次中招)IDEA创建maven项目慢!显示loading archetype list
踩坑:(两次中招)IDEA创建maven项目慢!显示loading archetype list标签(空格分隔): 踩坑第一次在某一天下午,突然发现在创建Maven工程还是一直lodading arhtype list。在stackoverflow上一查,有一哥们有一样的问题: When choosing the Create New Project option ...原创 2018-05-27 10:32:56 · 735 阅读 · 0 评论 -
Hadoop笔记:HDFS文件读写流程详解
大数据笔记:HDFS文件读写流程详解标签: 大数据大数据笔记:HDFS文件读写流程详解三个角色HDFS写数据HDFS读数据优缺点优点缺点通过一个工作流的形式,展示HDFS读写流程三个角色client:客户端,发起读写请求,向HDFS中存或取数据。NameNode:HDFS的核心,唯一的领导,把控全局所有的请求,干什么事都要想它汇报。...原创 2018-05-27 10:32:07 · 649 阅读 · 0 评论 -
Hadoop笔记:Java API 操作HDFS文件大集合
大数据笔记:Java API 操作HDFS文件大集合标签: 大数据大数据笔记:Java API 操作HDFS文件大集合JAVAAPI操作HDFS环境搭建JAVA操作在hdfs上创建一个目录代码展示文档分析结果创建一个文件并写入内容创建文件写入内容代码查看HDFS的内容命令行查看java操作删除文件文件重命名上传本地文件到HDFS小文件直接上传...原创 2018-05-27 10:31:32 · 6012 阅读 · 0 评论 -
Hadoop笔记:HDFS读官方文档
大数据笔记:HDFS读官方文档标签: 大数据大数据笔记:HDFS读官方文档介绍NameNode and DataNodesHDFS架构及其内部NameNode和Data的作用命名空间和副本命名空间副本机制副本存放策略介绍 The Hadoop Distributed File System (HDFS) is a distribut...原创 2018-05-27 10:30:55 · 1396 阅读 · 0 评论 -
Hadoop笔记:HDFS shelll常用命令的使用
大数据笔记:HDFS shelll常用命令的使用标签: 大数据大数据笔记:HDFS shelll常用命令的使用HDFS shelll常用命令的使用HDFS shelll常用命令的使用如何使用hdfsdfs 不会用,按回车[japson@localhost sbin]$ hdfsUsage: hdfs [--config confdir] CO...原创 2018-05-27 10:30:32 · 1039 阅读 · 0 评论 -
踩坑:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using built
踩坑:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable标签: 踩坑有一阵儿没学hadoop了,今天在启动hadoop的时候,发现每次输入命令运行都会出现: WARN util...原创 2018-07-22 16:55:33 · 5831 阅读 · 1 评论