hadoop
不会飞的乌龟
这个作者很懒,什么都没留下…
展开
-
Hadoop集群启动WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using
Hadoop集群启动WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable问题原因Apache提供的hadoop本地库是32位的,而在64位的服务器需要自己编译64位的版本。解决方案下载对应了64位的版本,如果没有你要的版本就下载hadoop-native-64.tarhttp://dl.b原创 2021-04-07 08:50:03 · 184 阅读 · 0 评论 -
启动hadoop时,免密码登录引发的错误:The authenticity of host ‘node01 (192.168.80.11)’ can’t be established.
启动hadoop时,免密码登录引发的错误:The authenticity of host ‘node01 (192.168.80.11)’ can’t be established.解决该问题出现上述报错,主要是4台服务器间的免密码登录出现了问题。在搭建hadoop环境的时候,简单实现了node01可以免密码登录node02,node03,node04,可是虚拟机之后再重新启动后,启动的时候,就出现了上述的问题。这次,配置了4台服务器间的免密码登录。配置步骤:进入相应目录,删除原来生原创 2021-04-06 22:37:11 · 1276 阅读 · 0 评论 -
hadoop之MapReduce框架
MapReduce的核心思想1.1分布式的运算程序往往需要分成至少2个阶段。1.2第一个阶段的MapTask并发实例,完全并行运行,互不相干。1.3第二个阶段的ReduceTask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。1.4MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个Map...原创 2019-10-22 16:11:43 · 434 阅读 · 0 评论 -
hadoop之hdfs的常用命令
1、上传文件hadoop fs -put test.txt /hadoop fs -copyFromLocal test.txt /test.txt.22、下载文件hadoop fs -get /test.txt.2hadoop fs -copyToLocal /test.txt.23、创建目录hadoop fs -mkdir /aaahadoop fs -mkdir -p /bb...原创 2019-10-17 17:44:06 · 183 阅读 · 0 评论 -
hadoop之hdfs的角色以及读写流程
hadoop之hdfs的角色以及读写流程1. hdfs简介 hdfs集群分为两大角色:namenode、datanode1.1、 namenode工作职责:1.1.1、 记录元数据: 文件的路径 文件的副本数量 文件的切块大小 文件的块信息 文件块的位置信息1.1.2、 响应客户端请求1.1.3、 平衡datanode上的文件...原创 2019-10-17 17:13:04 · 1047 阅读 · 0 评论 -
Linux上hadoop的安装以及配置文件修改
下载Hadoop安装包解压 将下载的Hadoop安装包解压到/home/app目录下 解压命令:tar -zxvf /hadoop-2.6.0-cdh5.7.0.tar.gz -C /home/appHadoop环境搭建2.1 添加Hadoop安装目录到系统环境变量 修改配置文件(/etc/profile) 修改命令:vi /etc/profile 添加内容: ...原创 2019-04-04 18:22:12 · 4589 阅读 · 0 评论