Hadoop
Cccccrj
这个作者很懒,什么都没留下…
展开
-
Hadoop完全分布式 运行MapReduce
文章目录Hadoop完全分布式1.虚拟机集群准备2.集群分发脚本3. 集群配置3.1集群部署规划3.2配置集群核心文件core-site.xmlHDFS配置YARN配置MapReduce配置4.集群单点启动5. ssh免密登陆6. 群起集群配置slaves6.集群启动/停止方式逐一启动分模块启动Hadoop完全分布式1.虚拟机集群准备修改主机名vi /etc/sysconfig/network 物理地址和ipvi /etc/sysconfig/network-scripts/ifcfg-eth0原创 2020-09-01 21:59:10 · 337 阅读 · 0 评论 -
Hadoop伪分布式 启动HDFS&YARN运行MapReduce
文章目录伪分布式1 启动HDFS并运行MapReduce1.1 配置配置hadoop-env.shcore-site.xmlhdfs-site.xml1.2 启动集群传输文件格式化流程NameNode问题logs日志信息2 启动YARN运行MapReduce配置yarn-env.shyarn-site.xml配置mapred-env.shmapred-site.xml启动集群集群操作3 配置历史服务器mapred-site.xml配置日志集群配置yarn-site.xml伪分布式服务器配置按照完全分布式原创 2020-08-15 21:58:06 · 2566 阅读 · 0 评论 -
Hadoop本地模式
文章目录本地模式Grep官方案例WordCount案例本地模式Grep官方案例hadoop-2.7.2中新建文件mkdir input将/etc/hadoop目录下所有*.xml拷贝到input文件中cp etc/hadoop/*.xml input/运行grep命令筛选出复合规则的结果,将input文件夹内容作为输入,根据exanples里的程序将结果复合正则表达式‘dfs[a-z.]+’的.output文件夹在运行前如果存在会报错,目标文件已存在错误hadoop jar sha原创 2020-08-15 15:23:01 · 169 阅读 · 0 评论 -
CentOS 配置 Hadoop
安装华中科技大学开源镜像站下载linux软件包hadoop镜像资源通过SFTP从MacOS拷贝到CentOS上将opt文件改为777权限否则从mac向linux传输会失败,但是可以从linux 向mac上传输chmod -R 777 opt安装JDK和HadoopJDK解压 tar -C选择目标目录解压tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module/sudo vi /etc/profile------最后一行加原创 2020-08-14 10:34:45 · 107 阅读 · 0 评论