分布式学习
weixin_45477892
这个作者很懒,什么都没留下…
展开
-
使用C++执行mapreduce任务
1.hadoop-streaming-xxx.jar虽然hadoop是用java开发的(一般程序也要用java写),但hadoop提供了一个工具:hadoop-streaming,主要是帮助用户创建/运行一类特殊的map/reduce作业。使得任何语言编写的map/reduce作业都能在上面运行2.注意:写好的map/reduce程序也要上传到hadoop根目录下(不要传到文件系统上,因为原有的java代码也是放在hadoop中,而文件系统只是存放对应的文件)...原创 2020-10-22 16:31:23 · 494 阅读 · 0 评论 -
unbuntu下进行YARN环境搭建
目录一.准备二.YARN环境搭建1.配置2.启动YARN环境:ubuntu 18.04.1hadoop 3.1.4参考:https://blog.51cto.com/zero01/2091635一.准备搭建YARN环境之前一般已经进行好了HDFS的环境搭建,具体内容参考:在ubuntu下进行HDFS伪分布式环境搭建二.YARN环境搭建因为已经安装好了hadoop,所以直接开始配置1.配置编辑/usr/local/hadoop/etc/hadoop/mapred-site.xml文件,在原创 2020-09-25 23:30:28 · 798 阅读 · 0 评论 -
在ubuntu下进行HDFS伪分布式环境搭建(学习用)
#本博客主要是记录自己学习过程,有问题麻烦大家指出…hadoop + mapreduce的伪分布式环境主要包括:HDFS搭建,YARN搭建下面分别阐述搭建过程环境:Ubuntu 18.04.1Hadoop 3.1.4一.准备工作1.创建新用户因为是在虚拟机下搭建,所以有必要为了这个作业专门创建一个用户并给权限sudo useradd -m hadoop #-m表示自动建立用户登陆目录sudo passwd hadoopsudo adduser hadoop sudo #增加管理员权限原创 2020-09-20 21:49:45 · 1693 阅读 · 1 评论