Win7下开发运行hadoop MR程序的注意事项

最新推荐文章于 2021-03-13 15:00:55 发布
最新推荐文章于 2021-03-13 15:00:55 发布
阅读量121 收藏
点赞数
分类专栏： VirtualBox Ubuntu hadoop 文章标签： hadoop eclipse ubuntu java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cjd007/article/details/84091303
版权
Ubuntu 同时被 3 个专栏收录
26 篇文章 0 订阅
订阅专栏
hadoop
8 篇文章 0 订阅
订阅专栏
VirtualBox
5 篇文章 0 订阅
订阅专栏
环境：
win7+eclipse+ ubuntu+hadoop

开始运行时报没有权限，只要把 hdfs的权限加大： 

hadoop dfs -chmod -R 777 /usr/local/hadoop/hadoop-dir/hadoop-dev/tmp/


接着运行MR报 内存一出：
运行时加入参数：因为 mapred.child.java.opts默认大小是200m,具体的配置位置在 mapred-site.xml. 
-Dmapred.child.java.opts=-Xmx512m


[img]http://dl.iteye.com/upload/attachment/597398/66ab06ad-4830-3e4f-9f6a-dc32b4e89c98.png[/img]
cjd007
关注
专栏目录
win7下Eclipse开发Hadoop应用程序环境搭建
04-02
在Windows 7操作系统中，使用Eclipse开发Hadoop应用程序的过程涉及多个步骤，涵盖了从环境配置到实际编程的各个层面。以下是对这个主题的详细讲解： 首先，我们需要了解Hadoop和Eclipse的基础。Hadoop是一个开源的...
Hadoop 权限管理
云计算?
10-17 462
如下图，hadoop访问控制分为两级，其中ServiceLevel Authorization为系统级，用于控制是否可以访问指定的服务，例如用户/组是否可以向集群提交Job，它是最基础的访问控制，优先于文件权限和mapred队列权限验证。Access Control on Job Queues在job调度策略层之上，控制mapred队列的权限。DFSPermmision用户控制文件权限。目前版本中...
mapred.child.java.opts
05-08 3325
mapred.child.java.opts 这个参数是配置每个map或reduce使用的内存数量。默认的是200M。对于这个参数，我个人认为，如果内存是8G，CPU有8个核，那么就设置成1G就可以了。实际上，在map和reduce的过程中对内存的消耗并不大，但是如果配置的太小，则有可能出现”无可分配内存”的错误。所以，对于这个配置我总结了一个简单的公式：map/reduce的并发数量(总和不大...
MR任务在yarn集群中资源占用分析
bck1453925668的博客
03-13 1399
MR任务启动 hadoop jar MapReduceTest-1.0-SNAPSHOT.jar com.example7pi.jobPI -Dmapred.child.java.opts="-Xmx1024m" -Dmapreduce.map.memory.mb=1024 100 1000000000 -Dmapred.child.java.opts="-Xmx1024m" -Dmapreduce.map.memory.mb=1024 参数只能放在类名后 参数前。若是放在最后，参数获取不到 关于M
Hadoop 参数 mapred.map.child.java.opts
热门推荐
zhuhailong
10-17 1万+
Hadoop mapred.map.child.java.opts 解决 outofmemory问题
学习hadoop遇到的问题（hdfs权限问题，ls: Permission denied: user=root, access=READ_EXECUTE, inode="/user/spark":）
小马哥的博客
01-14 7664
1.在CDH页面中添加超级用户 2.手动给用户授权 对CDH用户：对于文件夹/user，注意，这个文件夹的拥有者不是所谓的“root”。实际上，这个文件夹为“hdfs”所有（755权限，这里将hdfs理解为一个属于supergroup的用户）。  所以，只有hdfs可以对文件夹进行写操作。与Unix/Linux不同，hdfs是超级使用者(superuser)，而不是root。    ...
win7下编译过的hadoop jar包
09-04
标题中的“win7下编译过的hadoop jar包”指的是在Windows 7操作系统环境下，已经完成编译的Hadoop相关的Java归档（JAR）文件。Hadoop是一个开源的分布式计算框架，主要用于处理和存储海量数据。在Windows系统上配置...
win7下编译过的hadoop2.7.2
09-14
总之，这个“win7下编译过的hadoop2.7.2”文件对于在Windows 7环境下快速部署和使用Hadoop非常有帮助，它省去了编译的复杂性，让开发者和数据分析师能够专注于Hadoop的应用和数据分析，而不是底层的系统配置。...
win 7 64上编译 Hadoop 2.7.3 源码
05-07
### Win 7 64位系统上编译Hadoop 2.7.3源码的知识点 #### 一、背景介绍 在当前大数据处理技术快速发展的背景下，Hadoop作为主流的大数据处理框架之一，被广泛应用于各类场景之中。对于开发者来说，能够熟练地在自己...
ubuntu手动设置dns解析
背着空空的行壤，一路走来，收拾着点点滴滴...
05-04 1632
/etc/resolv.conf中设置dns之后每次重启Ubuntu Server时该文件会被覆盖，针对这种情况找了一些个解决方法 防止/etc/resolv.conf被覆盖的方法 【方法一】 1.需要创建一个文件/etc/resolvconf/resolv.conf.d/tail [code="java"] sudo vi /etc/resolvconf/resolv.conf.d/t...
Ubuntu 执行apt-get install时，必须先配置dns.
背着空空的行壤，一路走来，收拾着点点滴滴...
05-14 891
更新时的注意事项: [code="java"] 错误 http://cn.archive.ubuntu.com/ubuntu/ maverick-updates/main xbase-clients all 1:7.5+6ubuntu3.1 解析“cn.archive.ubuntu.com:http”时，出现了某些故障(-5 - No address associated with ho...
linux shell IF判断时报not found错误解决方法
背着空空的行壤，一路走来，收拾着点点滴滴...
07-06 778
原来if判断那块有个坑，if[color=red]空格[/color][[color=red]空格[/color]$? -eq 0[color=red]空格[/color]]; if后面加空格，条件两边也得加空格，以下是数字比较和字符串比较例子 [code="java"]---------number if [ 1 -eq 2 ];then fi --------string if ...
如何解决“Offending key in ~/.ssh/known_hosts” file
背着空空的行壤，一路走来，收拾着点点滴滴...
03-15 641
[code="java"] @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ ...
Ubuntu DNS解析不了，上不了网
背着空空的行壤，一路走来，收拾着点点滴滴...
09-07 433
dns设置 要加入 本地的网关ip，否则还是解析不了域名，上不了网。 [code="java"] root@ub-task:~# cat /etc/network/interfaces auto lo iface lo inet loopback auto eth0 iface eth0 inet static address 192.168.1.152 netmask 2...
Ubuntu putty连接显示中文设置
背着空空的行壤，一路走来，收拾着点点滴滴...
09-03 395
在VMware里面安装的Ubuntu，用putty连接，显示不了中文，那么请在每次连接时进行如下设置： Ubuntu 电脑上需要安装 openssh-server : sudo apt-get install openssh-server 由于默认Ubuntu采用UTF-8的字符集，所以putty需要做一些设置： 点击左边的 Windows -> Appearance 设置 F...
64位ubuntu下安装32位jdk注意事项
背着空空的行壤，一路走来，收拾着点点滴滴...
02-21 258
【64位ubuntu下安装32位jdk注意事项】 使用tar包安装（参考此方法），但在安装后运行java命令得到如下结果： [code="java"]aries@ubuntu:~$ java bash: /usr/local/lib/java/bin/java: No such file or directory[/code] 提示无法找到文件，但文件实际存在，查找后发现是因为使用了32位...
Ubuntu 11.04上 vmware窗口崩溃的解决方法
背着空空的行壤，一路走来，收拾着点点滴滴...
12-13 243
转:[url]http://www.hoverlees.com/blog/?p=838[/url] Ubuntu11.04上跑VMware 7.14会出现一个奇怪的情况,就是当VMWare会弹出提示框时,很可能你的vmware workstation窗口就再也打不开了.这是 vmware的bug,解决方法也很简单. 使用root用户编辑 /usr/bin/vmware ,在第二行加上:...
两步搞定chrome在ubuntu下的安装
背着空空的行壤，一路走来，收拾着点点滴滴...
08-24 207
下载 安装包：google-chrome-stable_current_amd64.deb [code="java"]sudo dpkg -i google-chrome-stable_current_amd64.deb [/code] [code="java"]sudo apt-get -f install[/code] 执行完上面2步骤，就ok了。 针对 ubuntu 16...
Windows下Eclipse配置Hadoop MR开发环境
本文档主要介绍了如何在Windows环境下利用Eclipse进行MapReduce程序的开发和运行。作者首先强调了版本选择的重要性，推荐使用的环境包括： 1. **操作系统**: Windows 7 64位版本 2. **Java Development Kit (JDK)**...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值