topk记录

最新推荐文章于 2023-11-03 17:34:22 发布
最新推荐文章于 2023-11-03 17:34:22 发布
阅读量1.3k 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaweitman/article/details/25562103
版权
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output
Deleted hdfs://localhost:9000/user/lk/output
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top  input output
****hdfs://localhost:9000/user/lk/input
14/05/12 05:14:03 INFO input.FileInputFormat: Total input paths to process : 4
14/05/12 05:14:18 INFO mapred.JobClient: Running job: job_201405120333_0004
14/05/12 05:14:20 INFO mapred.JobClient:  map 0% reduce 0%
14/05/12 05:17:32 INFO mapred.JobClient:  map 50% reduce 0%
14/05/12 05:17:36 INFO mapred.JobClient: Task Id : attempt_201405120333_0004_m_000001_0, Status : FAILED
java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program "/bin/ls": java.io.IOException: error=12, Cannot allocate memory
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:488)
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:200)
    at org.apache.hadoop.util.Shell.run(Shell.java:182)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:375)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:461)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:444)
    at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:703)
    at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:443)
    at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.getOwner(RawLocalFileSystem.java:426)
    at org.apache.hadoop.mapred.TaskLog.obtainLogDirOwner(TaskLog.java:251)
    at org.apache.hadoop.mapred.TaskLogsTruncater.truncateLogs(TaskLogsTruncater.java:124)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:260)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:416)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.io.IOException: java.io.IOException: error=12, Cannot allocate memory
    at java.lang.UNIXProcess.<init>(UNIXProcess.java:164)
    at java.lang.ProcessImpl.start(ProcessImpl.java:81)
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:470)
    ... 15 more

    at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:468)
    at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.getOwner(RawLocalFileSystem.java:426)
    at org.apache.hadoop.mapred.TaskLog.obtainLogDirOwner(TaskLog.java:251)
    at org.apache.hadoop.mapred.TaskLogsTruncater.truncateLogs(TaskLogsTruncater.java:124)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:260)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:416)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)

14/05/12 05:17:58 INFO mapred.JobClient:  map 0% reduce 0%
14/05/12 05:18:10 INFO mapred.JobClient: Task Id : attempt_201405120333_0004_m_000000_0, Status : FAILED
java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program "/bin/ls": java.io.IOException: error=12, Cannot allocate memory
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:488)
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:200)
    at org.apache.hadoop.util.Shell.run(Shell.java:182)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:375)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:461)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:444)
    at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:703)
    at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:443)
    at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.getOwner(RawLocalFileSystem.java:426)
    at org.apache.hadoop.mapred.TaskLog.obtainLogDirOwner(TaskLog.java:251)
    at org.apache.hadoop.mapred.TaskLogsTruncater.truncateLogs(TaskLogsTruncater.java:124)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:260)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:416)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.io.IOException: java.io.IOException: error=12, Cannot allocate memory
    at java.lang.UNIXProcess.<init>(UNIXProcess.java:164)
    at java.lang.ProcessImpl.start(ProcessImpl.java:81)
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:470)
    ... 15 more

    at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:468)
    at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.getOwner(RawLocalFileSystem.java:426)
    at org.apache.hadoop.mapred.TaskLog.obtainLogDirOwner(TaskLog.java:251)
    at org.apache.hadoop.mapred.TaskLogsTruncater.truncateLogs(TaskLogsTruncater.java:124)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:260)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:416)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)

14/05/12 05:18:14 INFO mapred.JobClient: Task Id : attempt_201405120333_0004_m_000001_1, Status : FAILED
14/05/12 05:20:01 INFO mapred.JobClient:  map 25% reduce 0%
14/05/12 05:20:27 INFO mapred.JobClient: Task Id : attempt_201405120333_0004_m_000000_1, Status : FAILED
attempt_201405120333_0004_m_000000_1: log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapred.Task).
attempt_201405120333_0004_m_000000_1: log4j:WARN Please initialize the log4j system properly.
14/05/12 05:20:41 INFO mapred.JobClient:  map 0% reduce 0%
14/05/12 05:20:43 INFO mapred.JobClient: Task Id : attempt_201405120333_0004_m_000001_2, Status : FAILED
java.lang.NumberFormatException: For input string: ""
    at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
    at java.lang.Integer.parseInt(Integer.java:493)
    at java.lang.Integer.parseInt(Integer.java:514)
    at top.Top$TopKMapper.map(Top.java:28)
    at top.Top$TopKMapper.map(Top.java:1)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:416)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)

14/05/12 05:23:55 INFO mapred.JobClient:  map 25% reduce 0%
14/05/12 05:24:06 INFO mapred.JobClient:  map 50% reduce 0%
14/05/12 05:24:19 INFO mapred.JobClient: Task Id : attempt_201405120333_0004_m_000000_2, Status : FAILED
attempt_201405120333_0004_m_000000_2: log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapred.Task).
attempt_201405120333_0004_m_000000_2: log4j:WARN Please initialize the log4j system properly.
14/05/12 05:24:33 INFO mapred.JobClient:  map 0% reduce 0%
14/05/12 05:24:58 INFO mapred.JobClient: Job complete: job_201405120333_0004
14/05/12 05:25:01 INFO mapred.JobClient: Counters: 7
14/05/12 05:25:01 INFO mapred.JobClient:   Job Counters
14/05/12 05:25:01 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=979673
14/05/12 05:25:01 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
14/05/12 05:25:01 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
14/05/12 05:25:01 INFO mapred.JobClient:     Launched map tasks=7
14/05/12 05:25:01 INFO mapred.JobClient:     Data-local map tasks=7
14/05/12 05:25:01 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0
14/05/12 05:25:01 INFO mapred.JobClient:     Failed map tasks=1
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$


huaweitman
关注
专栏目录
hadoop学习-stream-Top K记录
wenyusuran的专栏
05-22 1110
求海量数据中最大的K个记录 来源于《hadoop实战》(hadoop in action)（美 拉姆）第4.7章节有关stream的习题。 数据源：apat63_99.txt 专利描述数据集，包含专利号、专利申请年份等等信息。可从美国国家经济研究局获得，网址为http://www.nber.org/patents  大约有290万条记录。 这里的脚本用的是python。 apat
精确查找top k和非精确查找top k
aoxue_bai的博客
08-17 1765
信息检索里面经典问题。 精确top K 检索及其加速办法 •方法一：快速计算余弦 • 方法二：堆排序法N中选K • 方法三：提前终止计算 精确top K检索加速方法一： 快速计算余弦 • 检索排序就是找查询的K近邻 • 一般而言，在高维空间下，计算余弦相似度没有很 高效的方法 • 但是如果查询很短，是有一定办法加速计算的，而 且普通的索引能够支持这种快速计算 特例– 不考虑查询词项的...
Spark中读取文件Error while running command to get file permissions : java.io.IOException: (null) entry报错
知其然，知其所以然
09-26 1009
读取文件问题
Spark Error while running command to get file permissions
Loser_you的博客
12-20 5494
Spark Error while running command to get file permissions Error while running command to get file permissions : 2 java.io.IOException: (null) entry in command string: null ls -F C:\Users\ue\IdeaProjects\spark-learn\data 解决方法： 在C:\Program Files下新建文件夹ha
Error while running command to get file permissions : (null) entry in command string: null ls -F
Jackie Huang
06-01 8726
ps: 如果有任何问题可以评论留言，我看到后会及时解答，评论或关注，您的鼓励是我分享的最大动力 转载请注明出处：https://blog.csdn.net/qq_40938301/article/details/90731317 问题： hadoop 的 input Path 设为文件夹路径时，需要读取文件夹路径下所有文件报如下错误： 原因： 报错提示的意思是说，Path这个路径需要...
win下Sparksql 无法获取文件权限问题
weixin_45682234的博客
06-29 899
Caused by: java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive Caused by: java.lang.RuntimeException: Error while running command to get file permissi
Error while running command to get file permissions : (null) entry in command string: null ls -F
白色风车
08-20 1747
Error while running command to get file permissions : (null) entry in command string: null ls -F 意思是没有得到文件的允许 意思是说要把路径换成文件，而不是目录!注意是在路径后面加上文件名！
使用堆实现Top K算法（JS实现）
01-19
先来聊一聊Top K算法，具体内容如下 应用场景：  搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。  假设目前有一千万个记录（这些查询串的重复度比较高，虽然...
top k 算法
10-15
**Top K 算法详解** Top K 算法是一种在大数据集或者无序数据中寻找前K个最大或最小元素的高效算法。在数据分析、机器学习和搜索引擎优化等领域，这种算法有着广泛的应用。本篇文章主要探讨的是利用二分法实现Top K...
TopK问题
ThreeAspects的博客
12-03 1089
海量数据中寻找TopK问题Top K问题介绍Top K问题举例及解答 Top K问题介绍   所谓的Top K问题：在海量数据中找出出现频率最好的前K个数，或者从海量数据中找出最大的前K个数。例如，在搜索引擎中，统计搜索最热门的10个查询词/在歌曲库中统计下载最高的前10首歌等。针对Top K问题，通常方案是分治+Trie树/Hash+小顶堆，即先将数据集按照Hash方法分解成多个小数据集，然后使...
java运行所需jar包，hadoop-2.8.4
11-29
在Windows下eclipse运行java程序，报错原因是没有添加正确的库，这是hadoop-2.8.4 所需的jar包。  在Windows的eclipse运行java程序，调试无报错，打包成jar，上传到linux虚拟机（CentOS 64位），Hadoop2.8.4上进行分布式运算。
windows idea本地执行spark sql避坑
最新发布
biqidaoer的专栏
11-03 322
6. 在idea执行程序，还是会报错，但是错误变了，网上的解释是，缺少文件winutils.exe,从以下地址下载，下载完成后，放到hadoop/bin下面。本地安装了IDEA，并配置好了相关POM，可以在本机使用sparkSession连接数据，并在数据库执行sql，在idea展示执行结果。7. 重启idea，执行代码，还是报错，有点头晕，一狠心，把D:tmp文件夹给删掉了，在执行idea的程序，正常输出了。4. 修改hadoop下的jdk文件路径，修改的时候注意跟进参考文档中修改，否则执行会报错。
Hadoop本地测试错误：(null) entry in command string: null chmod 0700 H:\h\home\centos\hadoop\mapred\staging\
FresherHe的博客
02-02 3153
在 Windows 上对 MR 做本地测试时，出现了如下错误： java.io.IOException: (null) entry in command string: null chmod 0700 H:\home\centos\hadoop\mapred\staging\xxx1514221591\.staging 解决方案： 将 Hadoop 安装目录下bin/hadoop.dll ...
关于hadoop在本地开发环境运行不能读取文件夹下的文件解决方案
ni1992369的博客
08-14 1172
问题：Exception in thread "main" java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F F:\aaa\input\a.txt 解决方法...
java.io.IOException: (null) entry in command string: null ls -F *... 解决办法
u013111855的博客
12-14 4117
我的运行环境是eclipse： mapreduce在windows上运行时，指定输入路径的时候，如果路径下有很多文件，往往无法一次性识别。会遇到：java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command ...
MapReduce本地运行路径配置报错 java.io.IOException: (null) entry in command string: null ls -F
qq_38454176的博客
05-01 1601
问题 Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F 修改之前配置路径： //本地运行输入路径配置 TextInputFormat.addInputPath(job, new Path("file:///D:\\...
java.io.IOException: Cannot run program "ls": CreateProcess error=2,错误解决方法
热门推荐
q79969786的专栏
02-02 1万+
如果是在WINDOWS的ECLIPSE中，运行HBASE的MAPREDUCE，会出现异常，这是由于默认运行MAPREDUCE任务是在本地运行，而由于会建立文件赋权限是按照UNIX的方式进行，因此会报错： java.lang.RuntimeException: Error while running command to get file permissions : java.io.I
windows 下 MyEclipse 运行hadoop 出错
伏虎游侠的博客
05-31 1313
信息: Cleaning up the staging area file:/tmp/hadoop-huan.liu/mapred/staging/huan.liu-789127983/.staging/job_local_0004 java.lang.RuntimeException: Error while running command to get file permissions :
Hadoop windows 本地执行Mapreduce 报错 Error while running command to get file permissions
曾经是个DBA
08-09 1万+
package cn.hadoop.mr.flowsum; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.ma
topk()伪代码
05-25
以下是一个简单的 topk() 函数的伪代码实现： ``` function topk(input_list, k): count_dict = {} for element in input_list: if element in count_dict: count_dict[element] += 1 else: count_dict...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值