![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 54
Simon_Sun_1984
计算机专业,毕业荒废,三十而立,重拾旧业。
展开
-
MapReduce三次排序
题目: 20170308,小强,小牛斗地主,22,360手机助手,0.2版本,北京 20170308,小强,小牛斗地主,14,360手机助手,0.3版本,北京 20170308,小强,小牛斗地主,13,360手机助手,0.3版本,北京 20170308,小强,小牛斗地主,16,360手机助手,0.4版本,北京 20170308,小强,小牛斗地主,18,360手机助手,0.4版本,北京原创 2017-05-07 16:42:59 · 1003 阅读 · 0 评论 -
Delegation Token
转自:http://yangyoupeng-cn-fujitsu-com.iteye.com/blog/1812164若设置了dfs.block.access.token.enable=true时,启动时的日志中: 会有这样两条日志: 2013-02-21 19:59:07,006 INFO org.apache.hadoop.hdfs.server.blockmanagement.B转载 2017-08-11 16:00:24 · 607 阅读 · 0 评论 -
hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息
在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。fsck命令必须由HDFS超级用户来执行,普通用户无权限。转载 2017-11-10 09:48:32 · 1584 阅读 · 0 评论 -
使用teragen产生数据
转载地址:http://www.opstool.com/article/249使用Teragen来产生数据,示例如下:hadoop jar hadoop-*-examples.jar teragen 参数1 参数2teragen的参数解释:参数1:表示要产生的数据的行数。Teragen每行数据的大小是100B。要产生1T的数据,需要的行数=102410241024*转载 2017-11-10 10:03:58 · 2726 阅读 · 0 评论 -
mvn项目pom.xml写法(hadoop)
mvn项目pom.xml写法(hadoop)原创 2017-11-29 14:19:51 · 991 阅读 · 0 评论 -
HDFS工具类
HDFS工具类原创 2017-11-28 11:52:57 · 365 阅读 · 0 评论 -
mapreduce针对n列orc文件的读写
建300列的ORC表,可以用execl简单建一个300列,10000行的数据,复制成以tab分割的txt文件 hdfs dfs -put ddd.txt hdfs://hadoop:9000/tmp/input/create table test_orc_300(c1 string , c2 string , c3 string , c4 str...原创 2018-04-09 11:02:40 · 900 阅读 · 0 评论 -
用mapreduce写wordcount
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.a...原创 2018-04-09 11:06:19 · 295 阅读 · 0 评论 -
The auxService:mapreduce_shuffle does not exist问题解决
调试mapreduce发现问题Container launch failed for container_1522728182746_0001_01_000004 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist ...原创 2018-04-03 12:15:16 · 2054 阅读 · 1 评论