![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mapreduce
文章平均质量分 64
bck1453925668
这个作者很懒,什么都没留下…
展开
-
MR任务在yarn集群中资源占用分析
MR任务启动hadoop jar MapReduceTest-1.0-SNAPSHOT.jar com.example7pi.jobPI -Dmapred.child.java.opts="-Xmx1024m" -Dmapreduce.map.memory.mb=1024 100 1000000000-Dmapred.child.java.opts="-Xmx1024m" -Dmapreduce.map.memory.mb=1024 参数只能放在类名后 参数前。若是放在最后,参数获取不到关于M原创 2021-03-13 15:00:55 · 1349 阅读 · 0 评论 -
使用MR入库hbase_BilkLoad(二)
使用MR任务读取txt文档, 将文件转换HFile文件, 再将HFile文件导入hbase表中, 这样对hbase无压力mapperpackage com.hbaseBulkLoad;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.*;im原创 2020-10-28 16:37:56 · 234 阅读 · 0 评论 -
使用MR任务读写HBASE表(一)
以下代码是使用MR任务读取HBASE的表,然后再写到HBASE表中, 也可以写到另外的HBASE集群的表中Mapperpackage com.MRforHbaeToHbase;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.client.Re原创 2020-10-25 22:16:41 · 300 阅读 · 0 评论 -
执行MR任务增加依赖其他jar方法
提交MapReduce任务,增加依赖其他jar方法执行mapreduce任务,若是依赖其他包,需要将包做以下指定, 提交机客户端执行:$ export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/bai/software/hbase/lib/*执行以下命令,查看是否生效[bai@hadoopsit201 ~]$ hadoop classpath... /home/bai/software/hbase/lib/*: ......原创 2020-10-21 21:04:48 · 143 阅读 · 0 评论 -
MapReduce(一)
wordcountmapreduce的阶段MAP 分区 排序 规约 分组 Reducemappackage com.example;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.util.StringUtils;import java.io.B原创 2020-09-09 19:43:41 · 76 阅读 · 0 评论