hadoop
数学工具构造器
这个作者很懒,什么都没留下…
展开
-
通过docker镜像建立hdfs与spark集群
在vscode中,安装xml-tools后按Cltr-Alt-L可以格式化xmlRUN apt install openjdk-8* -y,jdk路径为export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"获取某个容器的ipimport jsonimport osfrom pathlib import Pathif __name_...原创 2020-01-05 13:29:56 · 370 阅读 · 0 评论 -
MapReduce WordCount
我的实现import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWri...原创 2019-10-04 13:27:47 · 224 阅读 · 0 评论 -
只有map没有reduce的情况:where查询
package com.job;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.map...原创 2019-10-04 13:42:07 · 1034 阅读 · 0 评论 -
MapReduce的reduce端join
参考了一个博客:https://www.liangzl.com/get-article-detail-131008.html做法是建一个writable的bean,用来装载值对于不同类型的表,通过FileInputFormat.setInputPaths(job,input);方法读取一批文件,根据文件名来判断是哪个表。JoinBeanimport org.apache.hadoop....原创 2019-10-05 00:12:36 · 213 阅读 · 0 评论