自定义YARN任务

流程 client ApplicationMaster

yarn运行机制 1. 起yarn client // 1.创建yarn client YarnClientApplication app = yarnClient.createApplication(); // 2.配置 app.getApplicationSubmissionContext().setApplicationName( "truman.ApplicationMaster"); app.getApplicationSubmissionContext().setResource(Resourc

explode 用法：展开字段，打成一列 drop table test; create temporary table test ( id string, f1 array<string> ) ; insert overwrite table test select 123, array('1', '2', '3'); select id, tag from lateral vi...

map struct create tempory table zgx_struct( name string, score struct&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;lt;name string, score string&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;a

create table create database xxx; create external table if not exists xxx.userkey_sid_rank_expo( userkey string, sid string, rec_time string, rank string, rtoken string, expo string, pv string, durati...

HDFS https://www.cnblogs.com/laov/p/3434917.html MR YARN

用途 基于hdfs的实时db 功能 增删改查

流程 写java 打jar包 add jar filePath(可本地，可hdfs) create temporary function xxx as “your class” Reference https://blog.csdn.net/Gavin_chun/article/details/78169317

hive 直接上传json数据 建表，建立接收json格式的表 准备json格式数据 // 必须找一个这个jar包，默认没有，可以从网上下载 add jar /xxxl/hive-hcatalog-core-0.14.0.jar; // 建立可以接收json的table create table db.table( name string, age string ) ROW FORMAT ...

手动清洗 日志为slf4j日志，info级别 用shell筛选出需要的内容 用python解析成json格式 // grep 提取关键词日志 grep -E "A|B" > result.txt // python 解析 #!bin/python import sys import re import json fileName = sys.argv[1] def read():...

storm spout 入口，实现读取数据 bolt 出口，实现输出数据 topology 高级汇总，实现封装之前两个，然后提交topology