![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
007在学算法
拒绝低效率勤奋,保持高效思考
展开
-
向YARN提交自定义任务
自定义YARN任务原创 2022-12-14 11:05:24 · 117 阅读 · 0 评论 -
自定义yarn任务
流程clientApplicationMaster原创 2021-06-17 12:45:23 · 201 阅读 · 0 评论 -
yarn client 提交任务
yarn运行机制1. 起yarn client// 1.创建yarn clientYarnClientApplication app = yarnClient.createApplication();// 2.配置app.getApplicationSubmissionContext().setApplicationName( "truman.ApplicationMaster");app.getApplicationSubmissionContext().setResource(Resourc原创 2020-09-29 20:41:20 · 300 阅读 · 0 评论 -
hive explode
explode用法:展开字段,打成一列drop table test;create temporary table test(id string,f1 array<string>);insert overwrite table testselect 123, array('1', '2', '3');select id, tag from lateral vi...原创 2020-03-26 13:41:39 · 125 阅读 · 0 评论 -
storm使用
stormspout 入口,实现读取数据bolt 出口,实现输出数据topology 高级汇总,实现封装之前两个,然后提交topology原创 2019-08-12 20:29:23 · 134 阅读 · 0 评论 -
日志清洗
手动清洗日志为slf4j日志,info级别用shell筛选出需要的内容用python解析成json格式// grep 提取关键词日志grep -E "A|B" > result.txt// python 解析#!bin/pythonimport sysimport reimport jsonfileName = sys.argv[1]def read():...原创 2019-06-17 10:05:00 · 557 阅读 · 0 评论 -
hive json
hive 直接上传json数据建表,建立接收json格式的表准备json格式数据// 必须找一个这个jar包,默认没有,可以从网上下载add jar /xxxl/hive-hcatalog-core-0.14.0.jar;// 建立可以接收json的tablecreate table db.table(name string,age string ) ROW FORMAT ...原创 2019-06-17 09:51:23 · 101 阅读 · 0 评论 -
hive udf
流程写java打jar包add jar filePath(可本地,可hdfs)create temporary function xxx as “your class”Referencehttps://blog.csdn.net/Gavin_chun/article/details/78169317原创 2019-04-15 14:43:17 · 117 阅读 · 0 评论 -
hbase入门
用途基于hdfs的实时db功能增删改查原创 2019-04-08 08:46:21 · 75 阅读 · 0 评论 -
Hadoop原理
HDFShttps://www.cnblogs.com/laov/p/3434917.htmlMRYARN转载 2019-03-15 16:38:50 · 136 阅读 · 0 评论 -
hive 创建表
create tablecreate database xxx;create external table if not exists xxx.userkey_sid_rank_expo(userkey string,sid string,rec_time string,rank string,rtoken string,expo string,pv string,durati...原创 2019-01-15 20:28:53 · 320 阅读 · 0 评论 -
hive 复杂数据结构
mapstructcreate tempory table zgx_struct(name string,score struct&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;lt;name string, score string&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;a原创 2019-01-14 18:29:51 · 719 阅读 · 0 评论