weixin_43003792的博客

数仓搭建图谱

package com.atguigu.udf;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.hive.ql.exec.UDF;import org.json.JSONException;import org.json.JSONObject;import org.stringtemplate.v4.ST;public class BaseFieldUDF extends UDF {public St..

在这里插入图片描述

package com.atguigu.udtf;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;import org.

Linux常用命令序号 命令 命令解释1 top 查看内存2 df -h 查看磁盘存储情况3 iotop 查看磁盘IO读写(yum install iotop安装）4 iotop -o 直接查看比较高的磁盘读写程序5 netstat -tunlp | grep 端口号 查看端口占用情况6 uptime 查看报告系统运行时长及平均负载7 ps aux 查看进程Shell常用工具awk、sed、cut、sort...

数仓项目搭建选型1.java----1.82.hadoop—2.7.23.hive------1.2.14.Sqoop-----1.4.65.Flume-----1.7.06.Kafka-----0.11.027.Azkaban—2.5.08.Zookeeper—3.4.10服务器选择：1.物理机 4W 128G内存 20核CPU,40线程 8THDD，2TSSD硬盘 5年寿命2.阿里云同等配置 每年5W集群规划 假设每台服务器8T磁盘 128G内存1.每天日活跃用户100万，每