![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数仓项目
文章平均质量分 54
weixin_43003792
性格使然!!!
展开
-
数仓项目
数仓搭建图谱原创 2021-04-19 21:18:46 · 93 阅读 · 0 评论 -
数仓02-hdfs-ods-dwd-
package com.atguigu.udf; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.hive.ql.exec.UDF; import org.json.JSONException; import org.json.JSONObject; import org.stringtemplate.v4.ST; public class BaseFieldUDF extends UDF { public St..原创 2021-03-17 23:01:07 · 132 阅读 · 0 评论 -
数仓01——数据采集系统 tmp/logs/app*----flume----kafa-----flume-----hdfs
在这里插入图片描述原创 2021-03-16 20:40:31 · 77 阅读 · 0 评论 -
数仓UDF UDTF
package com.atguigu.udtf; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF; import org.原创 2021-03-10 23:40:45 · 99 阅读 · 0 评论 -
2021-03-09
Linux常用命令 序号 命令 命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装) 4 iotop -o 直接查看比较高的磁盘读写程序 5 netstat -tunlp | grep 端口号 查看端口占用情况 6 uptime 查看报告系统运行时长及平均负载 7 ps aux 查看进程 Shell常用工具 awk、sed、cut、sort ...原创 2021-03-09 23:33:59 · 38 阅读 · 0 评论 -
数仓项目
数仓项目搭建选型 1.java----1.8 2.hadoop—2.7.2 3.hive------1.2.1 4.Sqoop-----1.4.6 5.Flume-----1.7.0 6.Kafka-----0.11.02 7.Azkaban—2.5.0 8.Zookeeper—3.4.10 服务器选择: 1.物理机 4W 128G内存 20核CPU,40线程 8THDD,2TSSD硬盘 5年寿命 2.阿里云同等配置 每年5W 集群规划 假设每台服务器8T磁盘 128G内存 1.每天日活跃用户100万,每原创 2021-03-08 23:31:58 · 292 阅读 · 1 评论