高性能实时数仓建设
_东极
少年锦时
展开
-
高性能实时数仓建设(五):FLUME读取kafka数据推送hdfs上
文章目录a1.sources = s1a1.channels = c1a1.sinks = s1a1.sources.s1.type = org.apache.flume.source.kafka.KafkaSourcea1.sources.s1.zookeeperConnect = 192.168.18.100:2181,192.168.18.101:2181,192.168.18....原创 2020-05-04 01:00:57 · 723 阅读 · 0 评论 -
高性能实时数仓建设(四):模拟数据代码
package com.zyd.billondataCollect;import com.alibaba.fastjson.JSONObject;import com.zyd.input.app.AppProductLog;import java.io.InputStream;import java.io.OutputStream;import java.net.HttpURLCo...原创 2020-04-27 22:52:03 · 378 阅读 · 0 评论 -
高性能实时数仓建设(三):流量域app端,pc端,小程序端业务数据结构
样例数据userId 用户iddeviceId 设备号startTimeStamp 进入时间endTimeStamp 退出时间appPlatform: 平台brand: 品牌screenSize: 分辨率osTypes: 操作系统商品: 设备id,频道id,类别id,产品id,用户id,打开时间,离开时间,地区,网络方式,运营商版本,渠道购物车: 设备id,频道id,类别i...原创 2020-01-31 15:28:27 · 762 阅读 · 2 评论 -
高性能实时数仓建设(二):java代码模拟http的post请求
package com.zyd.billondataCollect;import java.io.InputStream;import java.io.OutputStream;import java.net.HttpURLConnection;import java.net.URL;/** * 模拟http请求类 */public class GenerateData {...原创 2020-01-31 14:35:40 · 588 阅读 · 0 评论 -
高性能实时数仓建设(一):spring cloud项目初始建设
父项目billionWarehousepom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...原创 2020-01-31 01:27:26 · 431 阅读 · 0 评论