大数据
引领时尚S
这个作者很懒,什么都没留下…
展开
-
kafka如何选择分区数及kafka性能测试
kafka如何选择分区数及kafka性能测试1、简言 如何选择合适的分区,这是我们经常面临的问题,不过针对这个问题,在网上并没有搜到固定的答案。因此,今天在这里主要通过性能测试的工具来告诉如何选择相对应的kafka分区。2、性能测试工具 kafka本身提供了比较的性能测试工具,我们可以使用它来测试适用于我们机器的kafka分区。① 生产者性能测试分别创建三个topic,副本数设置...原创 2019-03-27 19:52:55 · 12282 阅读 · 0 评论 -
拉链表的设计-订单
数仓之-拉链表的设计拉链表设计图:1、创建数据库create database ods;create database dwd;2、在ods层中创建订单表2.1、创建ods的订单表初始表(相当于是从mysql出来数据的,懒得去走mysql)create table ods_order_init(`id` string COMMENT '订单编号',`order_status`...原创 2019-06-10 09:54:11 · 3513 阅读 · 5 评论 -
spark技术之常用必备算子
1、常用算子① aggregate算子import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDD/** * 测试aggregate算子 * action操作, * 第一个参数是初始值, * 第二个参数:是2个函数[每个函数都是2个参数 * (第一个参数:先对个个分区进...原创 2019-08-17 11:11:27 · 392 阅读 · 0 评论