我的项目实战
清风千雨
大数据,java后端
展开
-
Kafka对接HBase
public class HBaseConsumer { public static void main(String[] args) { //加载配置信息 KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(PropertiesUtil.properties...原创 2019-02-19 21:33:13 · 3258 阅读 · 0 评论 -
大数据组件优化参数以及其他参数设置总结(不断更新)
HIVE 1)设置分桶 set hive.enforce.bucketing set hive.enforce.bucketing=true; 2)设置严格模式 set hive.mapred.mode; set hive.mapred.mode=strict; 3)设置压缩 3.1)开启Map阶段输出压缩 开启输出压缩功能: set hive.exec.compress.i...原创 2019-03-05 11:22:10 · 409 阅读 · 0 评论 -
(电商项目实战)Spark累加器AccumulatorV2
spark2.x AccumulatorV2(累加器) Spark2.x之后,之前的的accumulator被废除,用AccumulatorV2代替; 累加器(accumulator):Accumulator是仅仅被相关操作累加的变量,因此可以在并行中被有效地支持。它们可用于实现计数器(如MapReduce)或总和计数。 Accumulator是存在于Driver端的,从节点不断把值发到Dr...原创 2019-03-02 18:11:56 · 897 阅读 · 0 评论