![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
向往太空的鱼
这个作者很懒,什么都没留下…
展开
-
控制spark直连kafka秒级传输量
sparkConf.set(“spark.streaming.kafka.maxRatePerPartition”, “50000”)这个参数的意思是每个分区每秒最大拉取50000条数据,适用于数据积压时蜂拥而来的数据造成的oom还有auto.offset.eariest这个值现在有两个分别是latest和earliest。首先它俩有一个点的区分。当偏移量无效时,若使用latest时从最新的偏移量消费,用earliest时从该topic记录的最小的偏移量消费。我觉得这样的话 又有了新的问题,首先是在根原创 2021-06-04 09:35:22 · 266 阅读 · 0 评论 -
本地连接hive
第一步:我们要将相对应集群的三个文件拷贝到本地来,就这三个位置在/etc/hadoop/conf和/etc/hive/conf下第二步:要注意core-site.xml中的fs.defaulfFs这个配置项是默认文件系统的名称。一个URI和权威确定文件系统实现的方案。uri的计划决定配置属性(fs.SCHEME.impl)命名文件系统实现类。uri的权威是用来确定主机、端口等对于一个文件系统。我们的cdh或者hadoop集群它都是集群,既然是集群就有主备,这个配置项一定要是活跃的那台机器第三步:hiv原创 2021-03-27 16:33:08 · 478 阅读 · 0 评论