![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式系统
holomain
足够明亮,做够善良
展开
-
sqoop 并行抽取数据,同时解决数据倾斜
这里写自定义目录标题Sqoop 并行抽取数据根据sqoop源码的设计,我们可以使用--query语句中添加自增ID,作为split-by的参数,与此同时通过设置的自增ID的范围可以设置boundary。。Sqoop 并行抽取数据通常可以指定split-by 对应的zizengID 列,然后使用–num-mappers或者-m指定map的个数,即并发的抽取进程数量。但是有时候会碰到很多的表没有添加自增ID或者,整数型的主键,或者 主键分布不均,反而会拖慢整个job的进程。根据sqoop源码的设计,我们可原创 2020-09-01 22:55:59 · 1785 阅读 · 0 评论 -
大数据实时流处理零数据丢失
大数据实时流处理零数据丢失1.整体流程: a)kafka:作为流处理程序的生产者 b)sparkStreaming:作为消费者,设置合理batch c)DB:输出到redis/ES2.存在问题:雪崩效应: kill 出现,导致的数据丢失sparkStreaming程序挂掉了,到知道的数据丢失解决: 1.使用checkpoint。维护太麻烦,流程...原创 2018-08-10 17:49:05 · 1665 阅读 · 0 评论 -
分布式系统学习共性总结:
1.归纳法: 对标与参考 适配与裁剪2..术法道,深入源码体系先分析该系统是数据存储还是计算系统。如果是数据存储系统,从数据分布和副本策略开始入手 哈希:ElasticSearch 范围:HBase 数据量:HDFS 一致性:Cassan 副本读取 副本更新 副本切换 如果是数...转载 2018-08-03 11:48:24 · 182 阅读 · 0 评论 -
Alluxio 部分阅读
现有的streaming architecture 的bottleneck是:1.hdfs 存储系统位于远端的服务器:文件的输入输出会引起大量的网络延迟,数据的更改编程流处理的一个bottleneck。2.HDFS使用普通的磁盘,因此IO操作,尤其是读操作有很高的延迟,spark streaming的executor需要重复的跨集群读操作从HDFS,进一步降低了整体的性能。3.当spar...翻译 2018-09-03 17:20:46 · 388 阅读 · 0 评论 -
tensorflow 分布式结合hdfs 报错:No lease on File does not exist. Holder DFSClient_NONMAPREDUCE
tensorflow 分布式脚本启动方式:https://github.com/tensorflow/examples/blob/master/community/en/docs/deploy/hadoop.md在分布式程序执行代码中使用multiprocessing 分别启动ps, master, workermultiprocessing.Process(target=star...原创 2019-04-15 15:56:56 · 5164 阅读 · 0 评论 -
导出hdfs上tensorflow object api 生成的ckpt 为pb 文件
参考:https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/exporting_models.md设置参数 INPUT_TYPE=image_tensor PIPELINE_CONFIG_PATH=hdfs://master:9000/root/tfData/pipeline.co...原创 2019-04-15 16:07:56 · 451 阅读 · 0 评论