![](https://img-blog.csdnimg.cn/20200617105746765.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
Apache Spark
XuTengRui
这个作者很懒,什么都没留下…
展开
-
Spark写入CSV文件,Null值却显示双引号
Bug记录 (20201103)Q:Spark写入CSV文件,Null值却显示双引号A: 添加优化参数 “emptyValue”原创 2020-11-03 16:00:52 · 1225 阅读 · 4 评论 -
大数据Spark结合图数据库Neo4j设计架构
Introduce 大数据分布式技术结合图库Neo4J项目,由于Neo4j采用单节点,性能存在以下问题:. 插入速率随着图库数据增加而减少,成反比相关。 . 对前端页面查询点边关系,测试一条数据耗时10s以上。 所以重新设计架构,采用分布式中间件来取代单节点式Neo4j部分功能。经测试,几套架构尚可满足Spark离线处理和实时计算需求。 Coding Introd...原创 2019-02-24 15:46:44 · 2434 阅读 · 0 评论 -
SparkStreaming调优总结:
原文链接:https://blog.csdn.net/qq_26803795/article/details/81772265spark参数调优需要对各个参数充分理解,没有一套可以借鉴的参数,因为每个集群规模都不一样,只有理解了参数的用途,调试出符合自己业务场景集群环境,并且能在扩大集群、业务的情况下,能够跟着修改参数才算是正确的参数调优。本系列文章仅为个人理解与观点,如果任何地方有疑问与...原创 2019-02-19 22:51:46 · 477 阅读 · 0 评论