bigdata
文章平均质量分 78
chuanzhongdu1
这个作者很懒,什么都没留下…
展开
-
spark2.4 feature
Barrier Execution Mode机器学相关,不适合map-reduce模式的计算,比如MPIBuilt-in Higher-order Functions构造高阶方法,支持多种复杂类型操作(数组等)SELECT array_distinct(array(1, 2, 3, null, 3));数组去重SELECT array_intersect(array(1, ...原创 2018-11-15 15:05:06 · 662 阅读 · 0 评论 -
基于数据湖架构的大数据平台:品高云与Gartner联合报告
信息化蓬勃发展,带来数据的爆发式增长。在云计算和大数据时代,基于数据开展生产、运营、决策成为常态,数据的存储及应用体系是企业生态运转的中枢神经。近日,全球最具权威的第三方IT研究与顾问咨询公司Gartner联袂广州市品高软件股份有限公司最新合作的报告:《基于数据湖架构的大数据平台》(Big data platform based on Data Lake Architecture)正式发布,双...转载 2018-12-06 10:41:05 · 1615 阅读 · 0 评论 -
presto内存分配参数
假如设置最大Heap内存为35G需要考虑的Heap最大值因素,因为需要给系统与其他守护进程留有空间,所以最好不要将内存设置为机器内存大小prestor参数query.max-memory-per-node每个机器上用于执行用户任务的内存大小,比如:排序等操作,超出限制将killquery.max-total-memory-per-node每个节点上用于系统与用户任务的内存大...原创 2019-07-16 15:32:19 · 4021 阅读 · 2 评论