- 博客(4)
- 收藏
- 关注
RSS订阅
1原创 spark程序提交集群运行全在driver端的问题---setMaster的坑
最近开发了一个超级简单的spark程序，也就rdd运行map再运行foreach，并提交到集群（standalone模式）运行。不知道是不是我是刚入门的小白资历尚浅的问题，但是。。但是。。。但是。。。。它为什么只运行在driver上？提交参数：spark-submit --master spark://hadoop1:7077 --num-executors 4 --driver-memory 3G --executor-memory 3G --executocores 4 --deploy-m
2021-02-09 09:25:45
3332
原创 pandas杂记--实现excel表格数据切片--指定行列名
能用python解决的问题都不是问题需求近日接到一个任务，需要将一个有1000记录的excel数据，平均切分为50个表，并且要求按照指定格式命名；当然，手动切分是不可能的，那肯定是使用python来实现啦！实现数据源说明：大表只有一列数据，是id类的数据，没有行名和列名，切分后数据也不显示行名和列名；源数据大概是这样：代码# -*- coding: utf-8 -*-"""Created on Wed Sep 30 13:43:18 2020@author: CLP将一个表格数
2020-10-10 13:06:10
1468
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人