在pyspark sparkSession中,以sc作为我的sparkContext,调用getRDDStorageInfo() Java sparkContext _jsc.sc(),该方法返回一个我可以在python中进行迭代的RDDInfo[]的JavaObject实例。
sc._jsc.sc().getRDDStorageInfo()返回JavaObject id=o473
因此,以下工作原理:
for s in sc._jsc.sc().getRDDStorageInfo():
print s.name()
print s.memSize()
print s.numPartitions()
print s.numCachedPartitions()
但是,Java sparkContext方法listFiles()返回的JavaObject为scala.collection.Seq。
sc._jsc.sc().listFiles()返回JavaObject id=o475
当我尝试遍历时,我得到TypeError: 'JavaObject' object is not iterable
如何将scala.collection.Seq的JavaObject转换为python列表(或其他可迭代的python)?
参考方案
您可以调用scala方法size和apply来执行此操作
files = sc._jsc.sc().listFiles()
py_files = [files.apply(i) for i in range(files.size())]
无法从ArrayList 转换为List - java
当我写下面的代码时,编译器说 无法从ArrayList转换为Listprivate List get(){ return new ArrayList(); } 但是当我用通配符编写返回类型时,代码会编译。private List&l…Java:我可以在Hashmaps中使用数组吗? - java
我可以在Hashmaps中使用数组吗?如果是这样,则声明这种哈希图的确切语法是什么?谢谢 参考方案 数组也是对象。甚至像int[]这样的原始数组。Map map = new HashMap();Java中的<>>是什么意思? - java
This question already has answers here: Closed 7 years ago. Possible Duplicate: What does >> and >>> mean in Java?我在一些Java代码中遇到了一些陌生的符号,尽管代码可以正确编译和运行,但对于括号在此代码中的作用却感…菱形运算符<>是否等于 - java
我在util.TreeSet类中发现,其中一个构造函数正在使用具有空泛型类型的新TreeMap调用另一个构造函数。 public TreeSet(Comparator super E> comparator) { this(new TreeMap<>(comparator)); } new TreeMap<>是什么意思…休眠映射> - java
我有以下表格:@Entity @Table(name = "events") Event --id --name @Entity @Table(name = "state") State --id --name @Entity @Table(name = "action") Action --id …