Spark
文章平均质量分 80
基于python的大数据实战
Javy Wang
学无止境 气有浩然
展开
-
Spark DataFrame 添加索引列的三种方法
Spark DataFrame 添加索引列的两种方法刚开始用Spark,操作dataframe不是很熟练,遇到的第一个问题是给dataframe添加索引列,查阅了网上的一些教程,大都是用Scala语言编写的代码,下面给出自己用python写的三种方法。方法一:先创建Pandas版本的dataframe,然后带索引保存为本地文件,再用SparkSession来创建DataFrame。方法二:...原创 2018-10-25 21:39:22 · 20318 阅读 · 5 评论 -
远程Spark+Python+Pycharm操作指南
首先说明一下,本文适合Windows系统远程登录Ubuntu服务器,使用Pycharm编写Spark应用程序。操作过程参考了很多网上教程,链接都在文中给出。1. 准备工作1.1 安装MobaXterm这是一款很适合Windows系统的远程控制工具,具体介绍和使用可以参考这篇文章。1.2 安装Hadoop参考教程,里面包含了Hadoop和JDK的安装和使用的详细步骤。1.3 安装spar...原创 2018-10-24 20:23:01 · 1587 阅读 · 0 评论 -
Ubuntu: Failed to initialize compiler: object java.lang.Object in compiler mirror not found问题解决
好久没有用spark了,今天远程登录Ubuntu系统,执行 ./spark-shell 报错 “Failed to initialize compiler: object java.lang.Object in compiler mirror not found.”,网上查了下说是Java版本不匹配,奇怪,之前一直好好的怎么就不匹配了。看了下Java安装版本,没有问题,于是查了下 ~/.bars...原创 2019-01-06 01:33:32 · 4677 阅读 · 0 评论 -
Scala: Compile server encountered fatal condition: java.nio.ByteBuffer.clear()Ljava/nio/ByteBuffer问题
试图按照http://dblab.xmu.edu.cn/blog/971-2/里面的教程编译Scala代码时,出现报错:hadoop@ubun:/usr/local/spark/code/wjw/wordcount$ scala test.scalaerror: Compile server encountered fatal condition: java.nio.ByteBuffer.cl...原创 2019-01-06 11:01:35 · 6019 阅读 · 1 评论