yanpenggong的博客

Spark的设计目的之一就是使程序编写更快更容易，这也是Spark选择Scala的原因所在。总体而言，Scala具有以下突出的优点：- Scala具备强大的并发性，支持函数式编程，可以更好地支持分布式系统；- Scala语法简洁，能提供优雅的API；- Scala兼容Java，运行速度快，且能融合到Hadoop生态圈中。

pyspark写数据到 hbase2.* 的神坑解析1. 问题阐述找不到方法: org.apache.hadoop.hbase.client.Put.add([B[B[B)Lorg/apache/hadoop/hbase/client/Putjava.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Put.add([B[B[B)Lorg/apache/hadoop/hbase/client/Put; at org.apach

1、问题出现：py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.关于windows10下使用jupyter notebook时，对于pyspark版本只能取其spark2.3.2版本，具体简单demo如下:...

使用python在调用集群跑数据之后，数据以pandas计算，输出的结果保存到hive数据库中，最老套的办法。(注意：这里的spark版本是1.6)步骤：from pyspark.sql import HiveContextfrom pyspark import SparkConf, SparkContextfrom pyspark.sql import functionsconf =...