- 博客(3)
- 收藏
- 关注
RSS订阅原创 centos 7 下 spark 安装(python)
1.python 安装2.jdk 安装3.下载spark：http://spark.apache.org/downloads.html, 用最新版（spark-2.2.0-bin-hadoop2.7.tar),解压到合适的目录，我放在了/srv/下4.配置环境变量export SPARK_HOME=/srv/spark-2.2.0-bin-hadoop2.7export PA
2017-11-14 10:47:56
1149
原创 spark sql + postgres 实现数据库计算
spark sql + postgres 实现数据库计算：from pyspark import SparkContext,SparkConffrom pyspark.sql import SQLContextfrom pyspark.sql.types import Row, StructField, StructType, StringType, Int
2017-11-14 10:16:18
3195
原创 spark + psycopg2+postgre 实现insert update 功能
spark sql 主要是想了select 功能，不具备insert, update 功能，本文实现用spark + psycopg2对postgre 数据库进行insert update计算，代码部分已进行了详细的说明:import psycopg2import psycopg2.extrasfrom pyspark import SparkContext,SparkConf
2017-11-14 10:06:12
1250
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人