pyspark 记录

最新推荐文章于 2021-03-12 18:39:57 发布
最新推荐文章于 2021-03-12 18:39:57 发布
阅读量230 收藏
点赞数
文章标签： 大数据 json
原文链接：http://www.cnblogs.com/sandy-t/p/10009994.html
版权 
import os
import sys
spark_name = os.environ.get('SPARK_HOME',None)
if not spark_name:
    raise ValueErrorError('spark环境没有配置好')
sys.path.insert(0,os.path.join(spark_name,'python'))
sys.path.insert(0,os.path.join(spark_name,'python/lib/py4j-0.10.4-src.zip'))
import pyspark
from pyspark import SparkConf
from pyspark.context import SparkContext
from pyspark.sql import SparkSession, SQLContext
sc = SparkContext(appName="MyProject")

yarn 模式报No module named pyspark

## 初始化 SparkContext
from pyspark import SparkConf,SparkContext
conf = (SparkConf()
        .setMaster('local[20]')
       .setAppName('my spark app')
       .set("spark.executor.memory",'10g'))
sc = SparkContext(conf=conf)
# 或者
sc = SparkContext(appName="my spark app",master='local')
## 打印 SparkContext 相关信息
print(sc.version)
print(sc.pythonVer)
print(sc.master)
print(sc.sparkHome)
print(sc.sparkUser())
print(sc.appName)
print(sc.applicationId)
print(sc.defaultParallelism)
print(sc.defaultMinPartitions)

RDD 操作

查看基础统计信息

rdd = sc.parallelize([('a',1),('b',4),('a',5)])
print(rdd.getNumPartitions())
print(rdd.count())
print(rdd.countByKey())
print(rdd.countByValue())
print(rdd.collectAsMap())
1
3
defaultdict(<class 'int'>, {'a': 2, 'b': 1})
defaultdict(<class 'int'>, {('a', 1): 1, ('b', 4): 1, ('a', 5): 1})
{'a': 5, 'b': 4}
## 对一维RDD
rdd = sc.parallelize([random.randint(0,20) for i in range(10)])
print(rdd.collect())
print(sorted(rdd.collect()))
print(rdd.max())
print(rdd.min())
print(rdd.mean())
print(rdd.stdev())
print(rdd.stats())
print(rdd.histogram(3))
[20, 3, 7, 19, 7, 20, 20, 5, 16, 2]
[2, 3, 5, 7, 7, 16, 19, 20, 20, 20]
20
2
11.9
7.327346040688948
(count: 10, mean: 11.9, stdev: 7.327346040688948, max: 20.0, min: 2.0)
([2, 8, 14, 20], [5, 0, 5])

应用函数

import random
file_name = path + 'data_random'
data_random = [[random.randint(0,20) for j in range(5)] for i in range(3)]
rdd = sc.parallelize(data_random)
rdd1 = rdd.map(lambda x:sorted(x))
print(rdd1.collect())
rdd2 = rdd.flatMap(lambda x:sorted(x))   
print(rdd2.collect())
[[0, 5, 8, 13, 20], [0, 3, 3, 9, 11], [3, 4, 7, 11, 17]]
[0, 5, 8, 13, 20, 0, 3, 3, 9, 11, 3, 4, 7, 11, 17]
rdd = sc.parallelize([('a',[3,4,5,6]),('b',[11,22,33,44]),('a',[1111,2222])]) ## 注意这里是tuple（）
rdd1 = rdd.mapValues(lambda x:len(x))
print(rdd1.collect())
print(rdd.reduceByKey(lambda x,y:x+y).collect())
# groupByKey()：应用于(K,V)键值对的数据集时，返回一个新的(K, Iterable)形式的数据集
print(rdd.reduce(lambda x,y:x+y))  ##　tuple的加法
[('a', 4), ('b', 4), ('a', 2)]
[('a', [3, 4, 5, 6, 1111, 2222]), ('b', [11, 22, 33, 44])]
('a', [3, 4, 5, 6], 'b', [11, 22, 33, 44], 'a', [1111, 2222])
rdd = sc.parallelize([i for i in range(10)])
print(rdd.collect())
print(rdd.reduce(lambda x,y:x+y))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
45
rdd = sc.parallelize([i for i in range(5)])
print(rdd.collect())
print(rdd.keyBy(lambda x:chr(ord('a')+x)).collect()) ##给每个元素添加key
[0, 1, 2, 3, 4]
[('a', 0), ('b', 1), ('c', 2), ('d', 3), ('e', 4)]

选择数据

data_random = [[random.randint(0,20) for j in range(5)] for i in range(3)]
rdd = sc.parallelize(data_random)
print(rdd.collect())
print(rdd.first()) ## 返回第一个元素
print(rdd.take(2)) ## 以list形式返回前俩个元素
print(rdd.top(2)) 
[[2, 10, 8, 15, 8], [7, 5, 6, 17, 0], [18, 17, 7, 9, 13]]
[2, 10, 8, 15, 8]
[[2, 10, 8, 15, 8], [7, 5, 6, 17, 0]]
[[18, 17, 7, 9, 13], [7, 5, 6, 17, 0]]
## 抽样
data_random = [[random.randint(0,20) for j in range(5)] for i in range(100)]
rdd = sc.parallelize(data_random)
print(rdd.count())
rdd_sample = rdd.sample(withReplacement=False,fraction=0.3,seed=123)
print(rdd_sample.count())
100
31
## 过滤(返回满足条件的元素)
rdd = sc.parallelize([random.randint(0,10) for i in range(20)])
print(rdd.collect())
rdd_filtered = rdd.filter(lambda x:ｘ>5)
print(rdd_filtered.collect())
[7, 10, 0, 4, 1, 5, 7, 2, 4, 2, 10, 2, 9, 10, 6, 5, 8, 0, 5, 2]
[7, 10, 7, 10, 9, 10, 6, 8]
## 得到不同元素
rdd = sc.parallelize([1,2,3,4,5,6,1,2,3,4,5])
print(rdd.collect())
print(rdd.distinct().collect())
[1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5]
[1, 2, 3, 4, 5, 6]
rdd = sc.parallelize([('a',[3,4,5,6]),('b',[11,22,33,44]),('a',[1111,2222])])
print(rdd.keys().collect())
print(rdd.values().collect())
['a', 'b', 'a']
[[3, 4, 5, 6], [11, 22, 33, 44], [1111, 2222]]

聚合

rdd = sc.parallelize([i for i in range(50)])
rdd_groupby = rdd.groupBy(lambda x: x % 3)
print(rdd_groupby.collect())
print(rdd_groupby.mapValues(list).collect())
print(rdd_groupby.map(lambda x:(x[0],list(x[1]))).collect())
[(0, <pyspark.resultiterable.ResultIterable object at 0x7f2359670be0>), (1, <pyspark.resultiterable.ResultIterable object at 0x7f2359670a58>), (2, <pyspark.resultiterable.ResultIterable object at 0x7f2359717be0>)]
[(0, [0, 3, 6, 9, 12, 15, 18, 21, 24, 27, 30, 33, 36, 39, 42, 45, 48]), (1, [1, 4, 7, 10, 13, 16, 19, 22, 25, 28, 31, 34, 37, 40, 43, 46, 49]), (2, [2, 5, 8, 11, 14, 17, 20, 23, 26, 29, 32, 35, 38, 41, 44, 47])]
[(0, [0, 3, 6, 9, 12, 15, 18, 21, 24, 27, 30, 33, 36, 39, 42, 45, 48]), (1, [1, 4, 7, 10, 13, 16, 19, 22, 25, 28, 31, 34, 37, 40, 43, 46, 49]), (2, [2, 5, 8, 11, 14, 17, 20, 23, 26, 29, 32, 35, 38, 41, 44, 47])]
from operator import add
sc.parallelize([1, 2, 3, 4, 5]).fold(0, add)
15
## 对分区分别处理
sc.parallelize([1,2,3,4]).aggregate(
  (0, 0),
  (lambda acc, value: (acc[0] + value, acc[1] + 1)),
  (lambda acc1, acc2: (acc1[0] + acc2[0], acc1[1] + acc2[1])))
(10, 4)
list(range(10))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
## 集合运算
rdd1 = sc.parallelize(list(range(10)))
rdd2 = sc.parallelize(list(range(5,15)))
rdd3 = rdd2.subtract(rdd1)  ## 返回rdd2和rdd1的差集
print(rdd3.collect())
[10, 12, 14, 11, 13]
rdd1 = sc.parallelize([('a',1),('b',2),('c',3)])
rdd2 = sc.parallelize([('a',1),('b',2),('d',4)])
rdd3 = rdd2.subtractByKey(rdd1)  ## 根据key计算差集
print(rdd3.collect())
[('d', 4)]
rdd1 = sc.parallelize(list(range(3)))
rdd2 = sc.parallelize(list(range(5,8)))
rdd3 = rdd1.cartesian(rdd2) ## 笛卡尔积
print(rdd3.collect())
[(0, 5), (0, 6), (0, 7), (1, 5), (1, 6), (1, 7), (2, 5), (2, 6), (2, 7)]
##将rdd重新分区
rdd = rdd.repartition(4)  # 需要重新赋值
rdd = rdd.coalesce(2) ##  # 需要重新赋值
print(rdd.getNumPartitions())
2
## 保存
rdd.saveAsTextFile(path)
rdd.saveAsHadoopFile(path)
...

DataFrame

from pyspark.sql import SparkSession
spark = SparkSession(sc)
##　从rdd创建df
from pyspark.sql.types import *
from pyspark.sql import Row
##从rdd推断schema
rdd = sc.parallelize([[i,chr(i+97)] for i in range(5)])
print(rdd.collect())
rdd = rdd.map(lambda x:Row(No=x[0],char=x[1]))
print(rdd.collect())

df = spark.createDataFrame(rdd)
df.show()
[[0, 'a'], [1, 'b'], [2, 'c'], [3, 'd'], [4, 'e']]
[Row(No=0, char='a'), Row(No=1, char='b'), Row(No=2, char='c'), Row(No=3, char='d'), Row(No=4, char='e')]
+---+----+
| No|char|
+---+----+
|  0|   a|
|  1|   b|
|  2|   c|
|  3|   d|
|  4|   e|
+---+----+
## 指定schema
rdd = sc.parallelize([Row(No=i,char=chr(i+97)) for i in range(5)])
print(rdd.collect())
schema_list = ['No','char']
fields = [StructField(name='No',dataType=IntegerType(),nullable=True),
          StructField(name='char',dataType=StringType(),nullable =True)]
schema = StructType(fields)
df = spark.createDataFrame(rdd)
df.show()
[Row(No=0, char='a'), Row(No=1, char='b'), Row(No=2, char='c'), Row(No=3, char='d'), Row(No=4, char='e')]
+---+----+
| No|char|
+---+----+
|  0|   a|
|  1|   b|
|  2|   c|
|  3|   d|
|  4|   e|
+---+----+
##保存dataframe到文件
df.select('*').write.save(path+'df.parquet')
df.select('*').write.save(path+'df.json',format='json')
##从spark文件读入
df=spark.read.load(path+"df.parquet")
print(df.show())
df=spark.read.load(path+"df.json",format='json')
print(df.show())
df=spark.read.json(path+'df.json')
print(df.show())
+---+----+
| No|char|
+---+----+
|  0|   a|
|  1|   b|
|  2|   c|
|  3|   d|
|  4|   e|
+---+----+

None
+---+----+
| No|char|
+---+----+
|  0|   a|
|  1|   b|
|  2|   c|
|  3|   d|
|  4|   e|
+---+----+

None
+---+----+
| No|char|
+---+----+
|  0|   a|
|  1|   b|
|  2|   c|
|  3|   d|
|  4|   e|
+---+----+

None
## 检查dataframe数据
print(df.dtypes)
print(df.schema)
print(df.show())
print(df.first())
print(df.take(1))
print(df.describe().show())
[('No', 'bigint'), ('char', 'string')]
StructType(List(StructField(No,LongType,true),StructField(char,StringType,true)))
+---+----+
| No|char|
+---+----+
|  0|   a|
|  1|   b|
|  2|   c|
|  3|   d|
|  4|   e|
+---+----+

None
Row(No=0, char='a')
[Row(No=0, char='a')]
+-------+------------------+----+
|summary|                No|char|
+-------+------------------+----+
|  count|                 5|   5|
|   mean|               2.0|null|
| stddev|1.5811388300841898|null|
|    min|                 0|   a|
|    max|                 4|   e|
+-------+------------------+----+

None
print(df.columns)
print(df.count())
print(df.distinct().count())
print(df.printSchema())
print(df.explain())  ##
['No', 'char']
5
5
root
 |-- No: long (nullable = true)
 |-- char: string (nullable = true)

None
== Physical Plan ==
*FileScan json [No#1051L,char#1052] Batched: false, Format: JSON, Location: InMemoryFileIndex[afs://baihua.afs.baidu.com:9902/user/fpd_dm/tangshengyu/spark/df.json], PartitionFilters: [], PushedFilters: [], ReadSchema: struct<No:bigint,char:string>
None

dataframe查询

## select
from pyspark.sql import functions as F 
rdd = sc.parallelize([Row(No=1,char='a',values=[1,2]),Row(No=2,char='b',values=[1,4])])
df = spark.createDataFrame(rdd)
print(df.select('No').show())
print(df.select('No','char',F.explode('values').alias('value')).show()) ## 将聚合的列展开
print(df.select(df['No']+1,df['char']).show()) ## 对整列进行运算
+---+
| No|
+---+
|  1|
|  2|
+---+

None
+---+----+-----+
| No|char|value|
+---+----+-----+
|  1|   a|    1|
|  1|   a|    2|
|  2|   b|    1|
|  2|   b|    4|
+---+----+-----+

None
+--------+----+
|(No + 1)|char|
+--------+----+
|       2|   a|
|       3|   b|
+--------+----+

None
print(df.select(df['No']>1).show())   ## 条件查询
print(df.select('No','char',F.when(df.char=='a',1).otherwise(0).alias('is a')).show()) ## 根据已有列产生新列
print(df[df.char.isin('a')].show()) ##条件查询
print(df.select('No',df.char.like('a')).show()) ## 根据已有列产生新列
+--------+
|(No > 1)|
+--------+
|   false|
|    true|
+--------+

None
+---+----+----+
| No|char|is a|
+---+----+----+
|  1|   a|   1|
|  2|   b|   0|
+---+----+----+

None
+---+----+------+
| No|char|values|
+---+----+------+
|  1|   a|[1, 2]|
+---+----+------+

None
+---+-----------+
| No|char LIKE a|
+---+-----------+
|  1|       true|
|  2|      false|
+---+-----------+

None
print(df.select('No',df.char.startswith('a')).show()) ## 以指定字符开始
print(df.select('No',df.char.endswith('b')).show())
+---+-------------------+
| No|startswith(char, a)|
+---+-------------------+
|  1|               true|
|  2|              false|
+---+-------------------+

None
+---+-----------------+
| No|endswith(char, b)|
+---+-----------------+
|  1|            false|
|  2|             true|
+---+-----------------+

None
rdd = sc.parallelize([Row(No=1,char='aaaaa',values=[1,2]),Row(No=2,char='bbbbb',values=[1,4])])
df = spark.createDataFrame(rdd)
print(df.select('No',df.char.substr(1,3)).show())
print(df.select(df.No.between(0,1)).show())
+---+---------------------+
| No|substring(char, 1, 3)|
+---+---------------------+
|  1|                  aaa|
|  2|                  bbb|
+---+---------------------+

None
+-------------------------+
|((No >= 0) AND (No <= 1))|
+-------------------------+
|                     true|
|                    false|
+-------------------------+

None
## 增加列
df = df.withColumn('new_col',df.char)
print(df.show())
df = df.withColumnRenamed('new_col','renamed_col')
print(df.show())
+---+-----+------+-------+
| No| char|values|new_col|
+---+-----+------+-------+
|  1|aaaaa|[1, 2]|  aaaaa|
|  2|bbbbb|[1, 4]|  bbbbb|
+---+-----+------+-------+

None
+---+-----+------+-----------+
| No| char|values|renamed_col|
+---+-----+------+-----------+
|  1|aaaaa|[1, 2]|      aaaaa|
|  2|bbbbb|[1, 4]|      bbbbb|
+---+-----+------+-----------+

None
## 删除列
df = df.drop("renamed_col")
print(df.show())
df = df.drop(df.values)
print(df.show())
+---+-----+------+
| No| char|values|
+---+-----+------+
|  1|aaaaa|[1, 2]|
|  2|bbbbb|[1, 4]|
+---+-----+------+

None
+---+-----+
| No| char|
+---+-----+
|  1|aaaaa|
|  2|bbbbb|
+---+-----+

None
## groupby
rdd = sc.parallelize([Row(No=1,char='aaaaa',values=[1,2]),
                      Row(No=2,char='bbbbb',values=[1,4]),
                      Row(No=1,char='ccccc',values=[3,5])])
df = spark.createDataFrame(rdd)
print(df.groupBy('No').count().show())  # 区别？
print(df.groupby('No').count().show())  # 区别？
+---+-----+
| No|count|
+---+-----+
|  1|    2|
|  2|    1|
+---+-----+

None
+---+-----+
| No|count|
+---+-----+
|  1|    2|
|  2|    1|
+---+-----+

None
print(df.filter(df.No>1).show())
+---+-----+------+
| No| char|values|
+---+-----+------+
|  2|bbbbb|[1, 4]|
+---+-----+------+

None
## sort
print(df.sort(df.No.desc()).show())  ## 降序， 升序是asc
print(df.orderBy(['No','char'],asciiending=[1,1]).show())  ## 
+---+-----+------+
| No| char|values|
+---+-----+------+
|  2|bbbbb|[1, 4]|
|  1|aaaaa|[1, 2]|
|  1|ccccc|[3, 5]|
+---+-----+------+

None
+---+-----+------+
| No| char|values|
+---+-----+------+
|  1|aaaaa|[1, 2]|
|  1|ccccc|[3, 5]|
|  2|bbbbb|[1, 4]|
+---+-----+------+

None
##  值替换和缺失值填充
rdd = sc.parallelize([Row(No=1,char='aaaaa',values=[1,2]),
                      Row(No=2,char='bbbbb',values=[1,4]),
                      Row(No=1,char='ccccc',values=[3,5])])
df = spark.createDataFrame(rdd)
print(df.show())
print(df.na.fill('eeee').show())
print(df.na.drop().show())  ## 删除有空值的行
print(df.na.replace(1,10).show()) ## 对指定值进行替换
+---+-----+------+
| No| char|values|
+---+-----+------+
|  1|aaaaa|[1, 2]|
|  2|bbbbb|[1, 4]|
|  1|ccccc|[3, 5]|
+---+-----+------+

None
+---+-----+------+
| No| char|values|
+---+-----+------+
|  1|aaaaa|[1, 2]|
|  2|bbbbb|[1, 4]|
|  1|ccccc|[3, 5]|
+---+-----+------+

None
+---+-----+------+
| No| char|values|
+---+-----+------+
|  1|aaaaa|[1, 2]|
|  2|bbbbb|[1, 4]|
|  1|ccccc|[3, 5]|
+---+-----+------+

None
+---+-----+------+
| No| char|values|
+---+-----+------+
| 10|aaaaa|[1, 2]|
|  2|bbbbb|[1, 4]|
| 10|ccccc|[3, 5]|
+---+-----+------+

None
## 分区相关
print(df.repartition(3).rdd.getNumPartitions())
print(df.coalesce(1).rdd.getNumPartitions())
3
1
## 用SQL进行操作
## 建立视图
#df.createGlobalTempView('demo') #across spark sessions
df.createOrReplaceTempView('demo') # spark session lifetime
#df.createTempView('demo')
spark.sql("select * from demo").show()
+---+-----+------+
| No| char|values|
+---+-----+------+
|  1|aaaaa|[1, 2]|
|  2|bbbbb|[1, 4]|
|  1|ccccc|[3, 5]|
+---+-----+------+
##　转其它数据
df.toJSON()
df.toPandas()
df.rdd.take(1)
# 终止会话
spark.stop()

pipline for model

转载于:https://www.cnblogs.com/sandy-t/p/10009994.html

dfciw9355481
关注
pySpark学习记录与hadoop
NLP与推荐算法
09-03 1326
hi，看了这个博文感觉路唇不对马嘴？？其实是源于看别人写的shell脚本，而这个脚本是为pySpark服务的，所以先了解点shell脚本的东西，下面开始正题了。 首先依旧是hadoop命令，对hdfs文件的操作。 For Video Recommendation in Deep learning QQ Group 277356808 视频推荐深度学习加这个群 For Visual in deep learning QQ Group629530787 视觉深度学习加这个，别加错 I'm here.
PySpark-报错记录
qq_38482061的博客
08-27 632
1. 报错 org.apache.spark.SparkException: Python worker failed to connect back.2. 报错 TypeError: SparkConf.setMaster() missing 1 required positional argument: 'value'
pyspark前言说明
just C/C++
02-13 241
更多信息https://blue-shadow.top/ 书籍<<Python在大数据平台的应用>> 更多信息请关注本书附书代码:附书代码Github工程:https://github.com/Shadow-Hunter-X 主要内容说明 主要按以下3个大点进行说明，也符合进行操作过程种的步骤，读取数据-操作数据-分析保存数据. 总结起来就是：从哪里获取数据 ； 如何操作数...
PySpark机器学习（1）——随机森林
FlySky1991的专栏
04-23 2422
本文主要在PySpark环境中实现随机森林算法：%pyspark from pyspark.ml.linalg import Vectors from pyspark.ml.feature import StringIndexer from pyspark.ml.classification import RandomForestClassifier from pyspark.sql impor...
Spark之pyspark转换函数
TSzero的博客
03-12 510
本文列举5个常见的RDD转换操作： 操作 含义 filter(func) 筛选出满足函数func的元素，并返回一个新的数据集 map(func) 将每个元素传递到函数func中，并将结果返回一个新的数据集 flatMap(func) 与map类似，但每个输入元素都可以映射到0个或多个输出结果 groupByKey() 应用于(K, V)键值对的数据集时，返回一个新的(K, Iterable)形式的数据集 reduceByKey(func) 应用于(K, V
pyspark入门---机器学习实战预测婴儿出生率（一）使用MLlib库
05-13 3992
机器学习实战预测婴儿出生率1.加载数据2.数据的探索:特征相关性3.统计校验4.创建最后的待训练数据集5.划分训练集和测试集6.开始建模7.Logistic 回归模型8.选取出最具代表性的分类特征9.随机森林模型 机器学习是通过算法对训练数据构建出模型并对模型进行评估，评估的性能如果达到要求就拿这个模型来测试其他的数据，如果达不到要求就要调整算法来重新建立模型，再次进行评估，如此循环往复，最终获得满意的经验来处理其他的数据的过程。 简单点讲，机器学习就是通过一定的模型，让计算机可以从大量的数据中学习到相关的
Spark sql 常见问题及优化
Jhon_yh的博客
03-16 3503
目录数据倾斜1.null值的处理2.持续整理中... 数据倾斜 1.null值的处理 INSERT OVERWRITE TABLE tf_lte_prd_pd_inst_month PARTITION (month_id) SELECT prvnce_id, std_prvnce_cd ,... FROM ( SELECT '${V_DATE}' month_id ,..., C...
PySpark-Boilerplate:编写PySpark作业的样板
05-17
- **RDD（弹性分布式数据集）**: PySpark的核心数据结构，是不可变、分区的记录集合，可以在集群中并行操作。 - **DataFrame**: 基于Spark SQL，提供了更高级别的抽象，类似于SQL表，支持多种数据类型和关系操作。 -...
PySpark数据分析和模型算法实战.pdf
最新发布
01-22
项目使用的数据集是`sparkify_event_data.json`的一个子集——`mini_sparkify_event_data.json`，包含了用户操作的日志记录，时间戳信息用于追踪用户行为。为了评估模型，选择了F1分数，它能平衡精确性和召回率，...
pyspark资源整理
08-09
最近在使用spark的过程中，发现自己对spark的包了解的不够，网上查也是这一点那一点的，所以自己整理的一张脑图，然后做了些实验，记录下来，上传到CSDN上需要的自取
pyspark 使用时环境设置
weixin_30675247的博客
08-05 269
在脚本中导入pyspark的流程 import os import sys spark_name = os.environ.get('SPARK_HOME',None) # SPARK_HOME即spark的安装目录，不用到bin级别，一般为/usr/local/spark if not spark_home: raise ValueErrorError('s...
林子雨-Spark入门教程(Python版)-学习笔记（二）
SummerHmh的博客
05-15 1847
第3章 Spark编程基础 从文件加载数据 从文件系统中加载数据创建RDD——textFile()方法，该方法把文件的URI作为参数 注意： （1）本地文件系统的路径，必须要保证在所有的worker节点上都有该文件。 （2）textFile()方法的输入参数，可以是文件名，也可以是目录，也可以是压缩文件等。比如，textFile(“/my/directory”), textFile(“/my/di...
Python 学习45
gy_334的博客
07-26 344
虚拟机  02 ---Hadoop 搭建--- 打开虚拟机,用xshell连接到我们创建的虚拟机,并以上次我们创建的hadoop用户下. 首先,我们创建一个文件夹opt:  mkdir opt 然后我们使用Ctrl+Alt+f   打开新建文件传输,将JDK上传到hadoop中. jdk下载链接: https://pan.baidu.com/s/1_DLHLweRQpoJLNUARx6O...
《Spark快速大数据分析》笔记Ch3 RDD编程
科研糖
09-08 696
Spark快速大数据分析-RDD编程：RDD基础、创建RDD、RDD操作、向Spark传递函数、常见的转化操作和行动操作、持久化（缓存）、总结。
Spark加载和保存数据
zhexiao
10-12 5679
支持的格式 文件系统：比如NFS, HDFS, S3, TEXT, JSON等 使用Spark SQL处理结构化数据：比如Json，APACHE HIVE等 键值对的数据库：比如CASSANDRA, HBASE, ELASTICSEARCH, JDBC等 文件系统下面是一些常见的，在spark中使用的文件系统： Text Files加载文件只需要调用textFile()这个函数即可。d = sc.
Python操作spark
名狱的博客
12-08 6721
本文的内容参考Spark编程基础(Python版) 厦门大学 林子雨 在学习下面之前最好先理解Python原生的map函数和reduce函数的作用 菜鸟教程Python map() 函数 >>> data = [1, 2, 3, 4, 5] >>> for i in map((lambda x: x+5), data): ... print(i) ... 6 7 8 9 10 菜鸟教程Python reduce() 函数 >>> from f
Spark读取不了本地文件&&Spark默认读取HDFS文件系统
Solar's Blog
01-23 6864
问题描述 In [10]: inputFile = "file:///home/learning-spark/files/ham.txt" In [11]: input = hiveCtx.read.json(inputFile) 19/01/23 17:12:51 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 3.0 (TID 21...
Spark RDD 创建（一）
weixin_30639719的博客
01-13 94
spark 官网apihttp://spark.apache.org/docs/1.6.0/programming-guide.html RDD两种创建方式： 1：SparkContext’s parallelize 常用于测试 2：读取 外部数据集 如本地文件(linux ,...)或HDFS文件系统 ，HBASE ,HIVE 等 数组创建RDD scala>v...
(译) pyspark.sql.DataFrame模块
cjhnbls的博客
02-07 6971
class pyspark.sql.DataFrame(jdf, sql_ctx) 分布式的列式分组数据集 (1.3版本新增) 一个DataFrame对象相当于Spark SQL中的一个关系型数据表,可以通过SQLContext中的多个函数生成,如下例: people = sqlContext.read.parquet("...") 创建了一个DataFrame后,可以用多种语言对Da
PySpark大数据案例分析：搜索记录日志处理
资源摘要信息:"该压缩文件名为search-log.zip，其中包含一个名为search_log.txt的文本文件，该文件记录了搜索行为的相关数据，具体包括搜索的时间和使用的关键词等信息。这些数据文件是用于练习和应用PySpark这一大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值