Spark读取文件系统的数据

（1）在pyspark中读取Linux系统本地文件“/home/hadoop/test.txt”（如果该文件不存在，请创建并自由添加内容），然后统计出文件的行数；

cat /home/hadoop/test.txt
pyspark
lines = sc.textFile("file:///home/hadoop/test.txt")
line_count = lines.count()
print("Line count:", line_count)

 

（2）在pyspark中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请创建并自由添加内容），然后统计出文件的行数；

hadoop fs -cat /user/hadoop/test.txt
pyspark
lines = sc.textFile("hdfs:///user/hadoop/test.txt")
line_count = lines.count()
print("Line count:", line_count)

（3）编写独立应用程序，读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请创建并自由添加内容），然后统计出文件的行数；通过 spark-submit 提交到 Spark 中运行程序。

cd /opt/module/spark-3.0.3-bin-without-hadoop/mycode/
touch File_Count.py
vim File_Count.py
from pyspark import SparkConf,SparkContext
conf = SparkConf().setMaster("local").setAppName("File Count")
sc = SparkContext(conf = conf)
lines = sc.textFile("hdfs:///user/hadoop/test.txt")
line_count = lines.count()
print("Line count:", line_count)
sc.stop()
spark-submit File_Count.py

 

 

 

容易遇到的问题：

1.通过spark-sumbit运行程序时，会产生很多其他信息，执行结果会与其他信息混合在一起显示。可以通过修改log4j的日志显示级别，设置不显示INFO级别的信息，只输出自己的控制台输出的信息。

2.如果不想使用spark-submit提交，而尝试使用python运行程序时，显示no moudle named pyspark，这时需要vim ~/.bashrc配置环境变量，配置PYTHONPATH环境变量用来在python中引入pyspark库，PYSPARK_PYTHON变量用来设置pyspark运行的python版本，要特别注意/opt/module/spark-3.0.3-bin-without-hadoop/python/lib目录下的py4j-0.10.9-src.zip文件名，在PYTHONPATH的设置中需要使用。