pyspark读取win10上的hdfs中的csv数据。

1、首先用命令启动hadoop：start-all.cmd。在hadoop下的sbin文件夹。

2、hadoop fs -put D:/pf/bigdata/hadoopdata/test /test

3、访问http://localhost:50070/explorer.html#

可以看到数据已经上传到hdfs中。

4、执行相应的代码。

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
    
spark.read.csv('hdfs://localhost:9000/test/testcsv.csv', header=True).show()

注意这里是9000端口，不是8020.这里跟你core_site.xml配置的端口相同。

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>