1、首先用命令启动hadoop:start-all.cmd。在hadoop下的sbin文件夹。
2、hadoop fs -put D:/pf/bigdata/hadoopdata/test /test
3、访问http://localhost:50070/explorer.html#
可以看到数据已经上传到hdfs中。
4、执行相应的代码。
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
spark.read.csv('hdfs://localhost:9000/test/testcsv.csv', header=True).show()
注意这里是9000端口,不是8020.这里跟你core_site.xml配置的端口相同。
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>