厦门租房信息分析展示(pycharm+python爬虫+pyspark+pyecharts)(踩坑记录)
项目地址http://dblab.xmu.edu.cn/blog/2307/
踩坑:
-
Spark分析文件rent_analyse.py
-
改变Spark读取csv文件的写法
sparkContext = SparkContext("local","rent_analyse") sqlContext = SQLContext(sparkContext) df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load(filename)
-
原写法会报连接错误,同时在读取csv文件时需要添加format参数,否则又会报错
-
在读取csv文件时文件路径需要加上file:///,如:
"file:///develop/sparkSpace/rent.csv"
-
如果文件参数默认为文件名,则Spark会到Hadoop的文件系统里读取数据,路径为:
"hdfs://localhost:9000/user