pyspark 学习 Tips

注意在pyspark中，要加载本地文件，必须采用“file:///”开头的这种格式执行第一条命令以后，并不会马上显示结果，因为，Spark采用惰性机制，只有遇到“行动”类型的操作，才会从头到尾执行所有操作。所以，下面我们执行一条“行动”类型的语句，就可以看到结果

eg:

1  lines = sc.textFile('file:///usr/local/spark/mycode/rdd/word.txt')      
2  lines.first() 

 

执行：

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic wordsendertest --from-beginning
报错提示：

zookeeper is not a recognized option

修改命令为：

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic wordsendertest --from-beginning

转载于:https://www.cnblogs.com/Ray-Lei/p/9842563.html