feifeileill的博客

将filebeat收集的日志数据，接入pyspark进行更多处理，最后存入ES便于数据分析。

mysql安装、mysql中文乱码问题、mysql对接结构化流、kafka读取为结构化流并写入mysql

报错：java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.kafka010.KafkaSourceProvider could not be instantiated解决：使用kafka2.11版本以及spark-sql-kafka-0-10_2.12-2.4.1.jar

本学习笔记提供spark+python的local和yarn两种部署模式的讲解及使用示例。spark-local仅用1台虚拟机。spark on yarn仅需1台安装spark（用于任务提交yarn）的虚拟机，全部虚拟机需要配好hadoop完全分布式集群及python环境。

hadoop2.7.7+spark2.4.3+idea2020.1.4搭建完全分布式集群，实现MR和Spark（基于scala）的简单使用，即以wordcount为例。可以作为初学MR分析和Spark分析的入门练习。