斜照却相迎的博客

文章目录Spark Streming使用Spark安装Spark Streaming简介实现WordCount编写程序注意事项扩展(统计包含历史信息)Spark Streming使用本文使用的是PySpark，但如果用scala本质思想是一致的，只是语言不同。参考的是子雨老师的教程——子雨大数据之Spark入门教程(Python版)Spark安装PySpark版本参考Spark2.1.0+入门：Spark的安装和使用(Python版)scala版本参考hadoop2.7.7+spark集群搭建

转载自：Paxos实现日志复制同步（Multi-Paxos)

hadoop+spark集群搭建文章目录hadoop+spark集群搭建1、版本介绍2、安装java3、Hadoop配置3.1、解压文件3.2、配置环境变量4.Hadoop伪分布4.1 配置IP映射：4.2 免密登录：4.3 修改Hadoop配置文件：4.3.1 core-site.xml4.3.2 hdfs-site.xml4.3.3 mapred-site.xml4.3.4 yarn-site.xml4.4 启动Hadoop4.4.1 创建目录：4.4.2 格式化4.4.3 启动HDFS4.4.4 启