u013250861的博客

大数据-计算引擎-Spark：SparkStreaming【用于实时分析】

数值最优化方法01

Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架 Spark 呢，这里就不得不提到 Spark 和 Hadoop 的关系。➢ Hadoop➢ Spark➢ Hadoop➢ Spark由上面的信息可以获知，Spark 出现的时间相对较晚，并且主要功能主要是用于数据计算，所以其实 Spark 一直被认为是 Hadoop 框架的升级版。Hadoop 的 MR 框架和 Spark 框架

大数据-计算引擎：Spark安装与配置【Local模式】

大数据-计算引擎-Spark：Spark编程

Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某

具体可以理解为spark通过sparkSQL使用hive语句操作hive表，底层运行的还是sparkRDD，hive只作为存储角色，spark 负责sql解析优化，底层运行的还是sparkRDD。1.通过sparkSQL，加载Hive的配置文件，获取Hive的元数据信息。hive既作为存储又负责sql的解析优化，spark负责执行。2.获取到Hive的元数据信息之后可以拿到Hive表的数据。这里Hive的执行引擎变成了spark，不再是MR。3.通过sparkSQL来操作Hive表中的数据。

自动判断各个csv文件字段的数据类型生成parquet文件（inferSchema=‘True’）需要自己判断数据的格式然后自定义schema。

PySpark的存储不同格式文件，如：存储为csv格式、json格式、parquet格式、compression格式、tablefrom。

对策Python的安装目录里面复制python.exe，并改名为python3.exe。