pyspark写入mysql内存溢出_小数据玩转pyspark（1）

sqoop：导入结构化数据

kafka：导入流式数据

HDFS：文件存储形式(数据存在Hadoop上是，存在HDFS)怎么访问呢？最传统的肯定是MR，后期有Hive(其实就是把MR通过sql转换了一下，Hive本身并没有存储功能，存储还是HDFS)，现在也可以用spark进行数据操作(spark SQL)，PIG是一种脚本式操作语言，可以直接操作HDFS

HBASE：键值对存储形式(MPP的数据库)

MR在计算的时候时间比较长，如果做交互式的想立即得到结果的不现实，所以只能做批处理

流式处理，spark\storm， spark streaming流式处理(秒级)

建模主要用的Spark: HDFS数据导入spark，这样可以享受内存级别的运算，如果是在HDFS上是在硬盘上运行，io比较多，数据挖掘的速度非常慢。

spark

spark是hadoop生态的重要一环，一般spark是建立在HDFS基础上，当然你也可以单机版直接运行。

spark批处理数据ETL性能比Hadoop的MR高100倍

中间数据在内存中，更高效、低延迟(但存在内存溢出问题)

机器学习——适合迭代多次，数据重复利用的场合

RDD:只读、可分区的分布式数据集。添加新列必须重新创建