SPark计算算子以及liunx中一些小细节

Spark -map算子

map算子：

object Spark01_Oper {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[*]").setAppName("Value")
    val cs = new SparkContext(conf)

    val make = cs.makeRDD(1 to 10)
    //map算子
    val mapRdd = make.map(x => x * 2)
    mapRdd.collect().foreach(println)
  }
}

map 算子是一个一个的去计算传入的所有分区中的数据。

mapPartRdd算子

object Spark02_OPer {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[*]").setAppName("mapPart")
    val sc = new SparkContext(conf)

    //map算子
    val list = sc.makeRDD(1 to 10)
    val mapPartRdd = list.mapPartitions(datas => {datas.map(data => data*2)})
    mapPartRdd.collect().foreach(println)
  }

}

mapPartRdd 算子 类似于map但是他是以分区来进行数据计算的，而他在进行计算时的输出值是一个列表

mapPartitionsWithIndex算子

object Spark03_OPer {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[*]").setAppName("With")
    val sc = new SparkContext(conf)
    val list = sc.makeRDD(1 to 10,2)
    val indexRDD = list.mapPartitionsWithIndex {
      case (num, datas) => {
        datas.map((_,"分区号:"+num))
      }
    }
    indexRDD.collect().foreach(println)
  }
}

mapPartitionsWithIndex算子类似于mapPartiyions但是在func会带有一个表示分区的索引值，所以func的函数类似会多一个 Int。

spark的可能出现的问题：

因为每次计算数据都会生产新的数据出现但是没有进行删除，一直累积就会造成内存溢出的（OOM）

Driver与Executor的区别

Driver：

Driver只要创建了Spark上下文对象的类都可以说是Driver，Driver是Spark中Application也即代码的发布程序，可以理解为我们编写spark代码的主程序，其次他还负责Executor的进行任务分配，Driver只能存在一个

Executor:

Executor是Spark中负责资源计算的，他可以存在多个。

区别：

Drvier像一个老大，而Executor是Driver的手下，Driver负责将任务分配给Executor来进行执行。

Linux拾遗

linux的开关机方法

1.关机： shutdown -h 重启：shutdown -r

2.关机： inti -0 重启： init -6

3.关机: poweroff 重启:reboot

service 与systemctl的区别

service：

可以启动、停止、重新启动和关闭系统服务，还可以显示所有系统服务的当前状态，service命令的作用是去/etc/init.d目录下寻找相应的服务，进行开启和关闭等操作

systemctl：

是一个systemd工具，主要负责控制systemd系统和服务管理器，是service和chkconfig 命令的组合

网络设备的操作：

环境变量加载顺序