2018年08月_tiantao2012

原创 spark job提交7

当task在executor上运行时最终会在taskrunner中调用execBackend.statusUpdate来向driver端发送状态更新\spark-master\core\src\main\scala\org\apache\spark\executor\CoarseGrainedExecutorBackend.scala直接调用driverRef.Send函数来发送消息 o...

2018-08-29 19:24:56 413

原创 git 删除远程tag

先切换到其他分支，然后就可以用下面的命令删除远程tag

2018-08-29 09:59:13 4785

原创 veth pair

veth pari是用于不同nerwork namespace间进行通信的方式。其代码在driver/net/veth.c中其入口函数如下：可以看出这是以模块的形参存在中的static __init int veth_init(void){ return rtnl_link_register(&veth_link_ops);}module_init(veth_init);...

2018-08-25 19:06:42 1080

原创 spark job提交6

driver端调用launchTasks来向worker节点中的executor发送启动任务命令spark-master\core\src\main\scala\org\apache\spark\scheduler\cluster\CoarseGrainedSchedulerBackend.scala private def launchTasks(tasks: Seq[Seq[Tas...

2018-08-22 10:52:14 402

原创 spark job提交5

最终调用makeOffers来让所有的task执行在work中的executorsspark-master\spark-master\core\src\main\scala\org\apache\spark\scheduler\cluster\CoarseGrainedSchedulerBackend.scala private def makeOffers() { // ...

2018-08-14 11:48:06 590

原创 spark job提交4

taskscheduler的submitTasks是通过TaskSchedulerImpl的submitTasks实现，stage由tasks组成，task被封装成taskset， override def submitTasks(taskSet: TaskSet) { val tasks = taskSet.tasks logInfo("Adding task set " ...

2018-08-13 14:43:26 314

原创 spark job提交3

在上一篇博文中有说到最后调用handlejobsubmitted中的submitStage来提交finalstagespark-master\spark-master\core\src\main\scala\org\apache\spark\scheduler\DAGScheduler.scala private def submitStage(stage: Stage) { va...

2018-08-10 08:59:05 422

原创 spark job提交2

private[scheduler] def handleJobSubmitted(jobId: Int, finalRDD: RDD[_], func: (TaskContext, Iterator[_]) => _, partitions: Array[Int], callSite: CallSite, listener: J...

2018-08-09 08:54:05 363

原创 spark job提交

当用户生成sparkcontext是，在读入文件，可以看出这里直接调用rdd的saveAsTextFilespark-master\spark-master\core\src\main\scala\org\apache\spark\api\java\JavaRDDLike.scaladef saveAsTextFile(path: String): Unit = {#触发rdd的a...

2018-08-08 09:23:28 803

原创 spark应用程序的提交

spark 应用提交流程\spark-master\spark-master\core\src\main\scala\org\apache\spark\deploy\SparkSubmit.scalaoverride def main(args: Array[String]): Unit = {#新建一个SparkSubmit 最后调用其doSubmit val submit = ...

2018-08-07 20:07:31 620

原创 signal的优先级高于系统调用

在进行系统调用时发生signal的情况下改怎么办呢？从kernel中信号量的处理函数do_signal中可以可以看到，通过in_syscall(regs)来判断发生signal的时候是否正在进行系统调用，如果是的话，则暂时忽略掉系统调用，等处理完信号量后再进行系统调用的过程static void do_signal(struct pt_regs *regs){ unsigned l...

2018-08-07 10:48:00 831

原创 sparkcontext中环境变量的读取和保存

sparkcontext的构造函数如下：可见sparkcontext使用sparkconf来读取设置的参数class SparkContext(config: SparkConf) extends Logging { // The call site where this SparkContext was constructed. private val creationSite: ...

2018-08-06 15:16:16 2818

原创 vdso支持四个系统调用

vdso的全称是virtual dynamic shared object的全称，比vsyscall 安全。从vsdo.lds.s中可以看到目前vsdo 支持下面四个系统调用/* * This controls what symbols we export from the DSO. */VERSION{ LINUX_2.6.39 { global: __kernel_rt...

2018-08-06 11:51:38 1120

原创每个cpu有一个16byte的中断栈

在arm64/kernel/irq.c中有为每个cpu定义一个16 byte的中断栈#ifdef CONFIG_VMAP_STACKstatic void init_irq_stacks(void){ int cpu; unsigned long *p; for_each_possible_cpu(cpu) { p = arch_alloc_vmap_stack(IRQ_STA...

2018-08-06 09:03:49 883

原创 spark-shell到sparkcontext的过程

在bin/spark-shell 中会调用spark-submitfunction main() { if $cygwin; then # Workaround for issue involving JLine and Cygwin # (see http://sourceforge.net/p/jline/bugs/40/). # If you're usin...

2018-08-03 16:42:45 679

原创 innodb 优化

innodb_use_native_aio 异步减少进程阻塞时间sync_binlog/innodb_flush_lig_at_trx_commit 减少事物中i/o 操作innodb_sync_spin_loops/innodb_spin_wait_delays 较少cpu 空等待mysql架构好处是将存储和处理分离.认证除了使用ssl安全套接字还可以采用x509证书认证mysql...

2018-08-02 15:55:42 709

原创 configfs例程

configfs文件系统是一种基于ram的文件系统，用于配置内核对象，configfs可以通过用户态目录文件访问接口配置复杂的对象，可以在用户态创建和删除内核对象。configfs 可以让用户通过shell 来配置内核对象在samples下有个configfs_example的例程分析如下：这是一个模块，static int __init configfs_example_init(vo...

2018-08-02 11:45:17 2009

原创深入linux内核架构读书笔记

通过ps 可以知道在中括号内的是内核线程系统调用可以分为六类：进程管理/信号/文件/目录和文件系统/保护机制/定时器函数kernel中使用register_binfmt来增加支持的二进制格式进程用exit系统调用终止，其函数是do_exit调度器分为主调度器和周期调度器可以通过proc/sys/kernel/sched_child_runs_first来让子进程先运行通过pglist...

2018-08-02 10:41:47 1168

原创 mysql中存储引擎模板

mysql中的存储引擎都在storage 目录下，目前看有csv/federated/heap/innobase/myisam/myisammrg/ndb等，这里最简单的应该就是csv同时这个目录下有个example的目录可以作为自己写的存储引擎模板mysql_declare_plugin(example){ MYSQL_STORAGE_ENGINE_PLUGIN, &amp...

2018-08-01 15:55:04 529

jason的笔记