tanliqing的大数据之家
专注于大数据的学习与研究
tanliqing2010
这个作者很懒,什么都没留下…
展开
-
特征图尺寸计算方式
卷积中的特征图大小计算方式有两种,分别是‘VALID’和‘SAME’,卷积和池化都适用,卷积除不尽的结果都向下取整,池化除不尽的结果都向上取整。1.如果计算方式采用’VALID’,则:其中为输出特征图的大小,为输入特征图的大小,F为卷积核大小,stride为卷积步长。2.如果计算方式采用’SAME’,输出特征图的大小与输入特征图的大小保持不变,其中padding为特征图填充的圈数。若采用...原创 2019-10-21 16:35:47 · 2576 阅读 · 0 评论 -
mysql sql练习
1. 准备数据工作DROP TABLE DEPT;--部门表CREATE TABLE DEPT( DEPTNO int PRIMARY KEY, DNAME VARCHAR(14) , --部门名称 LOC VARCHAR(13) ---部门地址 ) ;CREATE TABLE DEPT( DEPTNO int PRIMARY KEY,...原创 2018-05-30 18:04:51 · 271 阅读 · 0 评论 -
mysql 事务隔离级别
查看设置系统信息1. 储存引擎相关2. 字符集3. 隔离级别1. 查看当前隔离级别2. 事务并行问题1. 读未提交级别2. 读已提交级别1. 设置隔离级别2. 操作3总结3. 可重复读隔离级别1. 设置隔离级别2. 操作3总结4 串行化隔离级别1. 设置隔离级别2. 操作查看设置系统信息1. 储存引擎相关...原创 2018-05-31 12:56:43 · 299 阅读 · 0 评论 -
innodb 锁机制
参考文章: http://www.cnblogs.com/zhoujinyi/p/3435982.html https://www.cnblogs.com/janehoo/p/5603983.html https://www.cnblogs.com/aipiaoborensheng/p/5767459.html0 锁的分类以及加锁方式行锁 s锁,share lock共享锁x...原创 2018-07-11 16:53:58 · 194 阅读 · 0 评论 -
mysql技术内幕--innodb存储引擎图解(超级详细)
1. Innodb存储引擎2. Innodb文件3. Innodb表4. Innodb事务5. innodb索引与算法6. Innodb锁1. Innodb存储引擎2. Innodb文件3. Innodb表4. Innodb事务5. innodb索引与算法6. Innodb锁...原创 2018-08-08 15:46:33 · 19804 阅读 · 9 评论 -
hadoop 学习资料汇总
hadoop学习资料汇总1. hdfs 节点https://www.cnblogs.com/jstarseven/p/7682221.html2. hdfs存储原理http://www.cnblogs.com/jstarseven/p/7682293.html3. mapreduce原理剖析http://www.cnblogs.com/jstarseven/p/...原创 2018-04-04 17:32:20 · 985 阅读 · 0 评论 -
spark学习资料总结
spark学习资料总结spark学习资料总结spark基本架构及其原理spark运行流程spark提交模式standalone提交模式yarn-client提交模式yarn-cluster提交模式spark stage划分算法spark 最佳位置算法 spark基本架构及其原理https://blog.csdn.net/swing2008/ar...原创 2018-05-18 21:24:43 · 423 阅读 · 0 评论 -
spark-driver端流程分析
SparkSubmit命令执行过程通过反射机制把SparkSubmit对象构造出来,自动去执行submit函数submit: 函数内部执行prepareSubmitEnvironment,准备提交环境,和doRunMain方法prepareSubmitEnvironment: 创建运行app执行所需的环境 doRunMain: a. 新建一个类加载器 b. 获取自己包中的主类和m...原创 2018-05-19 15:43:13 · 1007 阅读 · 0 评论 -
Spark RDD计算过程
Driver给Executor发送消息,包括taskset数据Executor接收到对应的消息 executor反序列化数据成任务描述executor通过LaunchTask来执行Taskexecutor中的launchTask方法中,把task封装成TaskRunner,并在executor线程池中获取一个线程执行上面获取一下线程执行时,最终会调用TaskRunner对象中的run方...原创 2018-05-19 16:13:13 · 573 阅读 · 0 评论 -
spark Master启动过程及其master的消息循环机制
执行spark-master.sh脚本的过程中,会调用spark-daemon.sh脚本,最终会调用spark-class.sh脚本## start-master.sh# 导出SPARK_HOME环境变量if [ -z "${SPARK_HOME}" ]; then export SPARK_HOME="$(cd "`dirname &a原创 2018-05-21 22:01:57 · 1644 阅读 · 0 评论 -
spark worker启动过程及其worker消息循环机制
1 启动脚本分析2. Worker启动流程创建worker对象a. worker内存中的数据结构(主要是drivers、executors)b. worker中的线程c. onStart()函数d. 向master注册worker信息3 receive*() worker消息循环1 RegisteredWorker—worker成功注册到master内存中...原创 2018-05-23 20:51:45 · 1119 阅读 · 0 评论 -
spark driver执行过程及其消息循环
1 spark任务提交过程1 spark-submit.sh2 SparkSubmit.scala伴生对象1 spark任务提交过程1 spark-submit.shexec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit原创 2018-05-23 21:15:56 · 1807 阅读 · 0 评论 -
spark 学习资料总结
1 spark task调度和运行总结1 task调度2. task运行2 spark stage的划分和提交1. stage的划分2. stage的提交3 spark job调度和运行1 spark task调度和运行总结1 task调度https://blog.csdn.net/lipeng_bigdata/article/details/50...原创 2018-05-25 16:48:08 · 704 阅读 · 0 评论 -
spark core内核图解(超级详细)
1. RDD功能详解2. RDD运行机制3. shuffle机制4. 调度器及其运行机制5. executor运行机制6. 数量关系7. driver,master,worker总结1. RDD功能详解2. RDD运行机制3. shuffle机制4. 调度器及其运行机制5. executor运行机制6. 数量关系7. dr...原创 2018-08-07 15:36:54 · 819 阅读 · 0 评论