- 博客(31)
- 资源 (19)
- 收藏
- 关注
转载 一张图读通Spark源码
http://blog.csdn.net/pelick/article/details/17222873前段时间断断续续通读了下Spark-0.8的源码,边读边画的一张大体的流程图 ,覆盖了最重要的几个模块及其关键类。希望对源码的细化阅读有所帮助。(图片比较宽,CSDN显示不给力,可以在我的微盘下载)更新:.vsd 文件链接(全文完)
2017-07-31 23:49:58 307
转载 Spark SQL 物理执行计划各操作实现
http://blog.csdn.net/pelick/article/details/22748841SparkStrategy: logical to physicalCatalyst作为一个实现无关的查询优化框架,在优化后的逻辑执行计划到真正的物理执行计划这部分只提供了接口,没有提供像Analyzer和Optimizer那样的实现。本文介绍的是Spark SQL组件各
2017-07-31 23:48:23 2329
转载 整理对Spark SQL的理解
http://blog.csdn.net/pelick/article/details/22723699Catalyst是与Spark解耦的一个独立库,是一个impl-free的执行计划的生成和优化框架。目前与Spark Core还是耦合的,对此user邮件组里有人对此提出疑问,见mail。 以下是Catalyst较早时候的架构图,展示的是代码结构和
2017-07-31 23:44:29 569
转载 Catalyst 优化逻辑执行计划规则
http://blog.csdn.net/pelick/article/details/22723699Optimizer本文分析Catalyst Optimize部分实现的对逻辑执行计划(LogicalPlan)的处理规则。Optimizer处理的是LogicalPlan对象。Optimizer的batches如下:[j
2017-07-31 23:35:54 655
转载 InnoDB关键特性之刷新邻接页-异步IO
http://www.cnblogs.com/geaozhang/p/7265261.htmlFlush neighbor page 1、工作原理 2、参数控制AIO 1、开启异步IO一、刷新邻接页功能1、工作原理 当刷新一个脏页时,innodb存储引擎会检测该页所在区(extent)的所有页,如果是脏页,那么一起进行刷新。这
2017-07-31 23:23:58 2298
转载 Spark SQL笔记——技术点汇总
http://www.cnblogs.com/netoxi/p/7223413.html目录· 概述· 原理 · 组成 · 执行流程 · 性能· API · 应用程序模板 · 通用读写方法 · RDD转为DataFrame · Parquet文件数据源 · JSON文件数据源 ·
2017-07-31 23:17:46 606
转载 MySQL_第三方数据库引擎_tokudb
http://www.cnblogs.com/xinysu/p/7262615.html阅读目录(Content) 1 tokudb引擎介绍2 Tokudb安装2.1 percona mysql安装2.2 安装 jemalloc,管理内存2.3 修改transparent_hugepage2.4 安装tokudb引擎跟percona client
2017-07-31 20:55:49 639
转载 c++11特性之initializer_list
http://blog.csdn.net/wangshubo1989/article/details/49622871之前写了一个博客《 浅析C++中的初始化列表(区别赋值和初始化)》,讲述了类的构造函数使用初始化列表来初始化成员变量。现在,撇开过往不谈,就谈一谈普通的变量赋值。即是我们要提到的initializer_list。这同样是一个C++11的特性。
2017-07-30 22:23:44 281
转载 C++11新特性之 std::future and std::async
http://blog.csdn.net/wangshubo1989/article/details/49872199先来个小插曲,百度翻译,你够了: std::future设想这样的情况,你希望一个线程做一些事情,然后返回你一个结果。同时,你在做一些其他的工作,该工作也许会也许不会花费你一点时间。你希望在某个特定的时间获取那个线程的结果。 在win32中,你可
2017-07-30 22:18:14 395
转载 懵懂oracle之存储过程3--JOB详解
http://www.cnblogs.com/snowballed/p/7245739.html 在前面学习了存储过程的开发、调试之后,我们现在就需要来使用存储过程了。简单的使用,像上篇《懵懂oracle之存储过程2》中提到的存储过程调用,我们可以将写好的存储过程在另一个PL/SQL块亦或是另一个存储过程中调用执行,而很多情况下,我们往往需要定时执行这个存储过
2017-07-30 21:57:23 913
转载 【linux相识相知】磁盘分区及文件系统管理详解
http://www.cnblogs.com/liubinsh/p/7250985.html磁盘,提供持久的数据存储,它不像我们的内存,如果突然断电了,在内存中的数据一般都会被丢掉了,内存中的数据在保存的时候,会被写到硬盘里面,磁盘也是一种I/O设备。我们都知道磁盘分区完成之后,还要进行格式化,这个格式化操作就是指定文件系统,文件系统的本质就是对一个存储设备上的元数据和
2017-07-30 21:51:10 920
转载 C++17中那些值得关注的特性(上)
http://geek.csdn.net/news/detail/228484C++17标准在2017上半年已经讨论确定,正在形成ISO标准文档,今年晚些时候会正式发布。本文将介绍最新标准中值得开发者关注的新特新和基本用法。总的来说C++17相比C++11的新特性来说新特性不算多,做了一些小幅改进。C++17增加了数十项新特性,值得关注的特性大概有下面这些:cons
2017-07-28 10:49:46 627
转载 MyBatis 详解(一对一,一对多,多对多)
http://www.cnblogs.com/ysocean/p/7237499.html1、什么是MyBatis? MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code,并且改名为MyBatis 。2013年11月迁移到Github。 iBAT
2017-07-28 10:20:27 928
转载 Nginx文档-初学者指南
http://www.cnblogs.com/oopsguy/p/7239102.html原文档: http://nginx.org/en/docs/beginners_guide.html译者:Oopsguy本指南旨在介绍nginx基本内容和一些在Nginx上可以完成的简单任务。这里假设您已经安装了nginx,否则请参阅安装nginx页面。本指南介绍如何启动、停止
2017-07-26 20:21:18 301
转载 mysql复制
http://www.cnblogs.com/magicsoar/p/7241441.html一、复制的意义mysql的复制功能是构建基于MySql大规模,高性能应用的基础,我们可以通过为服务器配置一个或多个备库来进行数据同步;复制功能不仅有利于构建高性能的应用,同时也是高可用性,可扩展行,灾难恢复,备份以及数据仓库等工作的基础 二、复制的方式
2017-07-26 20:13:04 388
转载 机器学习从入门到出家
https://cloud.tencent.com/community/article/529013写在前面:本文主要介绍的是自己的一些经历,以及读过的一些书,实际应用的经验并没有介绍,包括现在很多机器学习的书一般也是侧重于理论,结合实践的时候会发现和模型比起来,数据清洗、特征工程的实际效果更明显,而这方面很难有系统的理论知识,怎么办呢?读 paper ,去搜索自己应用
2017-07-24 16:56:30 463
转载 Apache Spark源码走读之11 -- sql的解析与执行
http://www.cnblogs.com/hseagle/p/3752917.html欢迎转载,转载请注明出处,徽沪一郎。概要在即将发布的spark 1.0中有一个新增的功能,即对sql的支持,也就是说可以用sql来对数据进行查询,这对于DBA来说无疑是一大福音,因为以前的知识继续生效,而无须去学什么scala或其它script.一般来说任意一个sql子
2017-07-24 16:27:30 561
转载 关于项目管理知识的几点概括
http://www.cnblogs.com/gongjh/p/7155114.html 前言 文中的知识和观点来源于公司网上学习平台,我仅仅是对学到的项目管理知识做一个概括。由于工作时间不长,经验有限,所以并没有深入思考。 正文一、什么是项目管理? 一个项目 是一系列相关活动的集合,通常涉及一群人在一定时期内为共同的目的或目标进行合作。
2017-07-12 14:16:30 881
转载 jenkins下搭建c++持续集成环境
http://www.cnblogs.com/dyllove98/archive/2013/07/31/3228543.html 运行环境为centos 5.81.下载tomcat,并解压2.下载jenkins,把jenkins.war放到tomcat的webapp目录下3.在tomcat的bin目录下执行./startup.sh4.下载gcovr
2017-07-11 21:42:14 3517
转载 java中嵌入javascript
http://blog.csdn.net/kqygww/article/details/8652386Java中嵌入JavaScript脚本的思路: 1.取得脚本解释器的管理器Manager 2.从管理器中取得js的解释器实例ScriptEngine 3.取得存储javascript变量的Bindings实例 4.把一个java.io.Reader流及Bindings传递给
2017-07-07 17:46:53 723
转载 java6内置JS引擎初接触
http://blog.csdn.net/sdyy321/article/details/6959199由于要用到该技术,所以写了几个测试,直接上代码。[java] view plain copy [javascript] view plain copy 定义外部资源
2017-07-07 17:44:28 615
转载 深度学习:Keras入门(一)之基础篇
http://www.cnblogs.com/lc1217/p/7132364.html1.关于Keras 1)简介 Keras是由纯python编写的基于theano/tensorflow的深度学习框架。 Keras是一个高层神经网络API,支持快速实验,能够把你的idea迅速转换为结果,如果有
2017-07-07 16:33:21 114772 21
转载 Java并发编程-无锁CAS与Unsafe类及其并发包Atomic
http://blog.csdn.net/javazejian/article/details/72772470 出自【zejian的博客】关联文章:深入理解Java类型信息(Class对象)与反射机制深入理解Java枚举类型(enum)深入理解Java注解类型(@Annotation)深入理解Java类加载器(ClassLoader)深入理
2017-07-06 17:42:19 988
转载 DOCKER 从入门到放弃(三)
http://www.cnblogs.com/panjunbai/p/7124179.html使用docker create [image-name] 创建一个容器创建一个nginx镜像的容器,由于没有指定各项参数,容器实用默认参数,创建后并不会启动,并将容器的ID输出到终端,如果本地没有镜像,将从网络下载镜像。[root@docker ~]# docker creat
2017-07-06 15:38:57 3359
转载 预编译语句(Prepared Statements)介绍,以MySQL为例
http://www.cnblogs.com/micrari/p/7112781.html背景本文重点讲述MySQL中的预编译语句并从MySQL的Connector/J源码出发讲述其在Java语言中相关使用。注意:文中的描述与结论基于MySQL 5.7.16以及Connect/J 5.1.42版本。预编译语句是什么通常我们的一条sql在db接收到最终
2017-07-06 15:35:10 956
转载 C++程序员是如何评价GO的
http://geek.csdn.net/news/detail/209368原文:A C++ developer looks at Go (the programming language), Part 1: Simple Features 作者:Murray 翻译:王江平译者注:此文主要对GO语言的简单语法做了详细描述,并与C、C++、Java作了比较,以下为译
2017-07-05 17:25:02 1019
转载 Linux系统安全配置基线
http://www.cnblogs.com/sun-sunshine123/p/7119472.html一:共享账号检查配置名称:用户账号分配检查,避免共享账号存在配置要求:1、系统需按照实际用户分配账号; 2、避免不同用户间共享账号,避免用户账号和服务器间通信使用的账号共享。操作指南:参考配置操作:cat /etc/passwd查看当前所有用户的情况;
2017-07-05 16:57:48 3380
转载 protobuf转json
http://www.cnblogs.com/CLfei/p/7121737.html方法介绍 protobuf的介绍在这里就不详细介绍了,主要是俺也是刚接触,感兴趣的同学可以去搜索相关博客或者直接去看源码以及google的官方文档(官方文档表示很吃力)或者去这个网站:https://developers.google.com/protocol-buffers/d
2017-07-05 16:46:14 6049
转载 一张思维导图学会如何构建高性能MySQL系统!
https://mp.weixin.qq.com/s/OBIOAjHo5k8ioNz-F2LoQA?utm_source=tuicool&utm_medium=referral作者介绍杨奇龙,前阿里数据库团队资深DBA,主要负责淘宝业务线,经历多次双十一,有海量业务访问DB架构设计经验。目前就职于有赞科技,负责数据库运维工作,熟悉MySQL性能优化,故障诊断,性能压测。
2017-07-04 11:26:27 1491
转载 RocksDB上锁机制
http://www.cnblogs.com/cchust/p/7107392.html RocksDB作为一个开源的存储引擎支持事务的ACID特性,而要支持ACID中的I(Isolation),并发控制这块是少不了的,本文主要讨论RocksDB的锁机制实现,细节会涉及到源码分析,希望通过本文读者可以深入了解RocksDB并发控制原理。文章主要从以下4方面展开,首
2017-07-03 16:10:00 1268
转载 Java 9 揭秘(7. 创建自定义运行时映像)
http://www.cnblogs.com/IcanFixIt/p/7110790.htmlTips做一个终身学习的人。在第一章节中,主要介绍以下内容:什么是自定义运行时映像和JIMAGE格式如何使用jlink工具创建自定义的运行时映像如何指定命令名称来运行存储在自定义映像中的应用程序如何使用jlink工具插件一. 什么是自定义运行
2017-07-03 15:54:26 685
Go语言编程
2015-10-06
C++标准程序库_带书签版本
2013-06-25
无懈可击的web设计
2012-10-27
[五笔打字与输入技巧六日速成].甘登岱.扫描版.pdf
2012-10-27
[Objective-C基础教程].Mark.Dalrymple.&.Scott.Knaster.扫描版.pdf
2012-09-16
java 编程艺术
2012-09-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人