2018年04月_yiluohan0307

08月 07月 06月 05月 04月 03月 02月 01月

转载常用Docker命令

常用Docker命令1、列出正在运行的容器docker ps2、启动容器docker-compose up -d {容器名称}3、关闭所有容器docker-compose stop关闭某个容器：docker-compose stop {容器名称}4、删除所用容器docker-compose down使用该命令要小心，因为它会删除数据容...

2018-04-25 10:05:59 233

原创宽依赖和窄依赖深度剖析

宽依赖和窄依赖深度剖析宽依赖和窄依赖的概念：窄依赖：一个RDD，对其父RDD只有简单的一对一的依赖关系。即父RDD和子RDD的partition的对应关系是一对一的宽依赖：英文名称shuffle dependency本质就是shuffle。也就是说，每个RDD的partition数据都可能有一部分数据传递到下一个RDD的partition中。此时，父RDD和子RDD之间是交互错综复杂的关系，他们

2018-04-25 09:39:32 620

原创 Spark内核架构深度剖析

Spark内核架构深度剖析

2018-04-25 09:23:37 473

原创 laradock 配置laravel环境

laradock 配置laravel环境一、离线安装docker ce1.卸载旧版本旧版本的 Docker 称为 docker 或者 docker-engine，使用以下命令卸载旧版本：$ sudo yum remove docker \ docker-client \ docker-client-la...

2018-04-24 12:22:40 1742

原创 kafka_2.11-0.10.2.0集群安装

kafka集群安装和部署

2018-04-23 13:50:21 1365

原创利用idea对spark程序进行远程提交和调试

利用idea对spark程序进行远程提交和调试

2018-04-23 12:13:01 17714 1

原创 wordcount基本原理深度剖析

wordcount基本原理深度剖析

2018-04-23 12:10:06 963

转载 markdown快捷键

markdown快捷键

2018-04-23 11:09:10 892

原创 spark RDD持久化

spark RDD持久化简介spark是分布式基于内存的数据处理引擎，它的一个基本功能是将RDD持久化到内存中。巧妙使用RDD持久化，甚至在某些场景下，可以将spark应用程序的性能提升10倍。对于迭代式算法和快速交互式应用来说，RDD持久化，是非常重要的。cache和persistspark有cache和persist两种方持久化方法。# RDD.scala部分源...

2018-04-23 10:35:31 729