Spark入门基础(1)——RDD【转】 RDD是存储数据的最小单位,spark在并行计算的时候会将任务细化到rdd的维度,分到不同的cluster上计算。生成RDD// @param numSlices number of partitions to divide the collection into// paralleli...
airflow安装与使用 1.安装环境 CentOS-6.5Python-2.7.12setuptools-29.0.1pip-9.0.1 2.编译Python sudo yum install -y gccsudo yum install -y gcc-c++sudo yum install -y w...
CentOS 6.5 gcc升级到4.8 1.下载源码包 wget http://ftp.gnu.org/gnu/gcc/gcc-4.8.0/gcc-4.8.0.tar.bz2tar -jxvf gcc-4.8.0.tar.bz2 2.下载编译所需依赖库 cd gcc-4.8.0./contrib/download_pre...
Centos修改yum源 1.备份/etc/yum.repos.d/CentOS-Base.repo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2.下载对应版本repo文件, 放入/etc/yum.re...
Linux常用软件包 1.rz命令 sudo yum install lrzsz -y 2.ntp命令 # http://blog.csdn.net/scorpio3k/article/details/49645219yum install -y ntp ...
hbase常用shell命令 1.创建表 #创建表test 表中包含三列 c1, c2, c3create 'test', 'c1', 'c2', 'c3' 转载于:https://my.oschina.ne...