- 博客(6)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 大数据Linux基础（2-2）
嵌套语句if rm -r b ; then echo ok ; else echo error; fi查看内置变量的访问方式help exportif commands ； then commadns ；[elif commadns ; then commands ; ]...[else ecommand ;] fiLinux内置变量的访问方式$ ? //返回刚刚执行命令的结果，...
2019-02-28 09:25:09
219
原创 大数据Linux基础(1-2)
常用命令cd //ls //clear //xxx --help (-h) //查看帮助 ，Linux一般全拼用-- ，简写用-man xxx //查看帮助info xxx //查看帮助ls -al | more //管道符 空格键是翻页 //q退出 //.开头的文件 等于隐藏文件pingwhoami ...
2019-02-26 22:40:53
312
原创 Spark入门2
回顾Spark是一个内存计算框架在MR基础上做一个扩展RDD resilient distributed datasettransformation:变换 lazy map() filteraction 动作 count first take(n)rdd.persist() 持久化rdd. cache() == rdd.persist();SparkContext : 到Spa...
2019-02-18 14:14:16
304
原创 Spark入门1
SparkContext类名org.apache.spark.SparkContextSpark上下文对象，是Spark程序的主入口点，负责连接到Spark cluster可用创建RDD ，在集群上创建累加器和广播变量每个jvm只能激活一个SparkContext对象，创建新的SparkContext对象时，必须stop原对象MapReducemap ：splitRDD ...
2019-02-11 22:28:58
215
原创 Spark入门介绍
简介快如闪电的集群计算快速和通用的大规模数据处理技术再HDFS之上做数据处理，没有数据存储功能Speed执行mr作业程序在内存中比Hadoop快100倍，磁盘上快10倍Spark有着DAG（有向五环图）执行引擎，支持离散数据流和内存计算Easy of usejava scalapythonR提供80多种高级操作用于并行操作App，可以使用scala等脚本语言进行交互式...
2019-02-07 19:50:52
422
hdfs_jar.zip
2020-08-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人