- 博客(7)
- 资源 (3)
- 收藏
- 关注
原创 Linux 学习总结(五)
1、crontab 命令详解 crontab命令的功能是在一定的时间间隔调度一些命令的执行 结构描述如下: * * * * * /command path 前五个字段可以取整数值,指定何时开始工作,第六个域是字符串,即命令字段,其中包括了crontab调度执行的命令。 各个字段之间用spaces和tabs分割。前5个字段分别表示: 分钟:0-59
2016-08-29 20:36:56 283
原创 Linux学习总结(六): 正则表达式
1、什么是正则表达式 正则表达式就是处理字符串的方法,它是以行为单位来进行字符串的处理行为,正则表达式通过一些特殊的符号的辅助,可以让用户轻易达到查找、删除、替换某特定字符串的处理程序。正则表达式基本上是一种“表示法”,只要工具程序支持这种表示法,那么该工具程序就可以用来作为正则表达式的字符串处理之用。常用的工具有vi、grep 、awk 及sed 等。 2、语系对正则表达式的影响
2016-08-26 12:09:20 669
翻译 Spark 工作原理及核心RDD 详解
一、Spark 是什么 Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用分布式并行计算框架。Spark拥有Hadoop MapReduce所具有的优点,但和MapReduce 的最大不同之处在于Spark是基于内存的迭代式计算——Spark的Job处理的中间输出结果可以保存在内存中,从而不再需要读写HDFS,除此之外,一个MapReduce 在计
2016-08-23 20:43:21 10667 2
原创 Linux 常用操作命令总结(七)
1、echo -n 表示不换行进行输出 echo -n “Linux” echo “_C” 输出的结果为:Linux_C -e 处理特殊字符 2、read命令 -
2016-08-23 16:20:19 394
原创 scala 常用基础语法总结(二):mkString 、ArrayBuffer、yield 的使用
1、Array 数组数组声明方式一:val a = new Array[Int](10) 注意: 数组初始化后,长度就固定下来了,而且元素全部根据其类型初始化数组声明方式二:val s=Array("Scala","Java","Pathon")2、ArrayBuffer // 使用ArrayBuffer()的方式可以创建一个空的ArrayBufferval b = ArrayBuffer[I
2016-08-10 21:05:52 3160
原创 Scala常用基础语法总结(一)
1、在spark 中如果没有为一个表达声明变量,默认为res。比如:scala> 1+1res0: Int = 2在实际开发中你常会看到如下代码Try(............) match { case Success(res) => res case Failure(e) => logger.error(s
2016-08-01 20:59:15 689
原创 Spark 优化总结(一)
一、简介 对于spark的优化并不只是从程序入手,而是Spark 优化主要集中在内存、网络IO、和磁盘IO三个方面。即就是driver、executor 的内存和shuffle 的设置,文件系统的配置,集群的搭建,集群和文件系统的搭建。通过对spark的优化,解决了资源的限定、以及性能的提升。 二、常见的优化方法 1、repartition(重分区) and coalesce(合并)
2016-08-01 20:33:08 637
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人