- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Linux 学习总结（五）
1、crontab 命令详解 crontab命令的功能是在一定的时间间隔调度一些命令的执行 结构描述如下： * * * * * /command path 前五个字段可以取整数值，指定何时开始工作，第六个域是字符串，即命令字段，其中包括了crontab调度执行的命令。 各个字段之间用spaces和tabs分割。前5个字段分别表示： 分钟：0-59
2016-08-29 20:36:56
272
原创 Linux学习总结（六）: 正则表达式
1、什么是正则表达式 正则表达式就是处理字符串的方法，它是以行为单位来进行字符串的处理行为，正则表达式通过一些特殊的符号的辅助，可以让用户轻易达到查找、删除、替换某特定字符串的处理程序。正则表达式基本上是一种“表示法”,只要工具程序支持这种表示法，那么该工具程序就可以用来作为正则表达式的字符串处理之用。常用的工具有vi、grep 、awk 及sed 等。 ２、语系对正则表达式的影响
2016-08-26 12:09:20
589
翻译 Spark 工作原理及核心RDD 详解
一、Spark 是什么 Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用分布式并行计算框架。Spark拥有Hadoop MapReduce所具有的优点，但和MapReduce 的最大不同之处在于Spark是基于内存的迭代式计算——Spark的Job处理的中间输出结果可以保存在内存中，从而不再需要读写HDFS，除此之外，一个MapReduce 在计
2016-08-23 20:43:21
10563
2
原创 Linux 常用操作命令总结（七）
1、echo -n 表示不换行进行输出 echo -n “Linux” echo “_C” 输出的结果为：Linux_C -e 处理特殊字符 2、read命令 -
2016-08-23 16:20:19
381
原创 scala 常用基础语法总结（二）：mkString 、ArrayBuffer、yield 的使用
1、Array 数组数组声明方式一：val a = new Array[Int](10) 注意： 数组初始化后，长度就固定下来了，而且元素全部根据其类型初始化数组声明方式二：val s=Array("Scala","Java","Pathon")2、ArrayBuffer // 使用ArrayBuffer()的方式可以创建一个空的ArrayBufferval b = ArrayBuffer[I
2016-08-10 21:05:52
3142
原创 Scala常用基础语法总结(一)
1、在spark 中如果没有为一个表达声明变量，默认为res。比如：scala> 1+1res0: Int = 2在实际开发中你常会看到如下代码Try(............) match { case Success(res) => res case Failure(e) => logger.error(s
2016-08-01 20:59:15
681
原创 Spark 优化总结(一)
一、简介 对于spark的优化并不只是从程序入手，而是Spark 优化主要集中在内存、网络IO、和磁盘IO三个方面。即就是driver、executor 的内存和shuffle 的设置，文件系统的配置，集群的搭建，集群和文件系统的搭建。通过对spark的优化，解决了资源的限定、以及性能的提升。 二、常见的优化方法 1、repartition（重分区） and coalesce（合并）
2016-08-01 20:33:08
626
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人