- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Python Data Structures (数据结构)
#Python Data Structures#working with listswords = "the quick brown for jumps over the lazy dog".split()print(words)info = [[w.upper(),w.lower(),len(w)] for w in words]for data in info: print
2017-03-29 23:07:30
903
原创 Spark RDD 的那些个事事
内容来自京东金融微信公众号整理和解读Google 发表三大论文 GFS MapReduce BigTable 衍生出很多开源框架 ，毫无疑问 Hadoop 在 大家心中的地位是不可估量的 。Hadoop 因为其高可用 高扩展 高容错 特性成为开源工业界的事实标准，作为一个可以搭建下廉价PC 机器上的分布式集群体系 ，Hadoop 用户可以不关心底层实现细节 ，利用Hadoop
2017-03-28 22:08:54
7103
原创 Scala 入门基础
为何学习{可拓展 --> 面向对象 函数式编程兼容java --> 类库兼容 互操作语法简洁 --> 代码行段 类型推断 抽象控制 静态类型化 --> 可检验 安全重构 支持并发控制 --> 强计算能力 自定义其他控制结构 point ,but 编译比较慢
2017-03-23 22:45:42
528
原创 Spark Streaming 读取本地文件压文件
package streamings.studysimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.DStreamimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * Created by yunxing
2017-03-23 21:38:59
5176
6
原创 SQL transformation
SQL transformationhow can we convert single row to multiple row (example)SAP_SALES_ORD_NUM COVERAGE_TERM1122 3 I need result as SAP_SALES_ORD_NUM COVERAGE_TERM1122 11122 21122
2017-03-20 13:26:37
629
原创 Spark Scala DataFram join 操作
package com.xh.moviesimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.{Row, SparkSession}import org.apache.spark.sql.types.{StringType,
2017-03-15 20:47:59
2316
原创 发动机，变速箱，车速关系哲学
最近段子不少，尤其是华为 35 岁的言论，所以就想写写员工 ，企业 的论证关系 在一个公司待久了，如果个人能力不断提高，但是公司平台一直稳定，或是 公司平台一直迭代更新 但是员工能力跟不上 都会造成车速减速在这里我们论证一下这三者的关系 ， 发动机毫无疑问就是我们的员工了 ，变速箱可以是我们的项目，也可以是公司平台 ，车速那就有可能是 项目意义以及公司盈利预期等
2017-03-14 21:36:18
1033
原创 Spark Scala 二次排序
package com.second.sortbysparkimport org.apache.spark.{SparkConf, SparkContext}/** * Created by xxxxx on 3/14/2017. */object SecondarySort { def main(args: Array[String]): Unit = { va
2017-03-14 21:20:45
970
1
原创 Spark RDD 实现电影点评用户行为分析 (Scala)
package com.xh.moviesimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.mutableimport org.apache.log4j.{Level,Logger}/** * Created by sss
2017-03-12 23:48:48
1506
1
原创 Hive性能调优 内容来自网络
Hive的一般学习者和培训者在谈性能优化的时候一般都会从语法和参数这些雕虫小技的角度谈优化,而不会革命性的优化Hive的性能,产生这种现象的原因有:1,历史原因和思维定势:大家学习SQL的时候一般都是就单机DB,这个时候你的性能优化技巧确实主要是SQL语法和参数调优;2,Hive的核心的性能问题往往是产生在超过规模数据集,例如说100亿条级别的数据集,以及每天处理上千上万个Hive作业的情
2017-03-07 21:34:19
738
原创 scala 统计Datastage log 中每个job 的执行时间 以及一个batch job 中total 时间
package com.x.himport java.io.Fileimport scala.io.Source/** * Created by xxxxx on 3/7/2017. * read logs and anlysis the interval time * Notes://ltsgdb001b/8525691C004D9994/0000035F748061058
2017-03-07 21:25:27
658
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人