csdn 博客不再更新

如题,csdn越来越坑了,以后博客单独更新在github地址为: 我的新博客地址

2017-05-17 09:50:47

阅读数 715

评论数 0

sparkSQL元数据缓存踩的坑

spark metadata cache背景最近一直忙着搞apm,也没时间写博客,眼看5月已经过半了,赶紧写一篇压压惊,先描述下背景:我们将sparkSession封装在actor中,每个actor都有自己独占的sparkSession,有些sql是保存数据到hive和hdfs上,但由于是一个多线...

2017-05-16 11:01:53

阅读数 6084

评论数 1

spark Metrics System hack

spark Metrics System hack最近主要在搞spark的监控系统,由于spark的metricSystem默认固定依赖了配置文件metrics.properties,所以开始用户一定要提供这个配置文件,这一点还是很恶心的,文件越多越容易出错,这点毋庸置疑,所以这次hack的初衷就...

2017-04-05 17:05:46

阅读数 1063

评论数 1

监控系统模型设计理念

监控系统思路由于我司主要应用都是java,所以这一块的监控主要是对java程序的监控,我们设计的理念是对于用户metric的采集尽量的轻量级,这也是我们没有采用写固定目录,然后用flume传输的一个原因,我们的思路是将channel内嵌在代码里,因为如果依赖外部channel,那么部署上变得麻烦了...

2017-04-04 11:16:32

阅读数 1998

评论数 1

spark项目中common pool的简单使用

spark项目中common pool的简单使用背景: spark streaming中计算的结果需要落盘到es,一个batch中的数据还会按照类型不同存储到不同的index中现有框架:elastic-hadoop这个项目在处理单一index的场景下还是比较容易上手的,但这个项目有两个不足,第一...

2017-03-27 09:11:46

阅读数 856

评论数 0

spark sql在喜马拉雅的使用之xql

spark sql在喜马拉雅的使用之xql什么是xql在大数据领域,发展到今天hive依然是一个非常有意义的项目,因为它把工程师都懂的sql直接用到了大数据领域,但是它也存在一些问题,比如运行速度慢这个是最明显的,大数据领域中的先驱者们都为之做了各种优化,和hive集成的项目还是非常多的。 sp...

2017-03-24 10:32:22

阅读数 1897

评论数 2

java8时间api和mysql集成的坑

java8时间api和mysql集成的坑代码Timestamp.valueOf(LocalDateTime.now) 现象是时间相差14个小时,想了下,相差14个小时应该是芝加哥时间跟踪jdk源码,ZoneId /** * A map of zone overrides to e...

2017-02-17 20:17:20

阅读数 1246

评论数 0

ip和int互转的scala版本

ip和int互转的scala版本有个群友问scala版本,刚好自己简单实现了个,发一下代码代码: import java.net.InetAddress/** * @author todd.chen at 16/01/2017 10:50. * email : todd.c...

2017-02-07 16:55:31

阅读数 1592

评论数 0

大数据监控系统相关设计开发

spoor-metricsspoor-metrics 是一个监控系统的收集模块,主要用于采集现有大数据基础组件的metric信息,并且进行展示白名单白名单配置文件主要用于过滤和解析metrics system产生的信息,并且进行压缩,常见的一份配置如下filesystem.file.largeRe...

2017-01-24 16:29:38

阅读数 1726

评论数 0

gitlab和jenkins项目管理技巧

gitlab和jenkins项目管理技巧gitlab现在是我们基本的版本管理工具,使用过程中其实有很多的小技巧,本文主要介绍了gitlab的项目管理中的一些小点,主要包括issue、commit 信息,以及二者的关联,同时简单介绍了jenkins中进行ci和配置任务依赖关系issueissue是项...

2017-01-16 14:03:25

阅读数 5327

评论数 0

spark 源码学习之job cancel 与job desc

spark 源码学习之job cancel 与job descspark 页面中的kill按钮在跑一些大的任务想去cancel任务的时候还是蛮有用的,最近我的项目中想集成这部分功能,就去阅读了下相关源码,下面记录下spark 的stage cancel和job cancel以及如何命名job的源码...

2016-12-13 21:30:34

阅读数 1956

评论数 0

spark 源码学习之打印线程堆栈

spark页面中有个打印executor的堆栈的,很好用,最近自己的web项目也想把堆栈用servelt的方式去展现出来,于是跟了下spark源码SparkContext中: /** * Called by the web UI to obtain executor thread dump...

2016-12-12 21:09:21

阅读数 1568

评论数 0

spark 2.0 踩过的SparkSession的坑

spark 2.0 踩过的SparkSession的坑spark 20 踩过的SparkSession的坑 背景 抽象的运行代码 初步定位问题 进一步定位问题 源码相关分析 再看SparkSession的创建 最终解决 取代了SQLContext(HiveContext)的SparkSession...

2016-11-17 21:02:31

阅读数 21654

评论数 2

akka集成spark过程中踩的几个小坑

多线程的一个坑error: ERROR (com.ximalaya.xqlserver.xql.engine.adapter.BatchSqlRunnerEngine:74) - executor result throw java.lang.IllegalArgumentException:...

2016-10-31 09:32:46

阅读数 2374

评论数 0

scala中trait的线性化推导公式

scala中trait的线性化推导公式需求 class A{ def m(s:String) = println(s"A($s)") }trait B extends A{ override def m(s:String) = super.m(s"B($s)&...

2016-09-25 13:55:38

阅读数 871

评论数 0

scala的sliding window的多种实现和benchMark

需求下午闲的写了点小代码来实现实现一个sliding window 效果的,并最终去平铺这些元素[3 1 4 1 5 9] [3,1] [1,4] [4,1] [1,5] [5,9] [3,1,1,4,4,1,1,5,5,9]思路 直接用init zip tail ,然后flatMap或者fold...

2016-09-23 16:20:53

阅读数 711

评论数 0

spark mysql 行级别控制

spark 的save modespark 的saveMode在org.apache.spark.sql.SaveMode下,是一个枚举类,支持 Append(在mysql中为append) Overwrite(在mysql中为先删除表,再整体将新的df存进去) ErrorIfExists(存在表...

2016-08-27 10:28:35

阅读数 3918

评论数 0

spark sql读取json

spark sql读取json的问题spark sql虽然支持了json作为数据源,但由于json是松散的数据结构,而sql需要确定的数据结构,所以spark sql在读取json的时候会将整个json完整遍历得到一个最大的schema,这在数据量很小的时候貌似没啥问题,可一旦数据量过大,那么在选...

2016-07-31 13:36:52

阅读数 3478

评论数 2

spark sql thrift server搭建及踩过的坑

如何配置 配置hadoop和yarn 配置HADOOP_CONF_DIR copy hive-site.xml到 spark_home/conf 在spark_env.sh中配置mysql的路径 如何启动./start-thriftserver.sh \ –name olap.thriftser...

2016-07-23 21:02:05

阅读数 7278

评论数 0

大数据平台监控指标整理

hadoop metrics2监控的内容: 1. yarn 2. jvm 3. rpc 4. rpcdetailed 5. metricssystem 6. mapred 7. dfs 8. ugi已经提供的:Source : org.apache.hadoop.metrics2....

2016-07-05 20:38:54

阅读数 6416

评论数 0

提示
确定要删除当前文章?
取消 删除