- 博客(4)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 运维=平台+数据
运维会比开发更加重要运维的发展日新月异，曾几何时，运维仅仅是被认知为跑机房，装系统，设计网络，给开发擦屁股。但是现在运维变得极度重要，运维职责也更加细化，譬如稍大点的公司就将运维划分为基础运维，网络运维，DBA, 应用运维，架构师。其实我个人认为系统架构师应该都安排在运维里，开发团队应该率属于运维团队才好。进入云时代后，中等层次的运维慢慢会被淘汰，底层...
2016-09-23 15:34:00
656
1
原创 StreamingPro添加Scala script 模块支持
SQL 在解析字符串方面，能力还是有限，因为支持的算子譬如substring,split等有限，且不具备复杂的流程表达能力。我们内部有个通过JSON描述的DSL引擎方便配置化解析，然而也有一定的学习时间成本。我们当然可以通过SQL的 UDF函数等来完成字符串解析，在streamingpro中也很简单，只要注册下你的UDF函数库即可："udf_regis...
2016-09-14 22:32:00
209
10
原创 Bug剖析篇-"Facebook 60TB+级的Apache Spark应用案例"
Facebook 60TB+级的Apache Spark应用案例 里大体有两方面的PR，一个是Bug Fix，一个是性能优化。这篇文章会对所有提及的Bug Issue进行一次解释和说明。也请期待下一篇。前言Facebook 60TB+级的Apache Spark应用案例,本来上周就准备看的，而且要求自己不能手机看，要在电脑上细细的看。然而终究是各种...
2016-09-06 18:44:00
136
1
原创 Spark 多个Stage执行是串行执行的么？
上次在做内部培训的时候，我讲了这么一句：一个Job里的Stage都是串行的，前一个Stage完成后下一个Stage才会进行。显然上面的话是不严谨的。看如下的代码：Snip20160903_17.png这里的话，我们构建了两个输入(input1,input2)，input2带有一个reduceByKey,所以会产生一次Shuffle...
2016-09-03 10:14:00
1202
5
hibernate 关联保存 的困惑
2009-10-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人