- 博客(9)
- 收藏
- 关注
RSS订阅原创 综述 - 【Dr.Elephant源码分析系列文章-1】
Dr.Elephant是LinkedIn于2016年4月开源的一个Hadoop平台性能调优工具。我们可以从这个链接获取源码：https://github.com/linkedin/dr-elephant。Dr.Elephant的问世将改变Hadoop/Spark用户的开发习惯，同时也将大大减少Hadoop平台开发者和管理者的负担。可以预见到，在未来较短的一段时间内，Dr.Elephant将会存
2016-05-20 16:03:20
1674
原创 关于三年工作的一点点感悟
关于开发JD的一些思考在一些招聘网站上，我们经常看到一些开发工程师的JD写到“1-3年工作经验”、“3-5年工作经验”或者“5年以上工作经验”。在对比这个要求时，我们或许只是把自己的工作经验和这个要求进行对比。可是我们真的理解这些工作经验要求的确切含义吗？关于开发工程师的等级在国内互联网圈子，大家普遍认可这样一种分级方式：工作年限等级能力描述应届
2016-05-14 19:05:04
10514
2
翻译 FAQ 常见问题 -【Dr.Elephant系列文章-8】
这篇文章列举了一些常见的问题，以及一些建议来帮助我们解决实际遇到的问题。1. Dr.Elephant部署在哪里？Dr.Elephant需要部署在一个有Hadoop平台环境的机器上。Er.Elephant会在集群上运行“hadoop classpath”命令来获得classpaht中所有的配置和jar包。通过这些配置，可以获得对资源管理器和历史任务服务器的连接。Dr.Elephant还会运行
2016-05-09 15:51:51
1830
2
翻译 Dr.Elephant Rest API -【Dr.Elephant系列文章-7】
有的情况下，用户可能不能访问Dr.Elephant的UI界面，但是需要和Dr.Elephant进行交互来获得Dr.Elephant的一些分析结果。Dr.Elephant提供了Rest API来满足用户的这个需求。根据ID获得应用信息根据任务的ID，可以获得任务的详细信息以及启发式算法的分析结果。URIhttp:///rest/job请求参数parameter
2016-05-08 23:25:16
1395
翻译 Hadoop任务优化建议 - 【Dr.Elephant系列文章-6】
使用Dr.Elephant来分析我们的任务，可以知道有哪些地方可以进行优化。加速你的任务流程对于特定的任务，最好有特定的参数配置。对于很多的应用场景来说，默认的任务配置并不能保证每个任务都有最好的性能。尽管对这些任务进行调优会花费一些时间，但是这些调优带来的性能提升是非常可观的。有几个任务参数需要特别注意：mapper数量，reducer数量，io.*的配置，内存使用设置以及生成的文件
2016-05-08 23:04:01
1678
原创 MySQL InnoDB引擎索引长度受限怎么办？
大家应该知道InnoDB单列索引长度不能超过767bytes，联合索引还有一个限制是长度不能超过3072。mysql> CREATE TABLE `tb` ( -> `a` varchar(255) DEFAULT NULL, -> `b` varchar(255) DEFAULT NULL, -> `c` varchar(255) DEFAULT
2016-05-07 00:30:20
21366
3
翻译 Dr.Elephant启发式算法指南 - 【Dr.Elephant系列文章-5】
这篇文章介绍了Dr.Elephant中默认提供的对于MapReduce任务和Spark任务的启发式算法。分别介绍了每个启发式算法的一些概念以及计算方法。
2016-05-06 00:04:06
2515
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人