2017年02月_XiaoGuang-Xu

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Windows环境下搭建HBase源码开发环境

本文基于博主自己的经验介绍了如何在Windows环境下搭建Hbase源码开发环境，用于查看，分析，开发，提交HBase源码。 HBase在Windows下编译时需要用到Hadoop提供的winutils.exe, 而winutils.exe需要从Hadoop源码编译得到，因此将也同时介绍如何在Windows上编译Hadoop源码。前提条件首先，我们的系统的上需要安装如下软件：

2017-02-28 21:51:28 541

转载 Spark源码解析

Spark源码解析转载：http://blog.sina.com.cn/s/articlelist_2628346427_2_1.htmlhttp://blog.sina.com.cn/s/blog_9ca9623b0102webd.htmlSpark修炼之道（进阶篇）http://blog.csdn.net/column/details/spa

2017-02-24 23:38:16 367

转载 Spark性能优化-------开发调优

Spark源码解析转载：http://blog.sina.com.cn/s/articlelist_2628346427_2_1.htmlhttp://blog.sina.com.cn/s/blog_9ca9623b0102webd.htmlSpark性能优化-------开发调优转载2016-05-15 12:58:17

2017-02-24 23:37:34 380

转载第五十一讲 Spark优化之“钨丝计划”

第四十八讲序列化和JVM性能调优http://blog.sina.com.cn/s/blog_9ca9623b0102w8kp.html第四十八讲序列化和JVM性能调优一：Spark性能调优之序列化1，之所以进行序列化，最重要的原因是内存空间有限（减少GC的压力，最大化的避免Full GC的产生，因为一旦产生Full GC则整个Task处于停

2017-02-24 23:27:41 2183

转载 Spark 性能相关参数配置详解－任务调度篇

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。

2017-02-24 23:13:03 340

转载 Spark参数配置及其性能优化

Spark参数配置转自：http://hadoop1989.com/2015/10/08/Spark-Configuration/一、Spark参数设置二、查看Spark参数设置三、Spark参数分类四、Spark性能相关参数一、Spark参数设置Spark配置参数，一共有三种方法，1、在程序中，直接设置参数，例如：val conf = n

2017-02-24 23:12:25 870

转载 Spark系列之数据倾斜：数据倾斜之痛

Spark系列之数据倾斜：数据倾斜之痛http://blog.csdn.net/erfucun/article/details/52492584本博文的主要内容包括：Spark性能真正的杀手数据倾斜多么痛1、关于性能调优首先谈数据倾斜，为什么？（1）因为如果数据倾斜，其他所有的调优都是笑话，因为数据倾斜主要导致程序跑步起来或者运行状态不可用。

2017-02-24 22:49:45 313

转载 Spark On YARN自动调整Executor数量配置 - Dynamic Resource Allocation

Spark On YARN自动调整Executor数量配置 - Dynamic Resource Allocation原文： http://blog.csdn.net/levy_cui/article/details/51143225Spark 1.5.2版本支持为Spark On YARN模式的Spark Application根据Task自动调整Executor数，要启用该功能

2017-02-23 23:02:06 1951

转载 Jenkins+Maven+SVN快速搭建持续集成环境

Jenkins是一个可扩展的持续集成引擎，Jenkins非常易于安装和配置，简单易用，下面看看我们是如何几分钟就快速搭建一个持续集成环境吧。假设我们目前已经有2个maven项目：entities(Java类库)，web(Web应用，依赖entities)。一、安装Jenkins地址http://mirrors.jenkins-ci.org/下载适合的Jenkins版本。

2017-02-15 10:40:12 644

原创 Big-Data-Resources

#大数据/数据挖掘/推荐系统/机器学习相关资源Share my personal resources ##书籍* 各种书~各种ppt~更新中~ * 机器学习经典书籍小结 * 机器学习&深度学习经典资料汇总 #视频* 浙大数据挖掘系列 * 用Python做科学计算 * R语言视频

2017-02-13 17:19:22 16307

转载 Spark Streaming的容错和数据无丢失机制

Spark Streaming的容错和数据无丢失机制原文链接：Improved Fault-tolerance and Zero Data Loss in Spark Streaming（译者/彭根禄）实时的流式处理系统必须是7*24运行的，同时可以从各种各样的系统错误中恢复，在设计之处，Spark Streaing就支持driver和worker节点的错误恢复。然后，

2017-02-10 10:50:58 521

转载查看spark on yarn的日志和程序状态的方法

查看spark on yarn的日志和程序状态的方法转载原文：http://blog.csdn.net/high2011/article/details/52132646一、在命令行使用命令查看(1)查看日志：yarn logs -applicationId application_1469094096026_26612(2)查看状态：y

2017-02-09 17:14:35 1467

原创 SparkStreaming消费Kafka数据遇到的问题

SparkStreaming消费Kafka数据遇到的问题：查看ZK：

2017-02-08 14:32:56 2765

转载 Spark on Yarn-cluster与Yarn-client

转载URL： http://www.cnblogs.com/MOBIN/p/5857314.htmlSpark on Yarn-cluster与Yarn-client摘要在Spark中，有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-cluster适用于生产环境，而Yarn-Cluster更适用于交互，调试模式，以下是

2017-02-08 11:24:41 282

转载如何确定Kafka的分区数、key和consumer线程数

转载原文： http://www.cnblogs.com/huxi2b/p/4757098.html如何确定Kafka的分区数、key和consumer线程数在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。怎么确定分

2017-02-07 18:44:37 461

转载 Hive权限介绍

转载URL： http://www.cnblogs.com/zfyouxi/p/5341387.html一、开启权限眼下hive支持简单的权限管理，默认情况下是不开启。这样全部的用户都具有同样的权限。同一时候也是超级管理员。也就对hive中的全部表都有查看和修改的权利，这样是不符合一般数据仓库的安全原则的。Hive能够是基于元数据的权限管理。也能够基于文件存储级别的权限管

2017-02-07 13:36:41 307

转载 Yarn & Mapreduce 配置参数总结

尊重原创，拒绝转载原文地址：http://blog.csdn.net/stark_summer/article/details/48494391配置设置nodemanager 总内存大小为32G，在yarn-site.xml 增加如下内容：property> name>yarn.nodemanager.resource.memory-mbname>

2017-02-06 10:25:44 448