![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 69
kwu_ganymede
Spark高级工程师
展开
-
Kafka基础操作命令
Kafka基础操作命令原创 2017-04-11 14:21:45 · 1068 阅读 · 0 评论 -
Java\Scala\Python三种语言求解经典编程实例(二)—— 尾数前移
Java\Scala\Python三种语言求解经典编程实例(二)—— 尾数前移原创 2016-05-28 16:42:33 · 956 阅读 · 0 评论 -
Java\Scala\Python三种语言求解经典编程实例(一)——求水仙花数
Java\Scala\Python三种语言求解经典编程实例(一)——求水仙花数原创 2016-05-28 16:22:52 · 4067 阅读 · 0 评论 -
Spark性能优化:JVM参数调优
Spark性能优化:JVM参数调优年轻代:主要是用来存放新生的对象。老年代:主要存放应用程序中生命周期长的内存对象。Spark中,垃圾回收调优的目标就是,只有真正长时间存活的对象,才能进入老年代,短时间存活的对象,只能呆在年轻代。不能因为某个Survivor区域空间不够,在Minor GC时,就进入了老年代。从而造成短时间存活的对象,长期呆在老年代中占据了空间,而且Full GC时要回收大量的短时间存活的对象,导致Full GC速度缓慢。原创 2016-05-02 23:42:42 · 20415 阅读 · 2 评论 -
Spark-Sql创建多数据源Join实例——涉及关系库数据源
Spark-Sql创建多数据源Join实例1、Spark-Sql数据来源有多种,Hive,Kakfa,RDD及关系库等。2、注册临时表与关系库映射表的join实现,核心思想就是,Hive和关系库的数据,分别加载出来做成dataframe,然后分别注册成临时表。原创 2016-05-26 16:56:55 · 6521 阅读 · 0 评论 -
Spark-1.5/1.6的新特性
Spark-1.5及1.6的新特性原创 2016-05-02 23:02:41 · 1947 阅读 · 0 评论 -
详解Scala的Option的模式匹配
详解scala的Option的模式匹配原创 2016-05-12 15:22:08 · 4397 阅读 · 0 评论 -
详解大数据数据仓库分层架构
大数据数据仓库是基于HIVE构架的数据仓库,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:原创 2016-05-10 23:06:08 · 39515 阅读 · 2 评论 -
查看Spark-Master节点与Slaves节点的网络交互
关于Spark提供的交互端口,默认情况下页面监控的端口为8080,交互的端口为7077。如何查看主节点的端口与的交互与链接:原创 2016-05-10 10:42:50 · 6629 阅读 · 0 评论 -
Spark-Sql版本升级对应的新特性汇总
Spark-Sql版本升级对应的新特性汇总原创 2016-04-01 17:06:18 · 1030 阅读 · 0 评论 -
Spark版本升级后部署路径的调整
Spark版本升级后部署路径的调整原创 2016-04-28 10:33:33 · 968 阅读 · 0 评论 -
sparkR集群启动脚本的封装
sparkR默认是以单机方式运行的。实现sparkR的集群启动,需要指定master地址,占用内存、CPU,及UI端口等,这对分析人员来说是比较麻烦的。如何实现对其启动的封装,方便分析人员来使用:原创 2015-10-13 13:40:44 · 865 阅读 · 0 评论 -
基于CDH5.4的Spark1.4.1下SparkR的部署
基本CDH5.4的Spark1.4.1下SparkR的部署,R与Spark的结合为数据分析提供高效的解决方案,Hadoop的中hdfs为数据分析提供分布式存储。本文介绍集成安装的步骤:原创 2015-10-13 13:32:24 · 1104 阅读 · 0 评论 -
[解决]Spark运行中java.net.UnknownHostException: nameservice1的异常
解决Spark运行中java.net.UnknownHostException: nameservice1的异常,nameservice1是配置hdfs中用到的HA,在执行spark程序时出现 java.net.UnknownHostException: nameservice1异常,找到正确的路径。原创 2015-10-13 13:43:57 · 12966 阅读 · 1 评论 -
基于spark1.4.1的sparkR的实例操作
基于spark1.4.1的sparkR的实例操作,sparkR的操作基本语法与R一致,其中添加了rJava、rhdfs、SparkR的依赖库的支持。原创 2015-10-13 13:42:01 · 1003 阅读 · 0 评论 -
基于sparksql调用shell脚本执行SQL
基于sparksql调用shell脚本执行SQL,sparksql提供了类似hive中的 -e , -f ,-i的选项原创 2015-10-13 13:23:08 · 5393 阅读 · 0 评论 -
基于CDH5集群配置snappy压缩
基于CDH5集群配置snappy压缩原创 2015-11-04 15:36:29 · 2436 阅读 · 0 评论 -
Spark-MLlib机器学习相关的数据类型
Spark-MLlib机器学习相关的数据类型原创 2016-04-21 00:29:18 · 900 阅读 · 0 评论 -
查看Spark进程的JVM配置及内存使用
如何查看正在运行的Spark进程的JVM配置以及分代的内存使用情况,是线上运行作业常用的监控手段:原创 2016-05-06 11:41:48 · 10468 阅读 · 0 评论 -
Scala语法中的协变与逆变
Scala语法中的协变与逆变原创 2016-12-21 22:52:15 · 1160 阅读 · 0 评论 -
Spark应用程序的测试与发布
Spark应用程序的测试与发布原创 2016-02-16 14:44:50 · 992 阅读 · 0 评论 -
基于IntelliJ IDEA开发Spark的Maven项目——Scala语言
基于IntelliJ IDEA开发Spark的Maven项目——Scala语言 Maven管理项目在JavaEE普遍使用,开发Spark项目也不例外,而Scala语言开发Spark项目的首选。因此需要构建Maven-Scala项目来开发Spark项目,本文采用的工具是IntelliJ IDEA 2016,IDEA工具越来越被大家认可,开发java, python ,scala 支持都非常好原创 2016-07-05 16:41:52 · 29985 阅读 · 4 评论 -
IntelliJ Idea 常用快捷键列表
IntelliJ Idea 常用快捷键列表转载 2016-07-05 17:55:17 · 699 阅读 · 0 评论 -
IDEA启动配置列出项目列表
IDEA启动配置列出项目列表File -> Settings -> SystemSettings 去掉 Reopen last project on startup 的勾即可原创 2016-07-06 10:11:06 · 5093 阅读 · 0 评论 -
Spark-MLlib实例——决策树
Spark-MLlib实例——决策树原创 2016-07-26 23:14:35 · 7432 阅读 · 1 评论 -
Spark-MLlib实例——逻辑回归
Spark-MLlib实例——逻辑回归,应用于二元分类的情况,这里以垃圾邮件分类为例,即是否为垃圾邮件两种情况。原创 2016-04-17 23:58:36 · 4973 阅读 · 0 评论 -
基于Cloudera Manager5.7配置MapReduce与HiveOnSpark压缩
基于Cloudera Manager5.7配置MapReduce与HiveOnSpark压缩原创 2016-07-15 18:04:41 · 1496 阅读 · 0 评论 -
Spark-Streaming处理Kafka数据——封装成对象处理
Spark-Streaming处理Kafka数据格式基本上都是字符串类型的,我们如何封装成对象处理呢原创 2016-05-22 23:09:54 · 2811 阅读 · 1 评论 -
基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程
基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程原创 2016-02-28 22:28:33 · 18157 阅读 · 5 评论 -
Java\Scala\Python三种语言求解经典编程实例(四)—— 求10000以内的自守数
Java\Scala\Python三种语言求解经典编程实例(四)—— 求10000以内的自守数原创 2016-06-07 23:21:29 · 2660 阅读 · 0 评论 -
Spark配置文件详解
Spark配置文件详解原创 2016-03-19 13:29:30 · 4873 阅读 · 1 评论 -
Spark集群启动命令汇总
Spark集群启动命令汇总原创 2016-05-18 17:24:24 · 14001 阅读 · 1 评论 -
Spark-Sql之DataFrame实战详解
在Spark-1.3新加的最重要的新特性之一DataFrame的引入,很类似在R语言中的DataFrame的操作,使得Spark-Sql更稳定高效。原创 2016-05-07 15:17:21 · 6317 阅读 · 0 评论 -
Hadoop经典案例Spark实现(七)——日志分析:分析非结构化文件
Hadoop经典案例Spark实现(七)——日志分析:分析非结构化文件原创 2016-05-17 23:09:18 · 19094 阅读 · 1 评论 -
Spark作业优化总结
Spark作业优化总结,针对Spark-Streaming作业,针对 Shuffle的优化原创 2016-04-26 00:00:34 · 1921 阅读 · 0 评论 -
基于spark1.4的Spark-Sql
基于spark1.4的Spark-Sql,spark1.4.1在7月15刚发布,提供较好sql支持原创 2015-10-13 13:21:19 · 637 阅读 · 0 评论 -
Sparak-Streaming基于Offset消费Kafka数据
Sparak-Streaming基于Offset消费Kafka数据原创 2016-03-19 14:53:26 · 4939 阅读 · 3 评论 -
Hadoop经典案例Spark实现(四)——平均成绩
Hadoop经典案例Spark实现(四)——平均成绩原创 2016-01-08 14:57:58 · 5815 阅读 · 3 评论 -
【解决】Spark On Yarn执行中executor内存限制问题
解决Spark On Yarn执行中executor内存限制问题原创 2015-10-13 10:23:59 · 4674 阅读 · 0 评论 -
【解决】Spark运行时产生的临时目录的问题
在执行spark-sql时,查询数据量超过1.7亿行,数据量大小38G,出现系统盘占用突然变高的情况,监控如下:原创 2015-10-13 10:23:10 · 7715 阅读 · 0 评论