cdh
文章平均质量分 89
fansy1990
这个作者很懒,什么都没留下…
展开
-
Spark读写Hive
环境:CDH5.8,Spark:1.6.0;Hadoop:2.6.0,Intellij IDEA14 ,jdk1.8,sdk:2.10.6 ,maven:3.3.3;工程下载地址:1. Spark读取HiveSpark读取Hive,使用的是HiveContext,第一步使用sc生成一个HiveContext,然后其他操作就是在HiveContext里面操作了;比如使用HiveContext的tab原创 2016-11-29 22:42:00 · 13643 阅读 · 0 评论 -
Spark加载PMML进行预测
软件版本:CDH:5.8.0 , CDH-hadoop :2.6.0 ; CDH-spark :1.6.0 目标:使用Spark 加载PMML文件到模型,并使用Spark平台进行预测(这里测试使用的是Spark on YARN的方式)。具体小目标:1. 参考https://github.com/jpmml/jpmml-spark 实现,能运行简单例子;2. 直接读取HDFS上面的输入数据文件,使用原创 2016-11-25 22:28:05 · 19319 阅读 · 2 评论 -
Spark读写Hive添加PMML支持
软件版本:CDH:5.8.0;Hadoop:2.6.0 ; Spark:1.6.0; Hive:1.1.0;JDK:1.7 ; SDK:2.10.6(Scala)目标:在Spark加载PMML文件处理数据(参考:http://blog.csdn.net/fansy1990/article/details/53293024)及Spark读写Hive(http://blog.csdn.net/fans原创 2016-12-03 15:49:45 · 3865 阅读 · 0 评论 -
Spark TopK问题解法
软件版本及平台:CDH5.8、四子节点(cpu:2核、内存:4G)、JDK:1.7、IDEA14 、 Spark:1.6.0-cdh5.7.3;代码下载:问题描述:现有用户项目评分数据,其格式如下所示:u1,item1,0.0913375062480507u2,item1,0.4061823571029518u3,item1,0.021727289053235843u4,item1,0.24原创 2016-12-15 22:44:50 · 3773 阅读 · 0 评论 -
Oozie Spark on YARN requirement failed
软件环境:CDH:5.7.3;Oozie:4.1.0-CDH5.7.3 ; Spark:1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3 ; Hadoop:hadoop2.6.0-cdh5.7.3(HDFS 采用HA方式);问题描述:在使用CDH5.7.3版本的时候,发起一个Oozie工作流,该工作流使用Spark On YARN的方式提交一个Spark程序,但是在Oozie原创 2016-12-24 10:37:02 · 4501 阅读 · 1 评论 -
Windows Spark On YARN 提交任务到CDH集群
软件版本:IDE:Intellij IDEA 14,Java:1.7,Tomcat:7,CDH:5.8.0; Spark:1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0 ; Hadoop:hadoop2.6.0-cdh5.8.0;部署环境:1. 在Windows10 上启动IDEA ,并启动Tomcat,在Tomcat中使用Spark On YARN的方式调用封装好的Spa原创 2017-01-05 18:20:10 · 6636 阅读 · 0 评论 -
MAC Spark no snappyjava in java.library.path
软件版本:Mac:10.12.1,Spark:1.6.0-cdh5.7.3,JDK:1.7.0_79 ; IDEA:14;问题描述:在Mac上运行Spark程序时(采用local 生成SparkContext的方式,具体参考:https://github.com/fansy1990/Spark_MLlib_Algorithm_1.6.0/blob/master/src/test/scala/com原创 2016-12-31 11:37:35 · 3030 阅读 · 3 评论 -
CDH HiveServer2异常退出
本篇参考:http://blog.csdn.net/gklifg/article/details/50418109、http://blog.csdn.net/levy_cui/article/details/53992402、http://blog.csdn.net/lulynn/article/details/46455097。在使用CDH集群的过程中,出现HiveServer2刚启动没多久,客转载 2017-07-10 14:09:24 · 5652 阅读 · 1 评论