2017年08月_kequanjade

12月 10月 09月 08月 06月 05月

原创 hive索引数据 mysql数据迁移

需求：新建的集群，需要把原集群的hive迁移到新的集群，hdfs数据已经迁移，下面是迁移mysql索引数据的方法注意：本方法中mysql是yum安装的，hive索引数据的账户：hive，密码：hive 1.1 备份原集群的数据[root@localhost ~]# cd /var/lib/mysql (进入到MySQL库目录，根据自己的MySQL的安装情况调整目录)

2017-08-26 16:06:50 312

原创 Rdd的 foreach 和 foreachPartition

一.代码 package com.xiaopeng.test import java.sql.Connection import com.xiaopeng.bi.utils.{JdbcUtil, SparkUtils}import org.apache.spark.broadcast.Broadcastimport org.apache.spar

2017-08-03 18:59:24 5319

原创 DataFrame和 Rdd

一.DataFrame 和Rdd 相互转换关系1.df 转化为rdd val df: DataFrame = hiveContext.sql("select * from game_sdk") df.foreachPartition(rdd => { rdd.foreach(row => { val a: Row = row;

2017-08-03 17:29:26 762

原创 Spark内存溢出

一.场景：在实时任务注册和激活相关的任务 GamePublishKpi 中，程序运行一段时间，就会报内存溢出二.分析方法 ps -ef | grep GamePublishKpi 找出运行的程序 jmap -heap 27075（进程号）查看该程序的运行过程中内存的使用情况该命令对应的参数解读： http://blog.csdn.net/yrpting/

2017-08-02 16:43:55 1839

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人