Spark
qq513536189
这个作者很懒,什么都没留下…
展开
-
Spark SQL和Spark Thrift Server安装部署
安装SparkSpark部署 下载spark-2.2.0-bin-hadoop2.7.tgz解压 $ tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz配置环境变量 $ vim ~/.bashrc添加如下内容: export SPARK_HOME=/home/cloud/cloud/spark-2.2.0原创 2017-09-21 11:29:21 · 13116 阅读 · 0 评论 -
Spark实现MySQL到HBase数据迁移的Scala代码
Spark实现MySQL到HBase的数据迁移,其效率比Sqoop快数十倍。该代码识别MySQL表的主键作为HBase的行键,遇到联合主键则将主键用下划线连接后作为HBase的行键。1. 下图为工程目录结构2. MySQL2HBase.scalaimport java.sql.{DriverManager, SQLException}import org.apache.hadoop.hbase...原创 2018-04-09 16:21:12 · 1572 阅读 · 3 评论