- 博客(4)
- 资源 (16)
- 收藏
- 关注
原创 maven建立java和scala混合的项目
项目需求:我们采用spark开发项目,使用的开发语言采用java和scala的混合,这个时候我们的项目需要支持java和scala,一般方法两种(1)通过IDEA开发工具,下载SBT安装包,通过SBT创建项目,自动支持java和scala比较方便,但包的下载很慢(2)项目我们使用IDEA开发工具,通过maven来完成java和scala混合项目下面我们专门介绍如何通过maven来支
2016-09-26 11:27:47 8834 1
原创 Spark运行在Standalone模式下产生的临时目录的问题
Spark 的Job任务在运行过程中产生大量的临时目录位置,导致某个分区磁盘写满,主要原因spark运行产生临时目录的默认路径/tmp/spark*
2016-09-08 17:23:27 20691
原创 Spark读取HDFS上的SQL语句,然后导入MySQL
现在Hive执行结果会存储到HDFS上,这些文件是一些SQL语句,我们可以通过Spark读取这些文本文件,然后导入到MySQL中,下面是实现了如何通过Spark来读取HDFS,通过在Parition中获取数据库的连接,并把操作MySQL数据库,从而实现Spark读取HDFS,来操作MySQL。/** * 读取HDFS上文本的SQL,然后导入MySQL * * *
2016-09-08 14:09:51 5261 4
pytorch-flask-api.zip
2019-08-26
word2vec-sentiments-IMDB-Data.zip
2019-07-26
tachyon 介绍
2016-02-18
CDH的安装和使用
2015-12-08
solr搜索引擎-课程文件培训
2014-02-20
solr企业级搜索引擎准备阶段
2013-11-19
积分商城基于Solr搜索引擎PPT
2013-11-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人