spark
spark
csdncjh
这个作者很懒,什么都没留下…
展开
-
spark读取hbae的Demo
import org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.mapreduce.TableInputFormatimport org.apache.hadoop.hbase.util.Bytesimport org.apache.log4j.{Level, LogManager}import原创 2016-11-02 21:49:08 · 683 阅读 · 0 评论 -
scala中使用自己封装的工具类
需求:用scala代码,在hbase中做条件查询scala中使用自己封装的工具类object SparkHBase2 { def main(args: Array[String]): Unit = { val table=HBaseTools.openTable("t_prod_weixin_art"); val rows=HBaseTools.scanValueDa原创 2016-11-02 22:13:52 · 4058 阅读 · 0 评论 -
使用mllib的的贝叶斯算法进行文本分类
模型训练模型解释原创 2016-10-17 17:33:37 · 1435 阅读 · 0 评论 -
spark-sql读取hive
Spark-1.3.1与Hive整合实现查询分析操作步骤1.我们可以通过指定SPARK_CLASSPATH变量,将需要访问Hive的元数据存储MySQL的驱动包加入进去,然后直接启动Spark SQL Shell即可。SPARK_CLASSPATH="$SPARK_CLASSPATH:/app/apache-hive-1.2.1-bin/lib/mysql-connector-ja原创 2016-11-16 15:27:31 · 3175 阅读 · 0 评论 -
eclipse+Maven管理Spark项目
刚开始用IDEA,用起来很不顺心,特别是快捷键的使用,批量导入依赖等,IDEA做得远不如eclipse。刚开始用sbt管理依赖,可是用得不熟,打的jar包都是肥包,编译上传等都麻烦。于是放弃IDEA,改用eclipse。一:开发环境准备:eclipse中scala IDE插件安装:help-eclipse marketplace 搜索scala下载二:导入maven项目三:初次导入时原创 2016-11-02 21:32:42 · 815 阅读 · 0 评论