![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 85
牧海归来
做一个有利于身边人的人
展开
-
spark: scala实现worldcount
spark: scala实现worldcount 1. 首先创建hdfs目录 在master节点(OPENFIRE-DEV)上创建hdfs目录,创建步骤如下: //创建hdfs目录,普通目录是读取不到文件 hdfs dfs -mkdir /alidata #将要统计单词的文件拷贝到hdfs目录中 hadoop fs -put /usr/local/hado原创 2016-06-26 19:52:14 · 3208 阅读 · 0 评论 -
spark:scala读取mysql的4种方法
spark:scala读取mysql的4种方法 1. 引入mysql的驱动包到/usr/local/spark/spark-1.6.0-bin-hadoop2.6/lib/hbase(目录根据配置而不同) mysql-connector-java-5.1.7-bin.jar 并在mysql创建表stock: CREATE TABLE `stock` ( `id` dec原创 2016-06-26 20:07:10 · 19818 阅读 · 4 评论