Spark
凯风与海
欢迎骚扰
展开
-
Spark实现全排序、二次排序
###############################################数据如下:年份:气温2005 192005 402006 302008 502007 352007 321,spark实现全排序,即按照年份对数据升序排列,对以上的数据 实现的效果:2005 192005 402006 302007 322007 352008 50代码:import org.apache...原创 2018-05-11 18:01:13 · 4360 阅读 · 0 评论 -
Spark实现二次排序的第二种方式
###############################################数据如下:年份:气温2005 192005 402006 302008 502007 352007 32实现效果:(2005,40)(2006,30)(2007,35)(2008,50)import org.apache.spark.{SparkConf, SparkContext}object Wo...原创 2018-05-11 22:35:47 · 620 阅读 · 0 评论 -
Spark机器学习之空气质量预测和评价
根据空气测得的数据,对空气质量评价以下是部分空气数据:ID,DAYTIME,CITYCODE,SO2 ,CO,NO2 ,O3, PM10,PM2_5,AQI,MEASURE, TIMEPOINT 0:110000:20141120,20141120,110000,31,3.939,141,8,368,301,351,6,2014-11-200:110000:20141208,201...原创 2018-05-14 18:57:02 · 6635 阅读 · 0 评论 -
Spark读写hbase数据
Spark读取hbase的数据 :import org.apache.spark.sql.SparkSessionimport org.apache.hadoop.hbase.mapreduce.TableInputFormatimport org.apache.hadoop.hbase._import org.apache.hadoop.hbase.client.Scanimport o...原创 2018-05-15 18:50:48 · 6414 阅读 · 3 评论 -
SparkStream读取Kafka消息
import org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka0...原创 2018-05-15 21:06:04 · 1909 阅读 · 0 评论 -
Spark读写mysql数据库
import org.apache.spark.SparkConf;import org.apache.spark.sql.*;import java.util.Properties;public class SparkSqlJdbc { public static void main(String[] args) { SparkConf conf = new...原创 2018-05-15 21:12:00 · 429 阅读 · 0 评论 -
Spark-StructuredStream读取 confluent -kafka-avro数据
一 、数据准备通过kafka-rest 写入kafka-avro数据public class Test { public static void main(String args[]){ String url = "http://node9:8082/topics/ztwo"; int x=1; while (true)...原创 2019-09-29 10:45:26 · 953 阅读 · 1 评论