![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark-sql
LJ2415
这个作者很懒,什么都没留下…
展开
-
SparkSql实现access中的ip与ip规则的关联(方法一)
package Testimport org.apache.spark.sql.{DataFrame, Dataset, SparkSession}/** * 使用SparkSql实现access中的ip与ip规则的关联 * 前提条件:需要提前拿到全量的ip资源库信息,才可以生成DataFrame */object SQLIIpLocation1 { /** *...原创 2018-12-20 11:54:20 · 225 阅读 · 0 评论 -
新方式分析JSON(三范式)---
package Batch2import org.apache.spark.sql.types._import org.apache.spark.sql.{DataFrame, Dataset, SQLContext}import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.funct...原创 2019-01-20 23:36:58 · 237 阅读 · 0 评论 -
Spark-sql 1.x版
package Test01import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.{Dataset, SQLContext, SparkSession}/** * 如果使用DataFrame或SQL读取数据,先将非结构化...原创 2018-12-18 15:12:07 · 204 阅读 · 0 评论 -
Sparksql整合HIVE的步骤
//Spark和hive进行整合hive版本是 1.2.1,考虑到兼容性1.安装hive(可选)1.安装MySQL并创建一个普通用户,并且授权 CREATE USER 'bigdata'@'%' IDENTIFIED BY '123456'; GRANT ALL PRIVILEGES ON hivedb.* TO 'bigdata'@'%' IDENTIFIED BY '123456...原创 2018-12-15 21:11:10 · 797 阅读 · 0 评论 -
spark-sql的几种创建方式
Spark 1.x//spark sql 用来处理结构化数据类似数据库中的表一样存储数据Spark1.x val sc =new SparkContext(conf) val sqlContext=new SQLContext(sc) //将RDD和schema信息关联到一起, 1.RDD和case class 2.RDD和StructType//case class...原创 2018-12-15 21:07:14 · 525 阅读 · 0 评论 -
自定义UDAF(多对一)
package day01import org.apache.spark.sql.{Row, types}import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spark.sql.types._/** * 自定...原创 2018-12-15 17:41:36 · 395 阅读 · 0 评论 -
SparkSql实现access中的ip与ip规则库的关联(方法二)
根据业务不同,一般都是需要自定义udf来操作package Testimport Test.SQLIIpLocation1.ip2Longimport org.apache.spark.broadcast.Broadcastimport org.apache.spark.sql.{DataFrame, Dataset, SparkSession}/** * 使用SparkSq...原创 2018-12-20 14:29:31 · 398 阅读 · 0 评论 -
三范式(面向对象,面向过程,面向函数)
package Batch2import org.apache.spark.sql.types._import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.{DataFrame, Dataset, SQLContext}import org.apache.spark.sql.function...原创 2019-01-21 12:43:58 · 864 阅读 · 0 评论