易水寒

列式存储布局（比如 Parquet）可以加速查询，因为它只检查所有需要的列并对它们的值执行计算，因此只读取一个数据文件或表的小部分数据。Parquet 还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。如果您在 HDFS 上拥有基于文本的数据文件或表，而且正在使用 Spark SQL 对它们执行查询，那么强烈推荐将文本数据文件转换为 Parquet 数据文件，以实现性能和存储收益。当然，转换需要...

package com.immooc.spark import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{Encoders, SparkSession} object DataSetTest { case class Person(name:String, age:Long) d...

1. mac 安装 spark略2. 安装sbtbrew install sbt 3. 写wordcount scala程序import org.apache.spark.{SparkConf, SparkContext} object SparkWordCount { def FILE_NAME:String = "word_count_results_"; def main(ar...

1. 加插件<plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <archive> <ma...

0. 新建maven项目 1. 主要就是porm.xml 里添加依赖<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...

1. window 用在rank 中的使用看这样一个需求，求出每个销售人员的按照销售金额大小的orderidpackage com.waitingfy import org.apache.spark.sql.SparkSession import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.functio...

1.日志部分内容：66.249.79.35 - - [14/Jun/2018:06:45:24 +0000] "GET /img/20180504/702434-20180302101540805-554506523.jpg HTTP/1.1" 200 10013 "-" "Googlebot-Image/1.0" 66.249.79.35 - - [14/Jun/2018:06:45:25 +0...

package com.waitingfy import java.sql.{Connection, DriverManager, PreparedStatement} import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ import scala.collection.mutable...

1.加mysql jarspark-shell --master local[2] --jars /Users/walle/app/mysql-connector-java-8.0.11.jar2. 连接jdbcval mysqlDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306").option("d...

1.启动spark-shell 需要加上mysql jar位置spark-shell --master local[2] --jars /Users/walle/app/mysql-connector-java-8.0.11.jar2. 简单sqlspark.sql("show databases").show spark.sql("show tables").show spark.sql("us...

val df = spark.read.format("csv").option("header", "true").load("/usr/local/Cellar/spark-2.3.0/examples/src/main/resources/people.csv") df.show《spark 编程方式指定dataframe的 Schema》 如果csv没有第一行，就只能指定schema了，参...

package com.immooc.spark import com.immooc.spark.ReflectionTest.Person import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.{SparkConf, SparkCo...