Spark
文章平均质量分 84
Spark-Core
Spark-SQL
Spark-Streaming
DATA数据猿
路漫漫其修远兮,吾将上下而求索。
探索学习中的一枚数据猿,希望得到你的指点。
展开
-
《Spark系列》建立Hive和Hbase的映射关系,通过Spark将Hive表中数据导入ClickHouse
创建列簇按行导入数据原创 2021-07-31 19:51:16 · 2234 阅读 · 4 评论 -
《MySQL系列-开发相关》获取MySQL的JDBC连接对象(Scala版本)
【代码】《MySQL系列-开发相关》获取MySQL的JDBC连接对象(Scala版本)原创 2021-07-10 11:41:00 · 199 阅读 · 0 评论 -
《Spark系列》Spark练习记录
一、身高排序,平均年龄,所有姓氏,每月最大天数三人,相同生日的人二、每个班级的成绩排行的的前三名三、筛选日志中的某一条指定的数据(Filter,startsWith)四、获取日志中日期的某一参数(yyyy-MM-dd:HH:mm:ss)五、《Spark系列-SparkCore》统计广告ID、TopN、访问量六、Spark->wordcount七、SparkStreaming->wordcount八、从kafka指定的topic中读取如上数据,进行清洗,剔除上述无用字段,保留有用信息,最后将清洗原创 2021-06-25 22:32:30 · 1311 阅读 · 2 评论 -
《Spark系列》Spark必备知识点记录
Spark必备知识点记录一、Spark广播变量二、Spark数据持久化操作三、Spark-Kryo序列化框架四、Spark-Core的交、并、差、拉链五、转换算子Sample介绍及底层相关算法代码六、Spark共享变量之广播变量broadcast原创 2021-06-14 15:23:54 · 596 阅读 · 2 评论 -
《Spark系列》Spark问题处理记录
1.tried to access methos com.google.common.base.Stopwatch.<init>()V from class org.apache2.IDEA运行Spark代码异常 -> Error:scalac: IO error while decoding \Demo2.scala with UTF-83.Spark SQL错误提示(You need ... setting useSSL=false, or set useSSL=true... 和Exception原创 2021-06-08 22:45:27 · 2728 阅读 · 3 评论 -
《Spark系列》Spark快速入门教程
Spark和Hadoop的根本差异是多个作业之间的数据通信问题:Spark多个作业之间数据通信是基于内存,而Hadoop是基于磁盘的。原创 2021-06-06 15:40:08 · 2152 阅读 · 0 评论