![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据仓库高级技术
「已注销」
知识总结整理放在语雀,路由:swebok(语雀的域名,/后面就是路由)
展开
-
【数据仓库】Spark Streaming
套接字流实现黑名单过滤原创 2021-06-06 08:43:00 · 1021 阅读 · 0 评论 -
【数据仓库】企业Spark案例--酒店数据分析实战
企业Spark案例–酒店数据分析实战数据清洗–过滤字段长度不足的且将出生日期转换成指定格式数据分析–通过入住时间和入住总时长计算用户离开时间数据分析–酒店被入住次数最多的3家和他们的平数据分析–每个用户每年去酒店次数及入住总时长...原创 2021-06-05 23:22:34 · 2577 阅读 · 2 评论 -
【数据仓库】Spark SQL-RDD转换为DataFrame实现文本文件数据源读取
Spark SQL-RDD转换为DataFrame实现文本文件数据源读取原创 2021-06-05 22:18:53 · 1548 阅读 · 0 评论 -
【数据仓库】Spark算子
第一关:转换算子之map和distinct算子输出每个元素及其长度并去重。 //第一步:通过获取rdd中每个元素的长度创建新的rdd1 val rdd1=rdd.map(x => x.length()) //第二步:通过zip把rdd1和rdd组合创建rdd2 val rdd2=rdd.zip(rdd1) //第三步:去重 val rdd3=rdd2.distinct() //第四步:输出结果 rdd3.foreach(println)第2关:转换算子之flatMap和fi原创 2021-05-19 12:17:37 · 1508 阅读 · 0 评论 -
【Scala】Scala数据结构
实验1-2Scala数据结构以下命名姓名开头字母,如hxz,以下 hxz全部改为自己名字开头字母。创建数组 xyArr1,数组中包含10个整数,随机赋值val hxzArr1 = {for(i <- 1 to 10 )yield (new util.Random).nextInt(10)}.toArray创建数组xyArr2,长度为4,包含字符串类型,输出第2个元素val hxzArr2= Array("aaa","bbb","ccc","ddd")...原创 2021-04-27 23:48:37 · 641 阅读 · 0 评论 -
【数据仓库高级技术 实验2】 Scala基本操作——控制结构
实验2 Scala基本操作——控制结构注意代码之间的空格图片上传坏了,直接看代码吧if条件表达式,编写如下代码,给出代码实现过程及结果的截屏A.将x的值改为其他数值,得出结果并截图对x的值进行判断,大于0输出This is a positive number,反之输出This is not a positive numberval x=-1if(x>0 ){println("This is a positive number")}else{p...原创 2021-04-21 23:08:49 · 252 阅读 · 0 评论