scala
少年阿宏
“总有一天你将破蛹而出,成长得比人们期待的还要美丽。但这个过程会很痛,会很辛苦,有时候还会觉得灰心。面对着汹涌而来的现实,觉得自己渺小无力。
但这,也是生命的一部分。做好现在你能做的,然后,一切都会好的。我们都将孤独地长大,不要害怕。”
展开
-
在idea跑spark程序日志信息太多?
//写一个父类 class LoggerTrait{Logger.getLogger("org.apache.spark").setLevel(Level.WARN)Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN)Logger.getLogger("org.spark_project").setLevel(Level.WARN)}//Spark程序继承父类就好了原创 2020-12-14 10:44:31 · 397 阅读 · 0 评论 -
scala字符串ip转long类型
//将ip的字符串转换为一个Long def ip2Long(str: String): Long = { val fields: Array[String] = str.split("\\.") var ipNum = 0L for (field <- fields) { //ipNum = ipNum * 256 + field.toLong ipNum = field.toLong | ipNum << 8 } ip原创 2020-12-12 20:02:53 · 157 阅读 · 0 评论 -
用scala函数取Array列表元组中某元素的最大值、最小值和平均值
用scala函数取Array列表元组中某元素的最大值、最小值和平均值val arr=Array((1,“a”,123),(2,“b”,12),(3,“c”,-50))//id,name,age。需求:用函数取age最大值最小值和平均值。scala> val arr=Array((1,“a”,123),(2,“b”,12),(3,“c”,-50))scala> arrres02: Array[(Int, String, Int)] = Array((1,a,123), (2,b,12),转载 2020-10-16 19:53:40 · 3190 阅读 · 0 评论 -
scala语言从明细数据文件实现产生报[表时间(天) 用户数量 最高温度 ...]
1 有数据文件如下,数据信息代表name 用户名称age 年龄temp 温度ct 测试时间c4ijk,24,99,15975500000001351f,45,51,15975500000009m2bg,81,55,1597550000000nbchj,58,58,1597550000000...需求:scala语言实现下列功能1 产生报表结果时间(天) 用户数量 最高温度 ...20201010 100 60答案package homeworkimport jav原创 2020-10-16 19:56:24 · 217 阅读 · 0 评论 -
scala做wordcount
/***scala 做简单的wordcount*/ val list = List("bigdata han hello ", "bigdata han aaa aaa aaa ccc ddd uuu")val result = list.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(s => (s._1,s._2.size))原创 2020-10-14 20:40:22 · 193 阅读 · 0 评论 -
scala 无参多参方法
scala无参方法 def fn():unit = {print(“aaa”)} 形参括号不加也行 但是调用的时候就只能不带括号调用scala 多参方法 形参列表() +* 调用() 数组名:_*原创 2020-10-13 20:58:48 · 240 阅读 · 0 评论 -
sql 语句转scala代码简单demo
package com.qf.bigdata.scala.day02object Demo1 { /** * * @param datas */ def sqlFun(datas: Array[(String, Int, String)]): Unit = { val sql = s""" |select | nation, | name, | score原创 2020-10-13 19:32:04 · 282 阅读 · 0 评论