![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
浅夏初雨yan
没有最好,只有更好
展开
-
scala实现日志时间解析([18/Nov/2018:00:00:17 +0000])
在使用spark进行日志处理时,对于日志数据的时间格式,常常需要进行一定的转换,下面的代码是用scala实现日期解析工具类。package com.fyy.sparkimport java.util.{Date, Locale}import org.apache.commons.lang3.time.FastDateFormat/** * @Title: DateUtils...原创 2018-12-25 14:53:02 · 841 阅读 · 0 评论 -
maven项目不能打包scala代码
在建立maven项目时,遇到问题,只能对java代码的打包。此问题出现的原因时,在建立项目的时候,建立的时java的项目,后期进行scala的添加,但是在pom.xml中并没有出现scala代码的打包配置,导致只能进行java代码的打包。解决方法:在maven文件中,加入scala的打包配置。<!-- This plugin compiles Scala files --&...原创 2019-04-12 10:34:31 · 1747 阅读 · 0 评论 -
spark-shell进行换行代码的粘贴
在用spark-shell进行测试时,常常会遇到换行代码,或者想要统一将代码进行粘贴的情况。例如以下代码: val mysqlDF = spark.read.format("jdbc") .option("url", "jdbc:mysql://node1:3306") .option("dbtable", "fanyanyan.lianjia") ...原创 2019-04-11 15:45:38 · 2372 阅读 · 0 评论 -
java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Date
在进行spark程序连接mysql数据库时,遇到以上问题。java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Date在mysql数据库中有一个时间字段:timeinfo,异常值默认为“0000-00-00”问题代码如下: // hive和mysql关联使用 // ...原创 2019-04-11 15:34:17 · 261 阅读 · 0 评论 -
Spark Streaming整合Kafka(scala)
Spark Streaming整合Kafka有两种方式:Receiver和Direct方式两种方式的区别?Receiver方式:接收固定时间间隔的数据(放在内存中的),使用Kafka高级的API,自动维护偏移量,达到固定的时间才进行处理,效率低并且容易丢失数据。Direct直连方式:相当于直接连接到Kafka的分区上,使用Kafka底层的API,效率高,需要自己维护偏移量。(常用)...原创 2019-03-13 15:59:20 · 551 阅读 · 0 评论 -
Spark Streaming整合Flume(scala)
Spark Streaming整合Flume有两种方式:(1)方式一:Push方式方法步骤:1)启动sparkstreaming作业2)启动flume agent3))通过telnet输入数据1、Flume Agent的编写:$ vi $FLUME_HOME/conf/flume_push_streaming.confpush-agent.sources = net...原创 2019-03-12 18:35:36 · 232 阅读 · 0 评论 -
Spark Streaming和Spark SQL关联使用,实现词频统计(scala)
此实例为官网的整合实例,仅供参考。package com.fyy.spark.streamingimport org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimport org.apache.spark.streaming.{Secon...原创 2019-03-12 15:40:22 · 458 阅读 · 0 评论 -
Spark Streaming实现词频计算将结果保存到Mysql数据库(scala)
Spark Streaming实现词频计算将结果保存到Mysql数据库(scala)实例。1)建立Mysql连接池(MysqlPool.scala)package com.fyy.spark.streamingimport java.sql.{Connection, DriverManager}import java.util/** * @Title: MysqlPoo...原创 2019-03-12 15:01:52 · 694 阅读 · 0 评论 -
Spark Streaming实现黑名单过滤(scala)
对于黑名单过滤,采用的是访问日志形成的DStreaml与黑名单列表形成的RDD进行left join的方式,进行过滤。步骤解读:日志列表:20190102,192.168.10.10120190102,192.168.10.10220190102,192.168.10.103将访问日志转换为相应的 DStream ==> (192.168.10.101:20190...原创 2019-03-12 14:13:07 · 1277 阅读 · 1 评论 -
error: object HBaseUtils is not a member of package com.spark.project.utils
问题描述:[ERROR] /Users/work/SparkStreamingProject/src/main/scala/com/spark/project/dao/BrowserClickCountDAO.scala:4: error: object HBaseUtils is not a memberof package com.ipark.project.utils问题分析...原创 2019-03-20 13:50:32 · 636 阅读 · 0 评论 -
idea中无法new scala文件
对于IDEA无法创建scala文件,分3步排除问题1)检查scala文件是否设置为source类型File-->Project Structure选择Modules-->Sources,然后展开目录,查验scala是否被设置成了Souces类型(变为蓝色)。如果未设置,选择scala文件,点击Sources即可进行设置。2) 查验是否安装了scala插件...原创 2019-03-11 17:54:26 · 2012 阅读 · 0 评论 -
ip地址解析(scala)
在日志处理过程中,常常会遇到ip地址的分析,就要涉及到ip地址解析为城市的操作。下面介绍2种方法:方法一:只能够进行中国的ip地址转换为城市的操作,国外的解析不是很实用。方法二:可以进行全球的ip地址的各项解析,解析城市、国家、经纬度等等。方法一:一个使用他人的源码来实现此功能的方法,希望能帮助有需要的人。步骤如下:1)将源码从github上下载下来$ git cl...原创 2019-03-15 18:44:24 · 2187 阅读 · 5 评论 -
解决:Exception in thread "main" java.lang.NoSuchMethodError
程序是一个scala编写的Spark Streaming程序,导入依赖spark 2.2.0 ,hadoop 2.8.2, hbase 1.2.6问题描述:Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.ha...原创 2019-03-19 17:57:55 · 6264 阅读 · 0 评论 -
java项目整合scala项目打包(调用外部jar包)
一、引入外部jar包在用到外部jar包的时候,可以将jar包放入到本地的maven仓库,然后在pom.xml文件中添加相应的依赖即可。例如:有一个ipdatabase.zip项目文件。方法一:将ipdatabase.zip文件解压。cmd到达pom.xml文件。运行以下脚本即可。mvn install -DskipTests或者mvn install -Dmav...原创 2019-10-02 23:06:25 · 1239 阅读 · 0 评论