![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
思cong
默默装个程序员
展开
-
spark的简单入门的例子
函数 使用方法 sc new SparkContext(conf) textFile 用于读取文件成RDD格式 flapMap 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”: map map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象; split 切分 reduceByKey 以key的形式传入filter过原创 2016-07-10 16:28:39 · 589 阅读 · 0 评论 -
日志的分析
package hadoopimport java.security.MessageDigestimport java.text.SimpleDateFormatimport IPInfo.IPimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{Dataset, SQLContext, SparkSession}import原创 2017-03-30 10:52:22 · 975 阅读 · 0 评论 -
dataFrame操作
package sparkSQLimport org.apache.spark.sql.{DataFrame, SparkSession}/** * Created by sicong on 2017/3/9. */object sparkKodo {// def main(args: Array[String]): Unit = { val spark = SparkS原创 2017-03-30 10:50:47 · 331 阅读 · 0 评论 -
spark日志检查–将数据写入到数据中02
spark日志检查–将数据写入到数据中02首先来看看链接MySQL的操作 引入的包是import java.sql.{DriverManager, PreparedStatement, Connection} var conn: Connection = null var ps: PreparedStatement = null val sql = "INSERT INTO原创 2016-10-10 10:15:47 · 288 阅读 · 0 评论 -
Spark 监测目录的日志 获取ip的指定时间的的请求数 防止攻击报警
首先模拟数据的产生import java.io.PrintWriterimport java.text.SimpleDateFormatimport java.util.Dateimport scala.collection.mutable.ArrayBufferimport scala.io.Sourceimport scala.util.Random/** * Created by原创 2016-09-21 11:07:01 · 346 阅读 · 0 评论 -
spark 关于数据格式的清洗
需求: 原本的日志格式183.136.128.154 - - [30/Jul/2016:10:56:24 +0800] "GET http://static.tx.wmpyol.com/play/play.html HTTP/1.1" 200 651 "-" "Go-http-client/1.1" Hit "C/200" Static "max-age=60" 0.115 59.49.8原创 2016-08-04 14:34:36 · 2634 阅读 · 0 评论 -
Hadoop到saprk伪分布式安装
从Hadoop到saprk伪分布式安装目前使用的版本是:scala-2.10.5.tgzspark-1.3.0-bin-hadoop2.3.tgzhadoop-2.2.0-64bit.tar.gzjdk-8u65-linux-x64.tar.gzHadoop安装hostname 看下自己的主机名sicong.localdomaincat /etc/hosts原创 2016-07-18 21:33:35 · 352 阅读 · 0 评论 -
php发送scoket与sparkStreaming
sparkStream在shell的启用php scoketServersparkStream在shell的启用使用spark监听scoket的9999端口这个相当于clientimport org.apache.spark._import org.apache.spark.streaming._import org.apache.spark.streaming.Streami原创 2016-07-25 11:46:45 · 616 阅读 · 0 评论 -
spark阶梯学习2
这里先说先flatMap和map的qubie sc.textFile(“/Users/huxicong/Downloads/dd”).flatMap(_.split(” “)).collect flatMap会将每一行的数据全部拆开放到一个集合Array(10.75.194.100, -, -, [06/Jun/2016:14:35:32, +0800], “GET, /video.flv原创 2016-07-13 21:39:47 · 321 阅读 · 0 评论 -
spark 日志解析格式化
ip库的信息在这里下载 http://www.ipip.net/download.html 182.146.100.97 - 3 [03/Jan/2017:23:30:01 +0800] "GET http://7xna64.com2.z0.glb.qiniucdn.com/Fq9M_Gn0RRWy9eprb0T0CAdrybv3.jpg?imageView2/2/w/1080/h/1920&e=1原创 2017-04-19 17:13:09 · 1630 阅读 · 0 评论