Spark core 编程案例1

最新推荐文章于 2023-07-04 23:21:18 发布
最新推荐文章于 2023-07-04 23:21:18 发布
阅读量924 收藏 7
点赞数 2
分类专栏： Spark 文章标签： spark spark core  (null) entry in command strin 非序列化对象
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013985879/article/details/83281148
版权

测试数据:

192.168.88.1 - - [30/Jul/2017:12:53:43 +0800] "GET /MyDemoWeb/ HTTP/1.1" 200 259
192.168.88.1 - - [30/Jul/2017:12:53:43 +0800] "GET /MyDemoWeb/head.jsp HTTP/1.1" 200 713
192.168.88.1 - - [30/Jul/2017:12:53:43 +0800] "GET /MyDemoWeb/body.jsp HTTP/1.1" 200 240
192.168.88.1 - - [30/Jul/2017:12:54:37 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:38 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:38 +0800] "GET /MyDemoWeb/java.jsp HTTP/1.1" 200 240
192.168.88.1 - - [30/Jul/2017:12:54:40 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:40 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:41 +0800] "GET /MyDemoWeb/mysql.jsp HTTP/1.1" 200 241
192.168.88.1 - - [30/Jul/2017:12:54:41 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:42 +0800] "GET /MyDemoWeb/web.jsp HTTP/1.1" 200 239
192.168.88.1 - - [30/Jul/2017:12:54:42 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:52 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:52 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:53 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:54 +0800] "GET /MyDemoWeb/mysql.jsp HTTP/1.1" 200 241
192.168.88.1 - - [30/Jul/2017:12:54:54 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:54 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:56 +0800] "GET /MyDemoWeb/web.jsp HTTP/1.1" 200 239
192.168.88.1 - - [30/Jul/2017:12:54:56 +0800] "GET /MyDemoWeb/java.jsp HTTP/1.1" 200 240
192.168.88.1 - - [30/Jul/2017:12:54:57 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:57 +0800] "GET /MyDemoWeb/java.jsp HTTP/1.1" 200 240
192.168.88.1 - - [30/Jul/2017:12:54:58 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:58 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:59 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:59 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:55:00 +0800] "GET /MyDemoWeb/mysql.jsp HTTP/1.1" 200 241
192.168.88.1 - - [30/Jul/2017:12:55:00 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:55:02 +0800] "GET /MyDemoWeb/web.jsp HTTP/1.1" 200 239
192.168.88.1 - - [30/Jul/2017:12:55:02 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242

案例一：分析tomcat的访问日志，求访问量最高的两个网页
        1、对每个jps的访问量求和
        2、排序
        3、取前两条记录 

package demo

import org.apache.spark.{SparkConf, SparkContext}

object MapPartitionsDemo{

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf()
    conf.setAppName("MapPartitionsDemo").setMaster("local")
    val sc = new SparkContext(conf)

    val rdd1 = sc.textFile("G:\\大数据第七期vip课程\\正式课\\0611-第三十二章节\\localhost_access_log.2017-07-30.txt").map{
      line =>{
       //192.168.88.1 - - [30/Jul/2017:12:53:43 +0800] "GET /MyDemoWeb/head.jsp HTTP/1.1" 200 713
        //解析字符串,找到jsp 名字
        //第一步解析GET /MyDemoWeb/head.jsp HTTP/1.1
        val index1= line.indexOf("\"") //双引号开头的位置
        val index2 = line.lastIndexOf("\"") //双引号结束的位置
        val str = line.substring(index1+1,index2)
        //解析/MyDemoWeb/head.jsp
        val index3= str.indexOf(" ") //双引号开头的位置
        val index4 = str.lastIndexOf(" ") //双引号结束的位置
        val str1 = str.substring(index3+1,index4)

        //解析***.jsp
        val jspname=str1.substring(str1.lastIndexOf("/")+1)
        //返回(***.jsp,1)
        (jspname,1)

      }
    }

    //按照jspname 进行累加
    val rdd2 = rdd1.reduceByKey(_+_)
    //按照访问量排序,降序
    val rdd3 = rdd2.sortBy(_._2,false)

    //取出前两条
    println(rdd3.take(2).toBuffer)//ArrayBuffer((oracle.jsp,9), (hadoop.jsp,9))
    sc.stop()

  }
}

案例二：分析tomcat的访问日志，根据网页的名字进行分区（类似MapReduce中的自定义分区）
        结果： 网页的名字    访问日志
               oracle.jsp    192.168.88.1 - - [30/Jul/2017:12:54:37 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
               oracle.jsp    192.168.88.1 - - [30/Jul/2017:12:54:53 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242

package demo

import java.util

import org.apache.spark.{Partitioner, SparkConf, SparkContext}

object MyTomcatPartitioerDemo {

  def main(args:Array[String]):Unit={
    System.setProperty("hadoop.home.dir","G:\\hadoop\\hadoop-2.4.1\\hadoop-2.4.1")
    val conf = new SparkConf()
    conf.setAppName("MapPartitionsWithIndexDemo").setMaster("local")
    val sc = new SparkContext(conf)

    val rdd1 = sc.textFile("G:\\localhost_access_log.2017-07-30.txt").map{
      line =>{
        //192.168.88.1 - - [30/Jul/2017:12:53:43 +0800] "GET /MyDemoWeb/head.jsp HTTP/1.1" 200 713
        //解析字符串,找到jsp 名字
        //第一步解析GET /MyDemoWeb/head.jsp HTTP/1.1
        val index1= line.indexOf("\"") //双引号开头的位置
        val index2 = line.lastIndexOf("\"") //双引号结束的位置
        val str = line.substring(index1+1,index2)
        //解析/MyDemoWeb/head.jsp
        val index3= str.indexOf(" ") //双引号开头的位置
        val index4 = str.lastIndexOf(" ") //双引号结束的位置
        val str1 = str.substring(index3+1,index4)

        //解析***.jsp
        val jspname=str1.substring(str1.lastIndexOf("/")+1)
        //返回(***.jsp,对应的日志)
        (jspname,line)

      }
    }

    //根据jsp 的名字建立分区,得到jsp 名字的个数
    //得到所有不重复的名字-->string
    val rdd2 = rdd1.map(_._1).distinct().collect()
    //根据jsp 的名字建立分区,创建分区规则
    val mypartitioner = new MyPartitions(rdd2)

    //注意:rdd1是一个
    //执行分区
    val result = rdd1.partitionBy(mypartitioner)

    //输出
    result.saveAsTextFile("G:\\partitions")
    sc.stop()
  }
}

class MyPartitions(allJspName:Array[String]) extends Partitioner{

  //定义一个集合保存分区的条件
  //String jsp名字 Int分区号
  val partitionMap=  new util.HashMap[String,Int]()
  //建立分区规则
  var partID = 0
  for(name <- allJspName){
    partitionMap.put(name,partID)
    partID += 1
  }

  //返回分区的个数
  override def numPartitions: Int = partitionMap.size()
  //根据key(jsp的名字) 获取分区号
  override def getPartition(key: Any): Int = {
    partitionMap.getOrDefault(key.toString,0)
  }
}

输出结果: 

注意:

1.输出目录  result.saveAsTextFile("G:\\partitions") 不能存在,否则提示already exists:

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/G:/partitions already exists
    at org.apache.hadoop.mapred.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:131)
    at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1.apply$mcV$sp(PairRDDFunctions.scala:1191)

2.Windows环境需要设置  System.setProperty("hadoop.home.dir","G:\\hadoop\\hadoop-2.4.1\\hadoop-2.4.1") 

否则可能提示:

Caused by: java.io.IOException: (null) entry in command string: null chmod 0644 G:\partitions1\_temporary\0\_temporary\attempt_20181023002946_0003_m_000000_3\part-00000
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:770)

 案例三：把上面分析的结果，保存到Oracle中（知识点：在哪里建立Connection？）: 对于非序列化的对象，如何处理？

    1、create table result(jspname varchar2(20), count number);
    2、开发JDBC程序（Scala），包含Oracle的驱动 
    3、操作RDD的时候，尽量针对分区，避免序列化问题

package demo

import java.sql.{Connection, DriverManager, PreparedStatement}

import org.apache.spark.{SparkConf, SparkContext}

object MyOracleDemo {

  def main(args: Array[String]): Unit = {
    System.setProperty("hadoop.home.dir","G:\\hadoop\\hadoop-2.4.1\\hadoop-2.4.1")
    val conf = new SparkConf()
    conf.setAppName("MapPartitionsWithIndexDemo").setMaster("local")
    val sc = new SparkContext(conf)

    val rdd1 = sc.textFile("G:\\localhost_access_log.2017-07-30.txt").map{
      line =>{
        //192.168.88.1 - - [30/Jul/2017:12:53:43 +0800] "GET /MyDemoWeb/head.jsp HTTP/1.1" 200 713
        //解析字符串,找到jsp 名字
        //第一步解析GET /MyDemoWeb/head.jsp HTTP/1.1
        val index1= line.indexOf("\"") //双引号开头的位置
        val index2 = line.lastIndexOf("\"") //双引号结束的位置
        val str = line.substring(index1+1,index2)
        //解析/MyDemoWeb/head.jsp
        val index3= str.indexOf(" ") //双引号开头的位置
        val index4 = str.lastIndexOf(" ") //双引号结束的位置
        val str1 = str.substring(index3+1,index4)

        //解析***.jsp
        val jspname=str1.substring(str1.lastIndexOf("/")+1)
        //返回(***.jsp,对应的日志)
        (jspname,1)

      }
    }
    //针对分区,创建connection,将结果保存到数据库中
    rdd1.foreachPartition(saveToOracle)


  }

  def saveToOracle(iter:Iterator[(String,Int)])={
    var con:Connection = null
    var pst:PreparedStatement = null

    try{
      Class.forName("oracle.jdbc.driver.OracleDriver").newInstance()
      con = DriverManager.getConnection("jdbc:oracle:thin:@192.168.163.134:1521:orcl","scott","tiger")
      pst = con.prepareStatement("insert into result values (?,?)")

      iter.foreach(data =>{
        pst.setString(1,data._1)
        pst.setInt(2,data._2)
        pst.executeUpdate()
      })

    }catch{
      case e1:Exception => e1.printStackTrace()
    }finally{
      if(pst != null) pst.close()
      if(con != null) con.close()
    }
  }
}


package demo

import java.sql.DriverManager
import  org.apache.spark.rdd.JdbcRDD
import org.apache.spark.{SparkConf, SparkContext}

object MyJDBCRDDDemo {

  val connection = () =>{
    Class.forName("oracle.jdbc.driver.OracleDriver").newInstance()
    DriverManager.getConnection("jdbc:oracle:thin:@192.168.163.134:1521:orcl","scott","tiger")

  }

  def main(args: Array[String]): Unit = {
    val sparkconf = new SparkConf()
    sparkconf.setAppName("MyJDBCRDDDemo").setMaster("local")
    val sc = new SparkContext(sparkconf)

    //10号部门,工资大于2000的员工姓名和薪水
    val oracleRDD = new JdbcRDD(sc,connection,"select * from emp where sal > ? and deptno=?",2000,10,1,r=>{
//      print(r.toString)
      val ename=r.getString(2)
      val sal = r.getInt(6)
      (ename,sal)

    })

    val result = oracleRDD.collect()
    println(result.toBuffer)
    sc.stop()
  }
}

 

aimmon
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
大数据学习29：Spark Core编程案例
weixin_44804248的博客
05-20 2696
案例一：分析tomcat的访问日志，求访问量最高的两个网页 1、对每个jps的访问量求和 2、排序 3、取前两条记录 结果：ArrayBuffer((oracle.jsp,9), (hadoop.jsp,9)) 案例二：分析tomcat的访问日志，根据网页的名字进行分区（类似MapReduce中的自定义分区） 结果： 网页的名字 访问日志 oracle.jsp ...
解决问题java.io.IOException: (null) entry in command string: null chmod 0644 E:\yhtt1.txt
weixin_45675015的博客
01-15 4464
在对HDFS的api进行操作时，在IDEA上创建了maven工程并导入jar包，所加依赖如下： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.7</version> </dependency> <dependency> &lt
报错记录：java.io.IOException: (null) entry in command string: null chmod 0644
番茄炒蛋三分糖
03-05 2807
问题描述： 在idea上运行spark代码，连接kafka时，报java.io.IOException: (null) entry in command string: null chmod 0644 的错误。 原因： 缺失了hadoop.dll文件 解决方法： 将hadoop.dll文件拷贝到 C:\windows\system32 下 下载地址：https://github.com/4ttty/winutils 网盘地址：https://pan.baidu.com/s/1AK35wwhguFYUBD9H
【Spark】SparkCore
最新发布
qq_70770395的博客
07-04 367
spark 2
idea下载hadoop里的文件报错java.io.IOException: (null) entry in command string: null chmod 0644 D:\Users\Admi
qq_38522268的博客
05-19 681
详细报错如下： java.io.IOException: (null) entry in command string: null chmod 0644 D:\Users\Administrator\Desktop\11.txt at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:770) at org.apache.hadoop.util.Shell.execCommand(Shell.java...
实验七：Spark初级编程实践
07-15
1、实验环境： ...（1） 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数； 图3 spark统计行数 （2） 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”
SparkStreaming编程讲解
01-30
1.什么是SparkStreaming？2.SparkStreaming可以接受那些数据源？3.Dstream，我们可以进行哪两种操作？Sparkstreaming:构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片断（几秒），以...
Spark 案例测试数据
09-11
Spark 案例测试数据Spark 案例测试数据Spark 案例测试数据Spark 案例测试数据Spark 案例测试数据Spark 案例测试数据Spark 案例测试数据Spark 案例测试数据Spark 案例测试数据Spark 案例测试数据Spark 案例测试数据...
通过案例实战掌握Spark编程模型内幕.pptx
05-14
通过案例实战掌握Spark编程模型内幕
java.io.IOException: (null) entry in command string: null ls -F+文件路径：解决方法
qq_40666270的博客
08-24 2031
java.io.IOException: (null) entry in command string: null ls -F+一个文件路径：解决方法 运行环境为idea 本地运行scala编写的WordCount实例时，出现了java.io.IOException: (null) entry in command string: null ls -F+文件路径 的错误。 原因是想要一次性加载所有文件，但是在加载所有文件的时候，路径指向不对。 我想要读取的是datas下面的所有文件： 我原本的代码为：
chmod使用方法
08-04
简单介绍linux chmod命令的使用方法
eclipse里运行hadoop程序出现的错误总结
01-20
1、 错误： java.io.IOException: (null) entry in command string: null chmod 0644 解决方法： hadoop读取完毕，在往本地保存文件时出现的错误 在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll文件 2、 错误： org.apache.hadoop.io.nativeio.NativeIO$Win dows.createDirectoryWithMode0(Ljava/lang/String;I)V 解决办法： 原因：是你的hadoop.dll 文件和你当
Spark-Core编程
CDHong.it的技术分享博客
04-12 1733
Spark简介 Spark是加州大学伯克利分校AMP实验室开发的通用内存并行计算框架。Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，具有以下特点。 运行速度快：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。 易用性好：Spark不仅支持Scala编写应用程序，而且支持Java和P
idea执行spark sql报错：java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive
huazi99的博客
05-23 667
idea执行spark sql报错：java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive
大数据工程师面试题(七)
热门推荐
NLP学习者，通用人工智能实践者
02-26 4万+
9. 面试问题: 1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂) 2.hadoop 的 namenode 宕机,怎么解决 先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了， 重启即可，如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原
二、kafka项目实例
jenyzhang的专栏
07-10 2万+
http://www.cnblogs.com/darkprince/p/5114425.html 开发Kafka通用数据平台中间件 (含本次项目全部代码及资源) 目录： 一. Kafka概述 二. Kafka启动命令 三.我们为什么使用Kafka 四. Kafka数据平台中间件设计及代码解析 五.未来Kafka开发任务   一. Kafka概述 　　Kafka是L
监控tomcat日志——flume+kafka
xxs120的博客
04-13 3969
小编最近在研究使用flume监控tomcat的日志，以便及早发现问题，防止集群出现问题。初来乍到，确实踩了很多坑，一个简单的问题花了好几天的时间。在这做一个小小的总结。 最开始，我是在windows系统上做测试，在网上查了很多资料，网上的资料一般都是基于linux系统，所以很难借鉴。就是因此，导致了我再windows上测试了遇到许多问题，比如说tomcat日志没有catalina.out文件，t...
Kafka项目实战－用户日志上报实时统计之分析与设计
weixin_33774883的博客
04-25 128
1.概述 　　本课程的视频教程地址：《Kafka实战项目之分析与设计》 　 本课程我通过一个用户实时上报日志案例作为基础，带着大家去分析Kafka这样一个项目的各个环节，从而对项目的整体设计做比较合理的规划，最终让大家能够通过本课程去掌握类似Kafka项目的分析与设计。下面，我给大家介绍本课程包含的课时内容，如下图所示： 　　接下来，我们开始第一课时...
Spark
weixin_30279751的博客
07-26 387
Spark 2.x管理与开发 ==========Spark Core========== 一、什么是Spark？（官网：http://spark.apache.org） 1、什么是Spark？ 我的翻译：Spark是一个针对大规模数据处理的快速通用引擎。 Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010...
Spark初级编程实践
05-28
5. 使用Spark SQL：除了使用Spark Core API进行编程，还可以使用Spark SQL进行数据处理和分析。学习Spark SQL的基础知识，例如如何创建表、执行SQL查询等。 6. 学习Spark Streaming：如果需要进行实时数据处理，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

aimmon

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值