- 博客(101)
- 收藏
- 关注
RSS订阅转载 Flume中的HDFS Sink配置参数说明
type：hdfspath：hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/filePrefix：默认值：FlumeData，写入hdfs的文件名前缀fileSuffix：写入 hdfs 的文件名后缀，比如：.lzo .log等。inUsePrefix：临时文件的文件名前缀，hdfs sink 会先往目标目录中写临时文件，再根据相关规...
2019-08-21 11:38:12
858
转载 tail -F,tail -f, tailf的区别
原文链接：https://blog.csdn.net/qq_15037231/article/details/78404261tail -f 等同于–follow=descriptor，根据文件描述符进行追踪，当文件改名或被删除，追踪停止tail -F 等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的...
2019-08-14 09:29:35
171
转载 MapReduce过程
原文链接：https://blog.csdn.net/yangshaojun1992/article/details/85003668一、分析MapReduce执行过程MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDF...
2019-08-14 08:18:43
257
转载 大数据面试题及答案（超详细）
原文链接：https://blog.csdn.net/albg_boy/article/details/78424509第1部分 选择题1.1 Hadoop选择题1.1.1 Hdfs 下面哪个程序负责 HDFS 数据存储？a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktra...
2019-08-14 08:14:09
12513
转载 Spark Streaming
Spark Streaming流式处理Spark Streaming介绍1.1 Spark Streaming概述1.1.1什么是Spark StreamingSpark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafk...
2019-07-22 20:26:00
429
转载 SparSql（详细）
1． Spark SQL概述1.1． Spark SQL的前世今生Shark是一个为Spark设计的大规模数据仓库系统，它与Hive兼容。Shark建立在Hive的代码基础上，并通过将Hive的部分物理执行计划交换出来。这个方法使得Shark的用户可以加速Hive的查询，但是Shark继承了Hive的大且复杂的代码使得Shark很难优化和维护，同时Shark依赖于Spark的版本。随着我们遇到...
2019-07-22 20:04:21
3343
1
转载 PvUv具体操作
一、 通过spark实现点击流日志分析案例1． 访问的pvpackage cn.bwimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object PV {def main(args: Array[String]): Unit = {//todo：创建sparkconf，设置...
2019-07-22 19:42:12
1715
转载 SparkRDDApi（超详细）
mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：//设置spark的配置文件信息val sparkConf: SparkConf = new SparkConf().setAppName(“WordCount”).setMaster(“local”)//构建sparkcontext上下文对...
2019-07-22 19:30:11
801
转载 RDD操作（超详细）
1、RDD操作详解1.1 基本转换mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：//设置spark的配置文件信息val sparkConf: SparkConf = new SparkConf().setAppName(“WordCount”).setMaster(“local”)/...
2019-07-16 21:22:17
7611
转载 Spark计算模型RDD(超详细)
二、 弹性分布式数据集RDD2. RDD概述2.1 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中，后续的查询能够重用这些数据，这极...
2019-07-16 21:20:05
1366
转载 Spark入门必看
什么是Spark（官网：http://spark.apache.org）Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、Grap...
2019-07-15 21:29:12
276
原创 SparkRDD算子详解（超详细）
mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：//设置spark的配置文件信息val sparkConf: SparkConf = new SparkConf().setAppName(“WordCount”).setMaster(“local”)//构建sparkcontext上下文对...
2019-07-12 10:43:15
675
转载 Scala之set方法（超详细）
1 def +(elem: A): Set[A]为集合添加新元素，x并创建一个新的集合，除非元素已存在2 def -(elem: A): Set[A]移除集合中的元素，并创建一个新的集合3 def contains(elem: A): Boolean如果元素在集合中存在，返回 true，否则返回 false。4 def &(that: Set[A]): Set[A]返...
2019-07-10 07:38:11
2570
1
转载 Scala之Map方法（超详细)
1 def ++(xs: Map[(A, B)]): Map[A, B]返回一个新的 Map，新的 Map xs 组成2 def -(elem1: A, elem2: A, elems: A*): Map[A, B]返回一个新的 Map, 移除 key 为 elem1, elem2 或其他 elems。3 def --(xs: GTO[A]): Map[A, B]返回一个新的 Ma...
2019-07-10 07:37:58
11812
转载 Scala(类、方法、对象、继承,tarit)超详细介绍
类、方法、对象、继承、特质Scala的类与Java、C++的类比起来更简洁，学完之后你会更爱Scala！！！1.1. 类1.1.1. 类的定义package cn.bw.class_demo/**在Scala中，类并不用声明为public类型的。Scala源文件中可以包含多个类，所有这些类都具有共有可见性。*/class Person {//用val修饰的变量是...
2019-07-10 07:37:45
1459
转载 Scala之List方法（超详细）
1 def +(elem: A): List[A]前置一个元素列表2 def ::(x: A): List[A]在这个列表的开头添加的元素。3 def :::(prefix: List[A]): List[A]增加了一个给定列表中该列表前面的元素。4 def ::(x: A): List[A]增加了一个元素x在列表的开头5 def addString(b: StringBuilde...
2019-07-09 20:49:21
6027
转载 Scala之数组方法（超详细）
1 def apply( x: T, xs: T* ): Array[T]创建指定对象 T 的数组, T 的值可以是 Unit, Double, Float, Long, Int, Char, Short, Byte, Boolean。2 def concat[T]( xss: Array[T]* ): Array[T]合并数组3 def copy( src: AnyRef, src...
2019-07-09 20:48:34
3319
1
转载 Scala之String方法（超详细）
char charAt(int index)返回指定位置的字符 从0开始int compareTo(Object o)比较字符串与对象int compareTo(String anotherString)按字典顺序比较两个字符串int compareToIgnoreCase(String str)按字典顺序比较两个字符串，不考虑大小写String concat(String st...
2019-07-09 20:47:42
5372
转载 Scala高级特性
高阶函数1.1. 概念Scala混合了面向对象和函数式的特性，我们通常将可以作为参数传递到方法中的表达式叫做函数。在函数式编程语言中，函数是“头等公民”，把函数最为参数或者是返回值是函数的函数叫高阶函数高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。1.2. 作为值的函数可以像任何其他数据类型一样被传递和操作的函数，每当你想要给算法传入具体动作时这个特性就会变得非常有用。...
2019-07-09 20:45:01
439
原创 Scala中break和continue用法
breakable在循环体外是break，在循环体内是continueimport scala.util.control.Breaksobject TestDemo02 {def main(args: Array[String]): Unit = {// 定义一个数组array，数组元素有（1,4,2,7,9,10）val array:Array[Int] = Array(1, 4...
2019-07-09 20:43:31
871
转载 Scala集合、数组、元组的使用
概述：该单元为scala中数组、元组、集合等操作的单元，包括数组、元组、集合的定义、添加、删除、修改、以及常用函数操作等重点。（1）变长数组ArrayBuffer在Sacla中，如果需要类似于JAVA中的ArrayList这种可变长度的集合类，则可以使用ArrayBuffer。① 语法//定义方式一var 变量名 = ArrayBuffer数据类型//定义方式二var 变量名 = A...
2019-07-09 20:39:03
1710
转载 Scala(值隐式转换、强制类型转换、数组、元组、集合、循环、判断大合集)
0.值类型隐式转换1.强制类型装换2.值类型和字符串类型的转换3.判断语句4.循环语句5.循环跳出语句6.元祖的介绍和使用7.数组的介绍和使用8.集合的介绍和使用0.隐式转换(高阶隐式转换和隐式函数,这里我们先不讲)当scala程序在进行赋值或者运算的时候,精度小的类型自动转换为精度大的类型,这个就是自动类型转换(隐式转换)//char -> Intvar a: ...
2019-07-09 20:37:10
1883
转载 Scala之（判断循环及元组）
数组的知识点的讲解，包括数组的遍历输出，数组的常用的函数等等。If判断知识点的讲解，包括三目运算符的讲解，以及CASE模式匹配的简单引入。For 循环中的遍历以及与breakable的完美结合，去展示相当于java中的continue与break 的 实现。Do while 与 while的区别于对比及知识点的讲解.（1）判断语句在Scala中，所有的值都有类型，包括数值和函数。①...
2019-07-09 20:33:15
922
转载 Scala入门
1.为什么要学习scala?2.scala的介绍3.与java语言的对比4.编译工具的安装5.main方法讲解6.常量和变量7.数据类型8.懒加载9.差值器1.为什么要学习scala?(1)spark底层是用scala来 ,要想学好spark 我们就必须会scala这门语言(2)scala语言有自己的有事无论是在变成的效率还是执行速度离线计算 -->在线计算...
2019-07-09 20:29:03
270
转载 Scala入门必看
Scala初识概述：作为scala入门的第一个单元重点掌握开发scala的工具的配置，以及环境的代表，本单元包括以下几个重点内容，main方法的讲解、方法和函数的区别、变量和常量的定义、懒加载的机制以及其应用、插值器的应用等重点。（1）数据类型在Scala中，所有的值都有类型，包括数值 和函数。① 图示② 描述Any是所有类型的超类型，也称为顶级类型。Any有两个直接子类：AnyV...
2019-07-09 20:26:34
329
转载 Scala基础
Scala编程语言抓住了很多开发者的眼球。如果你粗略浏览Scala的网站，你会觉得Scala是一种纯粹的面向对象编程语言，而又无缝地结合了命令式编程和函数式编程风格。Christopher Diggins认为：不太久之前编程语言还可以毫无疑意地归类成“命令式”或者“函数式”或者“面向对象”。Scala代表了一个新的语言品种，它抹平了这些人为划分的界限。根据David Rupp在博客中的说法，...
2019-07-05 19:25:30
282
转载 JSP入门必看
JSPJSP概述java server pages Java服务器页面JAVA+HTML = JSPJSP引擎JSP引擎与JSP容器指的是同样的东西，他们都指用来统一管理和允许Web应用程序的软件。常见的JSP引擎有Tomcat、JRun等，最常用的就是Tomcat安装JSP引擎的计算机，其实就是Web服务器。大多人把Tomcat说成Web服务器，但其实Tomcat只是JSP容器(引擎...
2019-06-25 21:06:45
177
转载 mysql入门及一些基础操作
一、初识MySQL数据库1.数据库的概述<1>数据库：Database长期存储在计算机内的，有组织的，可共享数据的集合。存储数据的仓库。(文件)<2>数据库管理系统：操作和管理数据库的软件。(软件)<3>数据库的类型:关系型数据库：基于二维表表现形式。(行和列的表现形式)非关系型数据库：NoSQL----Not only SQL键值对存储：Re...
2019-06-25 20:47:09
324
转载 Mysql面试题及答案大全
表– Student(sid,Sname,Sage,Ssex) 学生表CREATE TABLE student (sid VARCHAR(10) NOT NULL,sName VARCHAR(20) DEFAULT NULL,sAge DATETIME DEFAULT ‘1980-10-12 23:12:36’,sSex VARCHAR(10) DEFAULT NULL,PRIMAR...
2019-06-24 21:25:29
1274
转载 lambda方法引用
在学习lambda表达式之后，我们通常使用lambda表达式来创建匿名方法。然而，有时候我们仅仅是调用了一个已存在的方法。如下：Arrays.sort(stringsArray,(s1,s2)->s1.compareToIgnoreCase(s2));在Java8中，我们可以直接通过方法引用来简写lambda表达式中已经存在的方法。Arrays.sort(stringsArray, ...
2019-06-24 21:21:01
1562
转载 jdk新特性Stream
Java 8 API添加了一个新的抽象称为流Stream，可以让你以一种声明的方式处理数据。Stream 使用一种类似用 SQL 语句从数据库查询数据的直观方式来提供一种对Java 集合运算和表达的高阶抽象。Stream API可以极大提高Java程序员的生产力，让程序员写出高效率、干净、简洁的代码。这种风格将要处理的元素集合看作一种流， 流在管道中传输，并且可以在管道的节点上进行处理...
2019-06-24 21:16:35
320
转载 Lambda表达式
Lambda 表达式，也可称为闭包，它是推动 Java 8 发布的最重要新特性。Lambda 允许把函数作为一个方法的参数（函数作为参数传递进方法中）。使用 Lambda 表达式可以使代码变的更加简洁紧凑。语法lambda 表达式的语法格式如下：(parameters) -> expression或(parameters) ->{ statements; }以下是lam...
2019-06-24 21:15:12
1176
转载 Java_JVM
一、Java 平台与垃圾回收Jdk 和jre 的区别是什么Jvm 是实现java 跨平台的核心，负责解释执行class 文件Jre 是运行java 程序的环境的集合，包括jvm 标准实现以及java 核心类库，在编写java 程序的时候，会经常用到系统的类库，jvm 在解析执行class 文件的时候，会用到这些类库，在java 的安装目录下，通常会有bin和lib目录 ，这里的lib目录...
2019-06-24 21:10:55
704
原创 hive分区和分桶
分区分区的类型动态分区，静态分区个人观点： 分区的静态分区和普通的创建表没什么区别 because：静态分区的创建格式比普通的创建表格式只是多了一句话而已 partitioned by (p string)其他的什么也不多。 而且导入数据的时候也是可以通过正常的上传数据来上传# 传输数据的语法本地上传到静态分区中load data local inpath ‘所...
2019-06-21 11:20:17
355
原创 Hive
Hive的四中使用方式hive交互shell 切换到hive的家目录下的bin目录 使用 /hive命令。Hive JDBC服务 （参考java Jdbc 连接mysql）hive启动一个服务器，来对外提供服务hive命令导入数据把本地的数据导入到hive中 test是数据库原本是一个空白的表从hdfs集群导入数据创建表加上格式ROW FORMAT DEL...
2019-06-19 21:24:18
295
原创 SpringMVC拦截器
1.DispatcherServletSpringMVC具有统一的入口DispatcherServlet，所有的请求都通过DispatcherServlet。DispatcherServlet是前置控制器，配置在web.xml文件中的。拦截匹配的请求，Servlet拦截匹配规则要自已定义，把拦截下来的请求，依据某某规则分发到目标Controller来处理。 所以我们现在web.xml中加入以...
2019-06-19 15:01:54
172
原创 SpringMVC各种类型参数绑定的方式
SpringMVC的各种参数绑定方式基本数据类型(以int为例，其他类似)：Controller代码：@RequestMapping(“saysth.do”)public void test(int count) {}表单代码：......表单中input的name值和Controller的参数变量名保持一致，就能完成数据绑定，如果不一致可以使用@RequestParam...
2019-06-19 14:46:50
327
原创 SpingMvc的运行原理
一、 主要模块介绍Spring Core 核心容器 核心容器提供 Spring 框架的基本功能。核心容器的主要组件是 BeanFactory，它是工厂模式的实现。BeanFactory 使用控制反转 （IOC） 模式将应用程序的配置和依赖性规范与实际的应用程序代码分开。Spring Context 上下文 Spring 上下文是一个配置文件，向 Spring 框架提供上下文信息。Sprin...
2019-06-19 14:41:28
339
原创 Spring标签
各个标签的使用方法。1.要使用Spring MVC提供的表单标签，首先需要在视图页面添加：<%@ taglib prefix=“form” uri=“http://www.springframework.org/tags/form” %>2.form标签：<form:form modelAttribute=“contentModel” method=“post”>...
2019-06-19 14:33:14
1355
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人