自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(18)
  • 资源 (2)
  • 收藏
  • 关注

原创 Stream Api一览

Stream​ Java8中有两大最为重要的改变。第一个是Lambda表达式;另外一个则是Stream API(java.uti1.stream.*)。Stream是Java8中处理集合的关键抽象概念,它可以指定你希望对集合进行的操作,可以执行非常复杂的查找、过滤和映射数据等操作。使用Stream API对集合数据进行操作,就类似于使用SQL执行的数据库查询。也可以使用Stream API来并行执行操作。简而言之,Stream API 提供了一种高效且易于使用的处理数据的方式。什么是Stream流(

2020-09-17 22:31:44 523

原创 0202还有不会用lambda表达式的吗?

lambdaLambda 是一个匿名函数,我们可以把 Lambda 表达式理解为是一段可以传递的代码(将代码 像数据一样进行传递)。可以写出更简洁、更 灵活的代码。作为一种更紧凑的代码风格,使 Java的语言表达能力得到了提升。 @Test public void LambdaExTest1(){ //匿名内部类 Runnable r1 = new Runnable(){ @Override public vo

2020-09-03 22:07:44 99

原创 Pedicate的使用

Pedicate源码解释:/** * Represents a predicate (boolean-valued function) of one argument. * * <p>This is a <a href="package-summary.html">functional interface</a> * whose functional method is {@link #test(Object)}. * * @param <T>

2020-09-03 20:51:00 552

转载 HBase使用Java Api连接异常

)问题:JAVA api 远程hbase出错org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:Tue Jul 19 16:36:05 CST 2016, null, java.net.SocketTimeoutException: callTimeout=...

2018-11-25 21:43:51 1162

转载 flume采集数据易出现的bug

https://blog.csdn.net/weixin_42660202/article/details/81503449

2018-10-24 14:56:01 1084

转载 git操作

在git push的时候,有时候我们会想办法撤销git commit的内容1、找到之前提交的git commit的idgit log找到想要撤销的id2、git reset –hard id完成撤销,同时将代码恢复到前一commit_id 对应的版本3、git reset id完成Commit命令的撤销,但是不对代码修改进行撤销,可以直接通过git commit 重新提交对本地代码的...

2018-10-19 11:12:36 104

原创 Scala学习进击Spark(七): Scala函数高阶操作

字符串高级操作多行匿名函数currying函数高阶函数map的使用filter的使用reducescala中集合类iterator特质的化简和折叠方法c.reduceLeft(op)这样的调用将op相继应用到元素,如:eg:val a = List(1,7,2,9)val a1 = a.reduceLeft(_ - _)// ((1-7) - 2...

2018-10-17 15:42:34 662 1

原创 Scala学习进击Spark(六): Scala模式匹配

基本数据类型模式匹配Java: 对一个值进行条件判断,返回针对不同条件进行不同的处理scala:变量 match{case value1 =&amp;gt;代码1case value1 =&amp;gt;代码1}Array模式匹配List模式匹配类型匹配Scala异常处理case class模式匹配...

2018-10-16 16:01:53 179

原创 Scala学习进击Spark(五): Scala集合

数组不可变数组:object ArrayApp extends App { val a = new Array[String](5) println(a.length) a(1) = "hello" foreachList(a) println() val b = Array("hadoop","spark","hive") foreachList(b) v...

2018-10-11 14:52:50 367

原创 Scala学习进击Spark(四): Scala面向对象

面向对象的概述封装:属性、方法封装到类中User : int id,String name,Date birthday …继承:父类和子类之间的关系User extends Person多态(☆)父类引用指向子类对象 精髓所在 开发框架的基石Person person = new Person()User user = new User()Person person = ...

2018-10-11 11:04:44 170

原创 Scala学习进击Spark(三): Scala函数及在spark源码中的使用

一:方法的定义def 方法名(参数名:参数类型):返回值类型 = { //括号内的叫做方法体 //方法内的最后一行为返回值,不需要使用return}☆注意点 if else比较多的时候注意返回值调用没有入参的函数时,可以不用写括号Scala默认参数的使用默认参数:在函数定义时,允许指定参数的默认值不传值时,默认值为PK,传值时使用传值值命名参数的使用(顺序没有关...

2018-10-10 11:32:29 233

原创 Scala学习进击Spark(二):Scala入门

一:val vs varval :为一个值,不能重新赋值 与java中 final修饰的变量相同使用方法: val 值名称:类型 = xxx (:类型可以省略)var 为一个变量var 值名称:类型 = xxx日常使用中优先使用val二:Scala基本数据类型Byte/CharShort/Int/Long/Float/DoubleBooleanScala能自动推导...

2018-10-10 09:39:25 204

原创 Scala学习进击Spark(一):初识Scala

scala环境搭建1.首先,确保安装了Java 8 JDK及以上版本。2.下载scala官网下载地址:https://www.scala-lang.org/download/下载你所需要的对应版本☆常见问题:点击下载可能出现下载慢或者无法下载的解决办法3,下载解压安装后配置环境变量下载后,双击 msi 文件,一步步安装即可,安装过程,可以使用默认的安装目录。安装好scala后,...

2018-10-09 17:06:55 364

原创 Spark遇到的坑

(1) 坑一 会报如下的错误[ERROR] Failed to execute goal on project spark-launcher_2.11: Could not resolve dependencies for project org.apache.spark:spark-launcher_2.11:jar:2.2.0: Could not find artifact org.apa...

2018-09-27 16:50:54 761 1

原创 “沙漏形状”算法题

package 沙漏;import java.util.Scanner;public class shaLou { public static void main(String[] args) { Scanner sc = new Scanner(System.in); System.out.println("请输入数字:"); int num = sc.nextInt();

2017-08-16 08:11:32 2666

原创 用代码实现以下需求

(1)定义学生类,包含姓名(String name),性别(String gender),年龄(int age)三个属性,生成空参有参构造,set和get方法,toString方法(2)键盘录入6个学员信息(录入格式:张三,男,25),要求有两个相同的信息,将6个学员信息存入到ArrayList集合中(3)将存有6个学员信息的ArrayList集合对象写入到D:\\StudentInfo.

2017-08-13 21:32:55 2724

原创 错误0x80070522错误问题

解决办法:打开命令提示符(cmd),执行命令 icacls c:\ /setintegritylevel M不同磁盘出现问题每个都需要执行一次(记得切换盘符)

2017-08-12 10:23:59 7015

原创 键盘录入一个文件夹路径,统计该文件夹(包含子文件夹)中每种类型的文件及个数

//javaSE的复习中偶然遇到这个IO流问题,做一次发现还有许多的不足//总结如下:①递归调用问题 第一次把Set集合放在调用函数中,每次递归调就会创建一个新的Set对象,导致无法存储文件后缀对象 ②集合问题 在迭代器中两个集合比较,会出现异常package ceShi;import java.io.File;import java.util.ArrayList;

2017-08-11 21:24:58 3448 1

韩顺平scala280讲,scala,尚硅谷

韩顺平scala280讲,scala,尚硅谷,近年来随着大数据的兴起,大数据核心框架Spark和Kafka也受到到广泛关注, Spark底层是Scala实现的, 因此也带火了Scala语言,目前Scala被全球知名公司(如:谷歌、百度、阿里、Twitter、京东等)广泛用于Spark开发。新一代的物联网时代到来,会对大数据应用人才的需求越加紧迫。 尚硅谷网罗和整合了学员很喜爱的师资,打造出专注于Spark开发的Scala课程,我们讲解Scala核心编程技术,同时也讲解编程思想、设计模式和Scala底层实现,让您有豁然开朗的感受。

2019-06-03

SparkSQL日志分析用户行为日志

以慕课网日志分析为例 进入大数据 Spark SQL 的世界用户行为日志加浏览器用户行为日志

2018-12-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除