qq_40473204的博客

遇到错误：maven不能导入pom.xml的依赖原因是因为，setting-->Build,Execution,Deployment-->Build Tools-->Maven的Maven home path，User setting file和Local repository路径都要设置成本地的正确路径，设置完即可全部导入。导入的包中，部分import的包无法找到，也就是model目录下的文件使用maven install，因为之前已经使用了mvn cle...

启动：cd /usr/local/bin(ps -ef| grep redis)查看有没有启动redis-server /home/hadoop/Desktop/myredis/redis.conf

ReentrantLock（某种程度上相当于synchronized，但是扩展了很多功能）Condition实现等待/通知：package com.java.mul;import java.io.IOException;import java.io.PipedInputStream;import java.io.PipedOutputStream;public class Run { public static void main(String[] args) throws Int

方法wait的作用是使当前执行代码的线程进行等待，将当前线程置入预执行队列，在调用wait之前，线程必须获得该对象的对象级别锁，即只能在同步方法或者同步块中调用wait方法。方法notify也要在同步方法或同步块中调用，再执行notify方法后，要等到执行notify的方法的线程将程序执行完，也就是退出synchronized代码块后，当前线程才会释放锁。package com.java.mul;import com.java.mul.extthread.Alogin;import co

当涉及到多继承时，实现Runnable接口而不是继承Thread类，很有必要。package com.java.mul;import com.java.mul.extthread.Alogin;import com.java.mul.extthread.BLogin;public class multest { public static void main(String[] args) throws InterruptedException { // TODO Auto-ge.

Java实现多线程的方式1 继承Thread类（不支持多继承），2 实现Runnable接口线程调用有随机性。package com.java.mul;public class multest { public static void main(String[] args) throws InterruptedException { // TODO Auto-generated method stub MyThread mythread = new MyThread.

Spark Streaming重点知识//************* Spark Streaming是什么1、SPark Streaming是Spark中一个组件，基于Spark Core进行构建，用于对流式进行处理，类似于Storm。2、Spark Streaming能够和Spark Core、Spark SQL来进行混合编程。3、Spark Streaming我们主要关注： 1、Spark Streaming 能接受什么数据？ kafka、flume、HDFS、...

val df = spark.read.json("./examples/src/main/resources/people.json")（报错：Path does not exist: file:/home/hadoop/app/spark-2.1.1-bin-hadoop2.7/bin/examples/src/main/resources/people.json;）val df = spark.read.json("../examples/src/main/resources/peopl.

代码RDD创建1、sc.parallelize(seq) 把seq这个数据并行化分片到节点val a = sc.parallelize(List("a","b","c"))2、sc.makeRDD(seq) 把seq这个数据并行化分片到节点，他的实现就是parallelizeval aaa = sc.makeRDD(List("d","e","f"))3、sc.makeRDD(seq[(T,seq)] 这种方式可以指定RDD的存放位置val aa = sc.make...

RDD依赖关系（宽依赖，窄依赖，血统关系，DAG有向无环图）RDD持久化RDD检查点机制键值对RDD数据分区RDD累加器和广播变量

spark corespark core中最重要的部分：RDD（弹性分布式数据集，是spark计算的基石，为用户隐蔽了底层对数据的复杂抽象和处理，为用户提供了一组方便的数据转换与求值方法）val prdd = sc.parallelize(1 to 10)prdd.collectval lrdd = sc.parallelize(List("a","b","c"))lrdd.collectval mrdd = sc.makeRDD(0 to 10)mrdd.c...

scala actor并发编程模型可以用来开发比java线程效率更高的并发程序。java并发编程中，每个对象都有一个逻辑监视器（monitor），可以用来控制对象的多线程访问。我们添加sychronized关键字来标记，需要进行同步加锁访问。这样，通过加锁机制来确保同一时间只有一个线程访问共享数据。但是这种方式存在资源争夺，以及死锁问题，程序越大麻烦越大。...

scala不可变集合支持安全的并发访问195

option类型（用来避免空指针的遇到一次处理一次的繁琐操作）def divide(a:Int,b:Int):Option[int] = { if(b == 0) None else Some(a/b)}result1 = divide(10,0)result1 match{ case Some(x) => println() case None => println()}偏函数（是一个PartialFunction类的对象）

匹配类型 val a:Any = "hadoop" val result1 = a match { case x:String => s"${x}是一个String类型的数据" case x:Int => s"${x}是一个Int类型的数据" case x:Double => s"${x}是一个Double类型的数据" case _ => "未匹配" } println(result1) /

函数式编程指的是方法的参数列表可以接受函数对象1 foreach（遍历集合）格式def foreach(f:(A)=> Unit) : Unit//简写def foreach(函数)def main(args: Array[String]): Unit = { val list1 = List(1,2,3,4) list1.foreach((x:Int) => {println(x)}) //参数只有一个，类型可以通过类型推断 l.

trait适配器模式（有时候并不需要实现一个特征的所有方法，这时要用到适配器类）模板方法模式职责链设计模式D中的show执行了上面三个show（从右往左依次执行d,b,c,a）91

scala是基于JVM的多范式编程语言（函数式的面向对象语言）兼容java（可以访问java类库）静态类型，支持类型推断和模式匹配环境java版本 1.8scala版本 2.11.12（下载地址：https://www.scala-lang.org/download/2.11.12.html）IDEA 版本2020.3.2...

mapreduce：一系列的步骤，都写在了两个步骤里，不适合迭代计算（凸优化，梯度下降），没有办法做交互式数据挖掘（比如说，输入一次，等一个小时，再输入一次，进行计算），它擅长的是长时间大数据批量计算。迭代式计算：不断有新的计算产生，新的计算使用之前计算的结果...

chapter 24 编写简单的脚本实用工具