- 博客(35)
- 收藏
- 关注
RSS订阅转载 hadoop 异常
2019-09-20 22:49:51,955 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: s129/192.168.248.129:8020可能防火墙没有关闭 注意检查防火墙状态 或者是防火墙没有配置8020端口转载于:https://www.cnblog...
2019-09-20 23:07:00
162
转载 Hadoop 求单词count数
package com.yw.hadoop273;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;...
2019-09-19 10:27:00
123
转载 hadoop mapper reducer
Local模式运行MR流程------------------------- 1.创建外部Job(mapreduce.Job),设置配置信息 2.通过jobsubmitter将job.xml + split等文件写入临时目录 3.通过jobSubmitter提交job给localJobRunner, 4.LocalJobRunner将外部Job 转换成成内部Job 5.内部Job线程，开...
2019-09-18 22:34:00
135
转载 hadoop 节点退役和服役
节点的服役和退役(hdfs)----------------------黑白名单的组合情况-------------------------include //dfs.includeexclude //dfs.hosts.include白名单 黑名单include exclude InterpretationNo No 不能连接No ...
2019-09-18 20:29:00
166
转载 hadoop 空间配置
hadoop-------------- 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度.集群部署----------- 1.standard alone/local nothing. 2.伪分布式 一台机器. NN //目录 DN //DataNode,block（128M） ...
2019-09-16 22:55:00
128
转载 java 简单操作HDFS
创建java 项目package com.yw.hadoop273;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import org.junit.Test;...
2019-09-11 23:30:00
133
转载 hadoop 完全分布式搭建总结
完全分布式---------------1.配置文件[core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //伪分布 replication=3 //完全分布 [mapred-site.xml] yarn框架 mapreduce...
2019-09-09 23:01:00
516
转载 hadoop 批量处理脚本编写
编写shell脚本就是解决批量处理1. 在/usr/local/bin 创建脚本 并授权所有用户 chmod a+x xcall.sh xcall.sh比如：删除/tmp/*所有文件 批量删除4台服务器的/tmp/*所有文件 xcall.sh rm -rf /tmp/*2 rsync 远程同步 速...
2019-09-09 21:45:00
210
转载 CentOS6.8 克隆
克隆克隆前,先将上面安装好并且设置好的系统关机(1) 右键centos -->管理->克隆->下一步->下一步->完整克隆 ->克隆名称起名有意义点就行->位置尽量和虚拟机位置放在一起（建个文件夹）克隆完毕 要是克隆多台 可以重复(1)操作....
2019-09-04 00:43:00
130
转载 Hadoop 完全分布式搭建
搭建环境https://www.cnblogs.com/YuanWeiBlogger/p/11456623.html修改主机名------------------- 1./etc/hostname s129 2./etc/hosts 127.0.0.1 localhost 192.168.248.129 s129 192.168.248.128 s128 ...
2019-09-03 22:34:00
89
转载 hadoop 伪分布启动-fs格式化
1.独立模式(standalone|local) nothing! 本地文件系统。 不需要启用单独进程。 2.pesudo(伪分布模式) 等同于完全分布式，只有一个节点。 SSH: //(Socket), //public + private /server : sshd ps -Af | grep sshd //clint :...
2019-09-03 20:59:00
215
转载 hadoop 安装
hadoop 开源软件，可靠的、分布式、可伸缩的框架。分布在不同主机上的进程协同在一起构成的应用。大数据解决了两个问题----------------------1T = 1024G1P = 1024T1E = 1024P1Z = 1024E1Y = 1024Z1N = 1024Y 1.存储 分布式存储 2.计算 分布式计算分布式---------------...
2019-09-01 16:53:00
87
转载 Scala Actor入门
介绍Scala的Actor类似于Java中的多线程编程。但是不同的是，Scala的Actor提供的模型与多线程有所不同。Scala的Actor尽可能地避免锁和共享状态，从而避免多线程并发时出现资源争用的情况，进而提升多线程编程的性能。此外，Scala Actor的这种模型还可以避免死锁等一系列传统多线程编程的问题。Spark中使用的分布式多线程框架，是Akka。Akka也实...
2019-09-01 14:33:00
124
转载 Scala 隐式转换和隐式参数
介绍Scala提供的隐式转换和隐式参数功能，是非常有特色的功能。是Java等编程语言所没有的功能。它可以允许你手动指定，将某种类型的对象转换成其他类型的对象。通过这些功能，可以实现非常强大，而且特殊的功能。Scala的隐式转换，其实最核心的就是定义隐式转换函数，即implicit conversion function。定义的隐式转换函数，只要在编写的程序内引入，就会被Sc...
2019-09-01 14:30:00
92
转载 Scala 类型参数
介绍类型参数是什么？类型参数其实就类似于Java中的泛型。先说说Java中的泛型是什么，比如我们有List a = new ArrayList()，接着a.add(1)，没问题，a.add("2")，然后我们a.get(1) == 2，对不对？肯定不对了，a.get(1)获取的其实是个String——"2"，String——"2"怎么可能与一个Integer类型的2相等呢？...
2019-09-01 14:26:00
97
转载 Scala 类型参数
介绍类型参数是什么？类型参数其实就类似于Java中的泛型。先说说Java中的泛型是什么，比如我们有List a = new ArrayList()，接着a.add(1)，没问题，a.add("2")，然后我们a.get(1) == 2，对不对？肯定不对了，a.get(1)获取的其实是个String——"2"，String——"2"怎么可能与一个Integer类型的2相等呢？...
2019-09-01 14:26:00
99
转载 Scala 匹配模式
模式匹配// Scala是没有Java中的switch case语法的，相对应的，Scala提供了更加强大的match case语法，即模式匹配，类替代switch case，match case也被称为模式匹配// Scala的match case与Java的switch case最大的不同点在于，Java的switch case仅能匹配变量的值，比1、2、3等；而Scala的...
2019-09-01 13:45:00
72
转载 scala 函数式编程之集合操作
Scala的集合体系结构// Scala中的集合体系主要包括：Iterable、Seq、Set、Map。其中Iterable是所有集合trait的根trai。这个结构与Java的集合体系非常相似。// Scala中的集合是分成可变和不可变两类集合的，其中可变集合就是说，集合的元素可以动态修改，而不可变集合的元素在初始化之后，就无法修改了。分别对应scala.collecti...
2019-08-29 23:33:00
128
转载 Scala 函数式编程
将函数赋值给变量// Scala中的函数是一等公民，可以独立定义，独立存在，而且可以直接将函数作为值赋值给变量// Scala的语法规定，将函数赋值给变量时，必须在函数后面加上空格和下划线def sayHello(name: String) { println("Hello, " + name) }val sayHelloFunc = sayHello _say...
2019-08-29 23:11:00
98
转载 Scala 函数式编程
将函数赋值给变量// Scala中的函数是一等公民，可以独立定义，独立存在，而且可以直接将函数作为值赋值给变量// Scala的语法规定，将函数赋值给变量时，必须在函数后面加上空格和下划线def sayHello(name: String) { println("Hello, " + name) }val sayHelloFunc = sayHello _say...
2019-08-29 23:11:00
59
转载 Scala 面向对象编程之Trait
将trait作为接口使用// Scala中的Triat是一种特殊的概念// 首先我们可以将Trait作为接口来使用，此时的Triat就与Java中的接口非常类似// 在triat中可以定义抽象方法，就与抽象类中的抽象方法一样，只要不给出方法的具体实现即可// 类可以使用extends关键字继承trait，注意，这里不是implement，而是extends，在scala中...
2019-08-29 22:28:00
77
转载 Scala 面向对象编程之继承
extends关键字// Scala中，让子类继承父类，与Java一样，也是使用extends关键字// 继承就代表，子类可以从父类继承父类的field和method；然后子类可以在自己内部放入父类所没有，子类特有的field和method；使用继承可以有效复用代码// 子类可以覆盖父类的field和method；但是如果父类用final修饰，field和method用...
2019-08-29 22:27:00
137
转载 Scala 面向对象编程之对象
此对象非彼java bean对象 是scala object的对象Object// object，相当于class的单个实例，通常在里面放一些静态的field或者method// 第一次调用object的方法时，就会执行object的constructor，也就是object内部不在method中的代码；但是object不能定义接受参数的constructor// ...
2019-08-29 22:26:00
87
转载 Scala 面向对象编程之类
定义一个简单的类// 定义类，包含field以及方法class HelloWorld {private var name = "leo"def sayHello() { print("Hello, " + name) } def getName = name}// 创建类的对象，并调用其方法val helloWorld = new He...
2019-08-29 22:21:00
46
转载 Scala Map与Tuple
创建Map// 创建一个不可变的Mapval ages = Map("Leo" -> 30, "Jen" -> 25, "Jack" -> 23)ages("Leo") = 31// 创建一个可变的Mapval ages = scala.collection.mutable.Map("Leo" -> 30, "Jen" -> 25, "J...
2019-08-29 22:15:00
75
转载 Scala 算法案例
移除第一个负数之后的所有负数// 构建数组val a = ArrayBuffer[Int]()a += (1, 2, 3, 4, 5, -1, -3, -5, -9)// 每发现一个第一个负数之后的负数，就进行移除，性能较差，多次移动数组var foundFirstNegative = falsevar arrayLength = a.lengthvar...
2019-08-29 22:10:00
113
转载 Scala 数组操作之Array、ArrayBuffer以及遍历数组
ArrayBuffer在Scala中，如果需要类似于Java中的ArrayList这种长度可变的集合类，则可以使用ArrayBuffer。// 如果不想每次都使用全限定名，则可以预先导入ArrayBuffer类import scala.collection.mutable.ArrayBuffer// 使用ArrayBuffer()的方式可以创建一个空的Arra...
2019-08-29 22:08:00
333
转载 Scala 数组操作之数组转换
使用yield和函数式编程转换数组// 对Array进行转换，获取的还是Arrayval a = Array(1, 2, 3, 4, 5)val a2 = for (ele <- a) yield ele * ele// 对ArrayBuffer进行转换，获取的还是ArrayBufferval b = ArrayBuffer[Int]()b += (1...
2019-08-29 22:08:00
150
转载 Scala 函数入门之过程、lazy值和异常
Scala过程在Scala中，定义函数时，如果函数体直接包裹在了花括号里面，而没有使用=连接，则函数的返回值类型就是Unit。这样的函数就被称之为过程。过程通常用于不需要返回值的函数。过程还有一种写法，就是将函数的返回值类型定义为Unit。def sayHello(name: String) = "Hello, " + namedef sayH...
2019-08-26 22:41:00
86
转载 Scala 函数入门之默认参数和带名参数
Scala默认参数在Scala中，有时我们调用某些函数时，不希望给出参数的具体值，而希望使用参数自身默认的值，此时就定义在定义函数时使用默认参数。def sayHello(firstName: String, middleName: String = "William", lastName: String = "Croft") = firstName + " " + mi...
2019-08-26 22:37:00
104
转载 Scala 函数基础入门
函数的定义与调用在Scala中定义函数时，需要定义函数的函数名、参数、函数体。我们的第一个函数如下所示： def sayHello(name: String, age: Int) = { if (age > 18) { printf("hi %s, you are a big boy\n", name); age } e...
2019-08-26 22:29:00
85
转载 Scala 条件控制与循环
Scala if表达式·if表达式的定义：在Scala中，if表达式是有值的，就是if或者else中最后一行语句返回的值。·例如，val age = 30; if (age > 18) 1 else 0·可以将if表达式赋予一个变量，例如，val isAdult = if (age > 18) 1 else 0·另外一种写法，var i...
2019-08-26 22:22:00
77
转载 Scala 基础语法
Scala解释器的使用·REPL：Read（取值）-> Evaluation（求值）-> Print（打印）-> Loop（循环）。scala解释器也被称为REPL，会快速编译scala代码为字节码，然后交给JVM来执行。·计算表达式：在scala>命令行内，键入scala代码，解释器会直接返回结果给你。如果你没有指定变量来存放这个值，那么值默...
2019-08-26 22:08:00
110
转载 Scala 安装 Scala for Eclipse安装及运行hello word
Scala下载安装地址：https://www.scala-lang.org/download/。windows版本的安装包是scala-2.12.8.msi。直接滑动到网页最下面，下载对应的系统的文件解压就可以了.注意：安装scala之前需要先安装JAVA环境·使用下载下来的安装包安装Scala。·在PATH环境变量中，配置$SCALA_HOME/bin目录。...
2019-08-26 21:26:00
310
转载 flink linux安装 单机版
1.下载二进制的Flink,根据你喜欢的Hadoop/Scala版本选择对应的Flink版本。 https://flink.apache.org/downloads.html2.选择存放目录 解压 flink-1.7.2-bin-hadoop28-scala_2.11.tar 存放目录: /usr/local/flink 解压: tar -xvf flink-1.7.2-bin-had...
2019-08-26 20:53:00
334
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人