- 博客(66)
- 收藏
- 关注
RSS订阅原创 spark考试题
一、单项选择题1、下面哪个操作是窄依赖？（B）窄依赖是指1个父RDD分区对应1个子RDD的分区。换句话说，一个父RDD的分区对应于一个子RDD的分区，或者多个父RDD的分区对应于一个子RDD的分区。所以窄依赖又可以分为两种情况：1个子RDD的分区对应于1个父RDD的分区，比如map，filter，union等算子1个子RDD的分区对应于N个父RDD的分区，比如co-partioned jo...
2020-01-02 14:33:29
6859
原创 微服务-3.高可用
一.什么是高可用Eureka Server集群在实际开发中,微服务实例可能有几十上百个之多，由于Eureka Server需要承担服务的注册任务,当服务数量一多，Eureka Server就需要承担非常高的负载，在SpringCloud中我们可以实现Eureka Server的高可用集群来减小负载，简而言之就是多创建几个Eureka Server程序相互注册来分担注册中心的压力。二.项目改造...
2019-12-27 16:07:07
354
原创 微服务-2.负载均衡Ribbon
在上一个微服务模拟场景的基础上我们来搭建负载均衡完整的初级微服务模拟场景点这里！！！一.Ribbon是什么1、Sping Cloud Ribbon是基于Netflix Ribbon实现的一套客户端负载均衡的工具。简单的说,Ribbon是Netflix发布的开源项目,主要功能是提供客户端的软件负载均衡算法,将Netflix的中间层服务连接在一起。Ribbon客户端组件提供一系列完整的配置项如...
2019-12-27 11:01:15
249
原创 微服务--1.微服务场景模拟遇到的问题
错误1：I/O error on GET request for “http://user-service/hi”: user-service; nested exception is java.net.UnknownHostException: user-service解决错误1的方法：添加依赖：<dependency> <groupId>...
2019-12-26 19:08:48
362
原创 微服务--1.微服务场景模拟
新建一个springboot项目（D:/idea2/cloud-project）在这个大项目下新建4个maven项目分别为：user-service-project；user-consumer-project；user-conmmen-project；eureka-server-project代码如下：user-service-project；livia.mapper.Coun...
2019-12-26 18:40:10
233
原创 复习5-----Java多线程
线程两种方式：1.extends （继承类）2.implements （实现接口）区别：一、extends是继承类，implements是实现接口。类只能继承一个，接口可以实现多个。extends继承父类的时候可以重写父类的方法，也可以调用父类的非私有方法；implements实现接口，必须实现接口的所有方法。二、extends后面跟的是类，表示继承关系；如public cla...
2019-12-11 16:00:16
138
原创 复习4---数组与集合
数组声明了它容纳的元素的类型集合不声明。数组是静态的，一个数组实例具有固定的大小，一旦创建了就无法改变容量了集合是可以动态扩展容量，可以根据需要动态改变大小，集合提供更多的成员方法，能满足更多的需求。数组的存放的类型只能是一种（基本类型/引用类型）集合存放的类型可以不是一种(不加泛型时添加的类型是Object)。数组是java语言中内置的数据类型,是线性排列的,执行效率或者类型检查都是...
2019-12-11 15:19:25
122
原创 kafkatool安装并连接linux
下载kafkatool_64bit.exe安装（傻瓜式安装，一直next，可以自己选择安装路径）连接linux：点击File —> add new connection… —>填写如下内容：填写完成后不会自动更新，重启软件：这里就出现了我们刚刚连接的！...
2019-12-11 13:42:38
1312
1
原创 运行D:/idea2/bgd-parent（用户统计项目）项目需要注意事项
1、kafka修改：bgd-realtime/src/main/resources/config.propertiesbgd-logger/src/main/resources/application.properties2、创建自己的topic[root@hdp-1 bin]# ./kafka-topics.sh \--zookeeper hdp-1:2181 \--create...
2019-12-11 10:04:58
138
原创 解决hadoop集群与ES集群不能同时启动问题：
cd /[root@hdp-1 ~]# cd /[root@hdp-1 /]# ll总用量 28lrwxrwxrwx. 1 root root 7 3月 31 2019 bin -> usr/bindr-xr-xr-x. 5 root root 4096 3月 31 2019 bootdrwxr-xr-x. 20 root root 3220 12月 9 ...
2019-12-09 14:26:03
242
原创 Flink安装配置---高可用
（1）vi masters[root@hdp-1 conf]# vi mastershdp-1:8081hdp-2:8081（2）vi slaves[root@hdp-1 conf]# vi slaves hdp-2hdp-3hdp-4（3）vi flink-conf.yaml#=================================================...
2019-12-06 16:09:54
165
原创 Flink安装配置
下载安装包：flink-1.6.1-bin-hadoop28-scala_2.11.tgz下载地址：https://archive.apache.org/dist/flink/flink-1.6.1/解压安装包：tar -zxvf flink-1.6.1-bin-hadoop28-scala_2.11.tgz修改配置文件（路径/root/apps/flink-1.6.1/conf）：（...
2019-12-06 16:03:20
219
原创 复习4,---Java中的stream
什么是streamstream（流）是一个来自数据源的元素队列并支持聚合操作元素是特定类型的对象，形成一个队列，Java中的stream并不会储存元素，而是根据需要去计算数据源是流的来源聚合操作是类似sql语句一样的操作stream操作基础特征：Pipelinling：中间操作都会返回流对象本身，这样多个操作连成一个管道，如同流式风格，这样可以对操作进行优化，比如延迟执...
2019-12-06 13:42:01
137
原创 azkaban实例
1、Command 类型之单 job 工作流案例在本地创建后缀名为.job的文本文件command.job文本文件内容为：#command.jobtype=commandcommand=echo 'hello'在把文件打成zip压缩包登录到https://hdp-3:8443，通过 azkaban 的 web 管理平台创建 project 并上传 job 压缩包...
2019-12-05 14:31:20
134
原创 Azkaban安装配置
拖入并解压安装包：azkaban.zipunzip azkaban.zip 如果没有unzip ，需要下载插件：yum install unzip解压完毕我们可以看见 /root/apps/下多了一个文件夹 “share1”：[root@hdp-3 apps]# ll总用量 394100drwxr-xr-x. 8 root root 159 6月 4 2019 ...
2019-12-05 08:40:56
207
原创 登录azkaban 启动 web 服务器时报错unknown database ‘azkaban’
错误信息：是因为mysql中没有databases azkzban库解决方法：在mysql中新建database，并且导入表create-all-sql-2.5.0.sqlmysql> CREATE DATABASE azkaban;mysql> use azkaban;Database changedmysql> source /root/apps/azkaba...
2019-12-05 08:39:50
256
原创 复习3----浅谈Java中的单例模式，静态方法，与非静态方法
静态方法：与静态成员变量一样，属于类本身，在类装载的时候被装载到内存中，不会进行自动销毁，会一直存在内存中，直到JVM（Java Virtual Machine（Java虚拟机）的缩写）关闭非静态方法：又称实例化方法，属于实例对象，实例化之后才能分配内存，必须通过类的实例来引用，当实例对象被JVM回收之后，也跟着消失区别（1）生命周期：静态方法的生命周期是从进程创建就开始的，一直到进程结束，...
2019-12-04 14:38:49
376
原创 mysql修改密码
hdp-3systemctl stop mysql.service //停止mysql服务mysqld_safe --skip-grant-tables & //跳过权限进入Clone session：hdp-3(2)systemctl start mysql.service //开启mysql服务mysql -u root //登录mysqlu...
2019-12-03 16:46:16
118
原创 复习2
Java基础—方法重载、重写1.什么叫重载？什么叫重写？(重载（overload）：方法名称一样，参数列表不一样。（所有类均可发生）。重写（override）：方法名字一样，参数列表也一样。（一般发生在继承实现中）。2.方法重载的理解？(返回类型必须一样，不然编译报错)（以同一个类举例）重载一般是类中有多个方法名字相同，但是传入的参数个数，类型不一样就叫重载。假设你你的方法有两个相同名字...
2019-12-03 16:06:01
112
原创 复习1
一、Java面向对象Java的类由两部分组成：1，静态的属性，2、动态的方法访问权限：public private protected构造方法：作用是实例化 、new的时候调用普通方法：（有参、无惨、访问权限、返回值类型）...
2019-12-03 14:17:20
123
原创 binlog--2
五、恢复binlog日志实验在mysql的livia库下新建一个sqoopthree表：CREATE TABLE IF NOT EXISTS `sqoopthree` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(16) NOT NULL, `sex` ...
2019-12-03 10:46:26
135
原创 sqoop命令记录
1）列出mysql数据库中的所有数据库./sqoop list-databases --connect jdbc:mysql://hdp-3:3306/ --username root --password lwy927212)连接mysql并列出test数据库中的表./sqoop list-tables --connect jdbc:mysql://hdp-3:3306/frame --...
2019-12-02 15:08:18
167
原创 sqoop
1、解压安装包：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2、修改配置文件： cd apps/sqoop-1.4.7.bin__hadoop-2.6.0/conf/ cp sqoop-env-template.sh sqoop-env.sh vi sqoop-env.sh 修改内容如下：#Set path to where bin/hadoop i...
2019-12-02 10:10:56
1222
原创 修改linux下mysql权限
mysql> grant all privileges on *.* to root@'%';Query OK, 0 rows affected (0.00 sec)mysql> flush privileges;Query OK, 0 rows affected (0.00 sec)
2019-11-29 16:21:47
164
原创 binlog
什么是二进制日志(binlog)binlog是记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志。binlog不会记录SELECT和SHOW这类操作，因为这类操作对数据本身并没有修改，但你可以通过查询通用日志来查看MySQL执行过的所有语句（可以用来恢复文件）。误解一:binlog只是一类记录操作内容...
2019-11-29 14:51:20
307
原创 linux下新建库和表
创建数据库livia1129create database livia1129;显示所有数据库列表show livia129;删除数据库livia1129drop database livia1129;创建表：use livia1129;create table livia1(id int,name nvarchar(255));插入内容insert into liv...
2019-11-29 14:49:03
478
原创 Map与PartitionMap的区别
主要区别：map是对rdd中的每一个元素进行操作；mapPartitions则是对rdd中的每个分区的迭代器进行操作，可能导致OOM（OOM，全称“Out Of Memory”，翻译成中文就是“内存用完了”，来源于java.lang.OutOfMemoryError。）PartitionMap的优点：如果是普通的Map，比如一个partition中有一万条数据，那么你的function要执...
2019-11-28 14:55:29
546
原创 Spark中的基本概念
1、Application：表示你的应用程序2、Dirver：表示main（）函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配与监控等 。程序执行完毕后关闭SparkContext。3、Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些Task，并且将数据储存在内存或...
2019-11-27 18:47:17
189
原创 spark阶段测试题
1、map和flatMap的区别理解val words: RDD[String] = lines.flatMap(_.split(","))答：flatMap把数据源打散，规则function作用于每一个打散后的数据源。而map作用于整个数据源案例：`package zpark1127.pmimport org.apache.spark.rdd.RDDimport org.apac...
2019-11-27 18:24:33
354
原创 SCALA中:: , +:, :+, :::, +++的区别
4种操作符的区别和联系:: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为x::list,其中x为加入到头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素，也就是说新生成的列表长度为list的长度＋1(btw, x::list等价于list.::(x)scala> var list = List(1,2,3)list: List[Int]...
2019-11-27 08:37:16
203
原创 Scala的Option中的Some和None
大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人疑惑的选择。为什么要在程序员希望返回一个对象的时候返回一个关键字呢？为了让所有东西都是对象的目标更加一致，也为了遵循函数式编程的习惯，Scala鼓励你在变量和函数返回值可能不会引用任何值...
2019-11-26 15:11:23
200
原创 SparkStreaming
1、添加依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.2.0</vers...
2019-11-21 19:52:54
101
原创 HIVE-on-Spark
hive底层是通过MR进行计算，将其改变为SparkCore来执行配置步骤1.在不是高可用集群的前提下，只需要将Hadoop安装目录中的core-site.xml拷贝到spark的配置conf文件目录下即可(hdp-4)cp core-site.xml /root/apps/spark-2.4.4-bin-hadoop2.7/conf/2.将hive安装路径下的hive-site....
2019-11-20 19:13:13
166
原创 Scala SQL
创建DataFrames1）spark-shell版本spark中已经创建好了SparkContext和SQLContext对象2）代码：(快捷搜索：ctrl+R+shell（shell可以替换成要搜索的命令词）)./spark-shell --master spark://hdp-1:7077 --executor-memory 500m --total-executor-cores...
2019-11-20 09:39:56
1249
原创 Spark的缓存Cache
1、依次启动hdfs（根路径下：start-all.sh）、zookeeper（根路径下：./zkmanager start）、spark-shell（spark的sbin路径下）./spark-shell --master spark://hdp-1:7077 --executor-memory 500m --total-executor-cores 12、读取hdfs上的文件：...
2019-11-19 15:46:02
264
原创 Stream
1、什么是StreamStream是一种可供流式操作的数据视图有些类似数据库中视图的概念它不改变源数据集合如果对其进行改变的操作它会返回一个新的数据集合。总的来讲它有三大特性：1、stream不存储数据2、stream不改变源数据3、stream的延迟执行特性2、Stream优点代码简洁，函数式编程写出的代码简洁且意图明确，使用stream接口让你从此告别for循环。多核友好...
2019-11-14 21:37:37
132
原创 lambda表达式
1、基本语法：(parameters) -> expression 或者：(parameters) ->{ statements;}例如：package zpark;public class ThreadTest { public static void main(String[] args) { //新线程(之前方法） ...
2019-11-14 14:35:44
177
原创 scala编写wordcount打包集群运行
Idea新建maven工程1、添加依赖如下：<properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> &l...
2019-11-14 13:40:11
143
原创 spark安装配置及其spark shell练习
1、下载spark压缩包，在虚拟机上解压安装2、配置 在conf中复制spark-env.sh.template并重命名为spark-env.sh mv spark-env.sh.templatespark-env.sh文件中添加如下配置：export JAVA_HOME=/root/apps/jdk1.8.0_201#export SPARK_MASTE...
2019-11-14 11:48:31
323
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人