2019年12月_Aying_seeya

原创 SparkCore——弹性分布式数据集（RDD）的特性以及应注意的问题

RDD的五大特性：1.RDD是由一系列的partition组成的。2.函数是作用在每一个partition（split）上的。3.RDD之间有一系列的依赖关系。4.分区器是作用在K,V格式的RDD上。5.RDD提供一系列最佳的计算位置。RDD理解图:注意：textFile方法底层封装的是读取MR读取文件的方式，读取文件之前先split，默认split大小是一个block大小。R...

2019-12-31 10:52:13 333

原创 Spark提交任务模式详细流程

Spark基于Standalone-client 提交任务提交任务命令：./spark-submit --master spark://node1:7077 --class …jar…./spark-submit --master spark://node1:7077 --deploy-mode client --class …jar…Spark基于Standalone-cluster ...

2019-12-28 09:59:07 340

原创使用CentOs7（VirtualBox）搭建集群安装程序（jdk、hadoop、mysql、hive、hbase）

一、虚拟机准备cd /etc/sysconfig/network-scripts/修改文件：vim ifcfg-enp0s3 ONBOOTS=YES重启 init 0yum -y install net-tools拷贝并修改静态IP 、name、cp ifcfg-enp0s3 ifcfg-enp0s8添加网卡2（host-only）修改主机名hostnamectl set-...

2019-12-18 14:37:17 525

原创初始化HIVE时，执行bin/schematool -dbType mysql -initSchema 报错

初始化HIVE时，执行bin/schematool -dbType mysql -initSchema报错异常一：Metastore connection URL: jdbc:mysql://192.168.56.112/hive-demo?createDatabaseIfNotExist=true&useSSL=falseMetastore Connection Driver ...

2019-12-18 12:22:33 2646 2

原创 jdk1.8新特性

3.1.特殊的接口**类的二个要素是什么?**属性和方法属性三要素:(修饰符)类型,名字,值**方法五要素:**修饰符,返回值,方法名,形参,方法体**构造方法:**是一个特殊的方法;**抽象方法:**是一个特殊的方法抽象类是一个特殊的类接口是一个特殊的抽象类接口中的方法全部是抽象的接口中的属性全部是public static finalJdk1.8:新特性:在接口中的方法可...

2019-12-12 21:27:42 141

Zookeeper是什么？Zookeeper是一个分布式协调服务的开源概架，主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免网时操作同一数据造成脏读的间题，ZooKee区本质上是一个分布式的小文件存储系统，提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理，从而用来维护和监控你存储的数据的状态变化，通过监控这些数据状态的变化，从而可以达到基于数据的集群管理，...

2019-12-04 14:42:00 159

原创 Hadoop经典面试题

1.简单描述你对Hadoop集群SafeMode模式的理解？集群处于安全模式，不能执行重要操作（写操作），集群属于只读状态。但是严格来说，只是保证HDFS元数据信息的访问，而不保证文件的访问。集群启动完成后，自动退出安全模式，如果集群处于安全模式，想要完成写操作，需要离开安全模式。（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）（2）bi...

2019-12-03 18:44:06 483

Aying_seeyou的博客