qq_38558851-CSDN博客

原创 spark-RDD编程持久化，常用算子总结

spark-RDD编程持久化，常用算子总结RDD编程RDD基础RDD：弹性分布式数据集（Resilient Distributed Dataset），是spark对数据的核心抽象，spark中RDD其实就是不可变的分布式的元素集合。创建RDD一般有两种方式：1、读取外部数据集；2、其他RDD转换。RDD创建出来后支持转换操作（transformation）和行动操作（action）两种操作。转换操作会把一个RDD生成一个新的RDD，行动操作会对RDD计算出一个结果。RDD特点RDD表示只读的

2021-02-25 15:40:21 283

原创 Java基础-面向对象（一）-修饰符、类和对象、方法、成员变量和局部变量

Java基础面向对象（一）一、Java修饰符访问控制修饰符default：（默认，什么都不写）同一包内可见。使用对象：类、接口、方法、变量。private：同一类内可见，使用对象：变量、方法。public : 对所有类可见。使用对象：类、接口、变量、方法。protected : 对同一包内的类和所有子类可见。使用对象：变量、方法。访问控制和继承请注意以下方法继承的规则：父类中声明为 public 的方法在子类中也必须为 public。父类中声明为 protected 的方法在子类中要

2020-12-10 19:56:19 237

转载 hadoop、spark、flink集群修改默认ssh端口号

hadoop、spark、flink集群修改默认ssh端口号大数据集群在实际搭建过程中，其默认ssh端口不一定都是22，这时需要根据各自的配置文件进行适配。ssh端口号默认为22，以centos7.x为例，可以在/etc/ssh/sshd_config中进行修改，如下示例将22改为22222：# If you want to change the port on a SELinux system, you have to tell# SELinux about this change.# sema

2020-11-23 21:14:03 909

原创流程控制与数组—Java基础学习（二）

Java基础流程控制与数组一、流程控制1.1顺序结构程序从上到下逐行执行，中间没有任何判断和跳转。1.2分支结构1.2.1 if条件语句格式：if(布尔表达式){ 语句或语句块}else if(布尔表达式){ 语句或语句块}else{ 语句或语句块}示例： public static void main(String[] args) { int grade = 78; if (grade < 0) {

2020-11-22 13:18:43 300

原创 Java运行机制，关键字，命名规则—Java基础学习（一）

Java基础一、Java运行机制，关键字，命名规则Java运行机制语言运行机制Java程序要经过先编译后解释，既具有编译型语言的特征，也具有解释型语言的特征。高级语言按照执行方式可以分为编译型语言和解释型语言。编译型语言：通过专门的编译器将高级语言一次性编译为可执行的机器码。如C、C++等解释型语言：通过专门的解释器将高级语言逐行解释成可执行的机器码。如Ruby、python等。JVMjava语言需要先进行编译，编译不会生成机器码，而是生成一种与平台无关的字节码（.class文件），再通过

2020-11-10 22:42:28 192

原创 Akka学习

AkkaAkka中文文档：https://zhan-ge.gitbooks.io/akka-scala/content/Akka文档简介特点Akka提供可拓展的实时事务处理。Akka是一个运行时与编程模型一致的系统。为以下目标设计垂直拓展（并发）水平拓展（远程调用）高容错在Akka的世界里，只有一个内容需要学习和管理，具有高内聚和高一致的语义。优势AKKA提供一种Actor并发模型，其粒度比线程小很多，这意味着你可以在项目中使用大量的Actor。Akka提供了一套容错机制，允许在A

2020-11-08 16:53:48 186

原创 flink集群搭建、错误总结

flink集群搭建、错误总结一、集群搭建flink Standalone模式集群部署，使用flink1.11版本 flink-1.11.1-bin-scala_2.12 .tgz ，安装环境为七个节点，一个jobmanager七个taskmanager。1、基础环境准备1.1、jdk1.8或者更高默认已安装1.2、主机名和hosts文件集群内完全对应。如下添加：IP1 hostname1IP2 hostname2IP3 hostname3IP4 hostname4IP5 hostnam

2020-10-27 22:15:21 6367 1

原创 MySQL安装Linux安装、Windows安装

Windows下安装MySQL从MySQL官网（http://www.mysql.com/downloads/mysql/）下载安装程序，本例中使用的是64位Windows版本（mysql-8.0.17-winx64）。解压配置MySQL如下图：[mysql]# 设置mysql客户端默认字符集default-character-set=utf8[mysqld]#设置3306端口port = 3306# 设置mysql的安装目录basedir=D:\\XXX\\Software

2020-10-27 21:55:32 125

原创 Flink写入Elasticsearch（es）问题汇总记录

Flink写入Elasticsearch问题汇总1、报错信息:org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: mapping source must be pairs of fieldnames and properties definition. at org.apache.flink.client.program.PackagedProgram.callMain

2020-10-14 20:13:10 3571

TA关注的人

qq_38558851的博客