大数据
文章平均质量分 92
qq_38558851
这个作者很懒,什么都没留下…
展开
-
spark-RDD编程 持久化,常用算子总结
spark-RDD编程 持久化,常用算子总结RDD编程RDD基础RDD:弹性分布式数据集(Resilient Distributed Dataset),是spark对数据的核心抽象,spark中RDD其实就是不可变的分布式的元素集合。创建RDD一般有两种方式:1、读取外部数据集;2、其他RDD转换。RDD创建出来后支持转换操作(transformation)和行动操作(action)两种操作。转换操作会把一个RDD生成一个新的RDD,行动操作会对RDD计算出一个结果。RDD特点RDD表示只读的原创 2021-02-25 15:40:21 · 278 阅读 · 0 评论 -
Java基础-面向对象(一)-修饰符、类和对象、方法、成员变量和局部变量
Java基础面向对象(一)一、Java修饰符访问控制修饰符default:(默认,什么都不写)同一包内可见。使用对象:类、接口、方法、变量。private:同一类内可见, 使用对象:变量、方法。public : 对所有类可见。使用对象:类、接口、变量、方法。protected : 对同一包内的类和所有子类可见。使用对象:变量、方法。访问控制和继承请注意以下方法继承的规则:父类中声明为 public 的方法在子类中也必须为 public。父类中声明为 protected 的方法在子类中要原创 2020-12-10 19:56:19 · 227 阅读 · 0 评论 -
hadoop、spark、flink集群修改默认ssh端口号
hadoop、spark、flink集群修改默认ssh端口号大数据集群在实际搭建过程中,其默认ssh端口不一定都是22,这时需要根据各自的配置文件进行适配。ssh端口号默认为22,以centos7.x为例,可以在/etc/ssh/sshd_config中进行修改,如下示例将22改为22222:# If you want to change the port on a SELinux system, you have to tell# SELinux about this change.# sema转载 2020-11-23 21:14:03 · 896 阅读 · 0 评论 -
流程控制与数组—Java基础学习(二)
Java基础流程控制与数组一、流程控制1.1顺序结构程序从上到下逐行执行,中间没有任何判断和跳转。1.2分支结构1.2.1 if条件语句格式:if(布尔表达式){ 语句或语句块}else if(布尔表达式){ 语句或语句块}else{ 语句或语句块}示例: public static void main(String[] args) { int grade = 78; if (grade < 0) {原创 2020-11-22 13:18:43 · 296 阅读 · 0 评论 -
Java运行机制,关键字,命名规则—Java基础学习(一)
Java基础一、Java运行机制,关键字,命名规则Java运行机制语言运行机制Java程序要经过先编译后解释,既具有编译型语言的特征,也具有解释型语言的特征。高级语言按照执行方式可以分为编译型语言和解释型语言。编译型语言:通过专门的编译器将高级语言一次性编译为可执行的机器码。如C、C++等解释型语言:通过专门的解释器将高级语言逐行解释成可执行的机器码。如Ruby、python等。JVMjava语言需要先进行编译,编译不会生成机器码,而是生成一种与平台无关的字节码(.class文件),再通过原创 2020-11-10 22:42:28 · 186 阅读 · 0 评论 -
flink集群搭建、错误总结
flink集群搭建、错误总结一、集群搭建flink Standalone模式集群部署,使用flink1.11版本 flink-1.11.1-bin-scala_2.12 .tgz ,安装环境为七个节点,一个jobmanager七个taskmanager。1、基础环境准备1.1、jdk1.8或者更高默认已安装1.2、主机名和hosts文件集群内完全对应。如下添加:IP1 hostname1IP2 hostname2IP3 hostname3IP4 hostname4IP5 hostnam原创 2020-10-27 22:15:21 · 6309 阅读 · 1 评论 -
MySQL安装Linux安装、Windows安装
Windows下安装MySQL从MySQL官网(http://www.mysql.com/downloads/mysql/)下载安装程序,本例中使用的是64位Windows版本(mysql-8.0.17-winx64)。解压配置MySQL如下图:[mysql]# 设置mysql客户端默认字符集default-character-set=utf8[mysqld]#设置3306端口port = 3306# 设置mysql的安装目录basedir=D:\\XXX\\Software原创 2020-10-27 21:55:32 · 123 阅读 · 0 评论 -
Flink写入Elasticsearch(es)问题汇总记录
Flink写入Elasticsearch问题汇总1、报错信息:org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: mapping source must be pairs of fieldnames and properties definition. at org.apache.flink.client.program.PackagedProgram.callMain原创 2020-10-14 20:13:10 · 3532 阅读 · 0 评论