关闭

Flink学习笔记:3、Flink分布式模式(Standalone)

在http://blog.csdn.net/chengyuqiang/article/details/78599127,我们已经在node1节点上下载了Flink软件包。3.1 配置文件3.1.1 flink-conf.yaml 参数 默认值 修改值 说明 jobmanager.rpc.address localhost 配置JobManager进行RPC通信的地址...
阅读(58) 评论(0)

Flink学习笔记:2、Flink介绍

2、Flink介绍Some of you might have been already using Apache Spark in your day-to-day life and might have been wondering if I have Spark why I need to use Flink? The question is quite expected and the com...
阅读(68) 评论(0)

MySQL/MariaDB SQL操作笔记

1、修改表字段类型alter table nodes modify column info varchar(200)示例操作入下:MariaDB [dbmanager]> alter table nodes modify column info varchar(200); Query OK, 0 rows affected (0.02 sec) Records: 0...
阅读(27) 评论(0)

Hadoop-2.7.3源码分析:MapReduce作业提交源码跟踪

1、提交JobMapReduce程序框架请参考 http://blog.csdn.net/chengyuqiang/article/details/72804007@Override public int run(String[] args) throws Exception { //读取配置文件 Configuration conf = getConf()...
阅读(120) 评论(0)

Hadoop源码分析:HDFS读取文件

Hadoop源码分析:HDFS读取文件上一篇博客http://blog.csdn.net/chengyuqiang/article/details/78636721分析了HDFS的DistributedFileSystem对象的创建过程。 然后就可以按照HDFS的API对HDFS中的文件和目录进行操作了,如列出某个目录中的文件和子目录、读取文件、写入文件等。1.1 FileSystem.open(...
阅读(200) 评论(0)

Hadoop源码分析:FileSystem类

1、org.apache.hadoop.conf包org.apache.hadoop.conf包位于hadoop-common模块下 1.1 Configurable 接口package org.apache.hadoop.conf;import org.apache.hadoop.classification.InterfaceAudience; import org.apache.hadoop...
阅读(98) 评论(0)

Hadoop源码分析:Writable接口和WritableComparable接口

1、 Writable接口由于Hadoop的MapReduce和HDFS都有通信的需求,需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化,而是引入了它自己的系统。 org.apache.hadoop.io中定义了大量的可序列化对象,他们都实现了Writable接口。1.1 Writable接口源码package org.apache.hadoop.io;import java.i...
阅读(57) 评论(0)

Hive数据倾斜问题总结

Hive数据倾斜问题总结1、MapReduce数据倾斜Hive查询最终转换为MapReduce操作,所以要先了解MapReduce数据倾斜问题。MapReduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多),这条key所在的reduce节点所处理的数据量比其他...
阅读(62) 评论(0)

Flink学习笔记:1、Flink快速入门

官方文档:https://ci.apache.org/projects/flink/flink-docs-release-1.3/quickstart/setup_quickstart.htmlflink在streaming上,比spark的设计要更为良好,spark的stream应该都很清楚了,是microbatch,本质上并不是严格的stream,flink将dataset分为batch和str...
阅读(194) 评论(0)

Ansible playbook简单示例

1、 YAML基本语法 YAML使用的Unicode字符。 使用空白字符未文件缩排来表示结构;不过不能使用跳格字符。 注解由#开始,可以出现在一行中的任何位置,而且范围只有一行(也就是一般所谓的单行注解) 每个清单成员以单行表示,并用短杠+空白( - )起始。或使用方括号( [ ] ),并用逗号+空白( , )分开成员。 每个杂凑表的成员用冒号+空白( : )分开键值和内容。或使用大括号( { }...
阅读(207) 评论(0)

Java程序设计(Java9版):第4章 简单复合类型

第4章 简单复合类型4.1 数组在C语言中,数据类型除了基本数据类型之外,还存在着大量复合数据类型。数组就是一类最简单且非常重要的复合数据类型,数组是具有相同类型变量的顺序存储的集合。几乎所有的程序设计语言都把数组设定为固有的类型,同样Java语言也有数组类型。与C语言一致,Java语言的数组也是通过数组名和下标来表示每个数组单元(也就是一个变量),数组下标从0开始。在Java语言中,创建基本数据类...
阅读(189) 评论(0)

Java程序设计(Java9版):第3章 流程控制

第3章 流程控制学习要点 掌握三种流程控制 掌握简单的输入输出 了解三种循环设计方法 掌握数组、字符串和枚举类型3.1 面向过程介绍面向过程的程序设计,每个程序完成一个特定的功能,是通过对数据一系列的加工而实现的。面向过程编程包括两部分:数据结构设计和算法设计。 Pascal之父Nicklaus Wirth提出一个著名公式“算法+数据结构=程序”而获得图灵奖。数据结构是程序处理的对象...
阅读(137) 评论(0)

工具类网站

在线LaTex公式编辑器 http://latex.codecogs.com/eqneditor/editor.php...
阅读(36) 评论(0)

Java程序设计(Java9版):第2章 数据类型与运算符(Data types and Operators)

第2章 数据类型与运算符(Data types and Operators)I think everybody in this country should learn how to program a computer because it teaches you how to think. —Steve Jobs学习要求: 掌握Java标识符与注释 掌握Java语言8种基本数据类型...
阅读(177) 评论(0)

Spark2.x学习笔记:18、Spark Streaming程序解读

Spark2.x学习笔记:18、Spark Streaming程序解读18.1 Spark Streaming原理Spark Streaming将流式计算转化为一批批很小的、确定的批处理作业(micro-batch)。以数秒为单位将数据流切分成离散的作业。每批数据看做RDD,可以使用RDD相关操作进行处理。最后结果以RDD为单位返回(写入HDFS或其他系统)。18.2 DStreamDStream是...
阅读(131) 评论(0)

Java程序设计(Java9版):第1章 Java开发环境配置 (Set up Java development environment)

第1章Java开发环境配置(Set up Java development environment)工欲善其事,必先利其器。 — 《论语·卫灵公》 Write once, run anywhere. — SUN学习要求: 掌握Windows平台下JDK安装与配置 了解Linux平台下JDK安装与配置 掌握Java环境测试 掌握第一个Java程序 掌握编译...
阅读(433) 评论(1)

Java程序设计(Java9版):第0章 绪论(Introduction)

第0章 绪论(Introduction)千里之行始于足下。 —-《道德经》 Man is still the most extraordinary computer of all. — John F. Kennedy Java is a good language, and JVM is an excellent but under-utilized engin...
阅读(386) 评论(0)

Spark2.x学习笔记:17、Spark Streaming之HdfsWordCount 学习

Spark2.x学习笔记:17、Spark Streaming之HdfsWordCount 学习17.1 HdfsWordCount 源码解析// scalastyle:off println package org.apache.spark.examples.streamingimport org.apache.spark.SparkConf import org.apache.spark.str...
阅读(104) 评论(0)

CentOS系统SSH免密后依然需要输入密码(已解决)

1、问题通过ssh-keygen -t rsa和ssh-copy-id -i node1操作后,免密登录依然需要输入密码。[root@node1 ~]# ssh node1 The authenticity of host 'node1 (192.168.1.160)' can't be established. ECDSA key fingerprint is SHA256:CzXPsWonK4F...
阅读(87) 评论(0)

Ansible常用模块介绍

1、 ansible-doc希望知道更加详细的module的信息,最好的方法是使用ansible自带的ansible-doc的-s选项[root@node1 ~]# ansible-doc -s raw - name: Executes a low-down and dirty SSH command action: raw executable # chan...
阅读(293) 评论(0)
206条 共11页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:167465次
    • 积分:3691
    • 等级:
    • 排名:第10004名
    • 原创:204篇
    • 转载:1篇
    • 译文:1篇
    • 评论:63条
    博客专栏
    最新评论