2017年11月_程裕强

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Flink学习笔记：3、Flink分布式模式（Standalone）

在http://blog.csdn.net/chengyuqiang/article/details/78599127，我们已经在node1节点上下载了Flink软件包。3.1 配置文件3.1.1 flink-conf.yaml 参数默认值修改值说明 jobmanager.rpc.address localhost 配置JobManager进行RPC通信的地址

2017-11-29 21:25:36 2156

原创 Flink学习笔记：2、Flink介绍

2、Flink介绍Some of you might have been already using Apache Spark in your day-to-day life and might have been wondering if I have Spark why I need to use Flink? The question is quite expected and the com

2017-11-29 20:10:01 3690 1

原创 MySQL/MariaDB SQL操作笔记

1、修改表字段类型alter table nodes modify column info varchar(200)示例操作入下：MariaDB [dbmanager]> alter table nodes modify column info varchar(200);Query OK, 0 rows affected (0.02 sec) Records: 0

2017-11-28 09:11:16 390

原创 Hadoop-2.7.3源码分析：MapReduce作业提交源码跟踪

1、提交JobMapReduce程序框架请参考 http://blog.csdn.net/chengyuqiang/article/details/72804007@Override public int run(String[] args) throws Exception { //读取配置文件 Configuration conf = getConf()

2017-11-26 21:50:55 4369 2

原创 Hadoop源码分析：HDFS读取文件

Hadoop源码分析：HDFS读取文件上一篇博客http://blog.csdn.net/chengyuqiang/article/details/78636721分析了HDFS的DistributedFileSystem对象的创建过程。然后就可以按照HDFS的API对HDFS中的文件和目录进行操作了，如列出某个目录中的文件和子目录、读取文件、写入文件等。1.1 FileSystem.open(

2017-11-26 17:52:41 1761

原创 Hadoop源码分析：FileSystem类

1、org.apache.hadoop.conf包org.apache.hadoop.conf包位于hadoop-common模块下 1.1 Configurable 接口package org.apache.hadoop.conf;import org.apache.hadoop.classification.InterfaceAudience;import org.apache.hadoop

2017-11-26 12:43:04 7132 1

原创 Hadoop源码分析：Writable接口和WritableComparable接口

1、 Writable接口由于Hadoop的MapReduce和HDFS都有通信的需求，需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化，而是引入了它自己的系统。 org.apache.hadoop.io中定义了大量的可序列化对象，他们都实现了Writable接口。1.1 Writable接口源码package org.apache.hadoop.io;import java.i

2017-11-25 22:22:50 923

原创 Hive数据倾斜问题总结

Hive数据倾斜问题总结1、MapReduce数据倾斜Hive查询最终转换为MapReduce操作，所以要先了解MapReduce数据倾斜问题。MapReduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他

2017-11-25 21:45:55 1444

原创 Flink学习笔记：1、Flink快速入门

官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.3/quickstart/setup_quickstart.htmlflink在streaming上，比spark的设计要更为良好，spark的stream应该都很清楚了，是microbatch，本质上并不是严格的stream，flink将dataset分为batch和str

2017-11-22 09:23:20 24558 3

原创 Ansible playbook简单示例

1、 YAML基本语法YAML使用的Unicode字符。使用空白字符未文件缩排来表示结构；不过不能使用跳格字符。注解由#开始，可以出现在一行中的任何位置，而且范围只有一行(也就是一般所谓的单行注解)每个清单成员以单行表示，并用短杠+空白( - )起始。或使用方括号( [ ] )，并用逗号+空白( , )分开成员。每个杂凑表的成员用冒号+空白( : )分开键值和内容。或使用大括号( { }

2017-11-14 13:09:58 11962

原创 Java程序设计（Java9版）：第4章简单复合类型

第4章简单复合类型4.1 数组在C语言中，数据类型除了基本数据类型之外，还存在着大量复合数据类型。数组就是一类最简单且非常重要的复合数据类型，数组是具有相同类型变量的顺序存储的集合。几乎所有的程序设计语言都把数组设定为固有的类型，同样Java语言也有数组类型。与C语言一致，Java语言的数组也是通过数组名和下标来表示每个数组单元（也就是一个变量），数组下标从0开始。在Java语言中，创建基本数据类

2017-11-14 13:06:44 1132 2

原创 Java程序设计（Java9版）：第3章流程控制

第3章流程控制学习要点 掌握三种流程控制 掌握简单的输入输出 了解三种循环设计方法 掌握数组、字符串和枚举类型3.1 面向过程介绍面向过程的程序设计，每个程序完成一个特定的功能，是通过对数据一系列的加工而实现的。面向过程编程包括两部分：数据结构设计和算法设计。 Pascal之父Nicklaus Wirth提出一个著名公式“算法+数据结构=程序”而获得图灵奖。数据结构是程序处理的对象

2017-11-14 13:05:36 1406

原创网址推荐

1、工具类网站标题 URL 在线LaTex公式编辑器 http://latex.codecogs.com/eqneditor/editor.php 在线UML画图 https://www.processon.com 在线JSON转换工具 http://www.bejson.com/2、博文推荐标题标题 ...

2017-11-12 22:11:59 881

原创 Java程序设计（Java9版）：第2章数据类型与运算符（Data types and Operators）

第2章数据类型与运算符（Data types and Operators）I think everybody in this country should learn how to program a computer because it teaches you how to think. —Steve Jobs学习要求： 掌握Java标识符与注释 掌握Java语言8种基本数据类型

2017-11-09 21:34:26 1041

原创 Spark2.x学习笔记：18、Spark Streaming程序解读

Spark2.x学习笔记：18、Spark Streaming程序解读18.1 Spark Streaming原理Spark Streaming将流式计算转化为一批批很小的、确定的批处理作业（micro-batch）。以数秒为单位将数据流切分成离散的作业。每批数据看做RDD，可以使用RDD相关操作进行处理。最后结果以RDD为单位返回（写入HDFS或其他系统）。18.2 DStreamDStream是

2017-11-07 23:35:25 851

原创 Java程序设计（Java9版）：第1章 Java开发环境配置（Set up Java development environment）

第1章Java开发环境配置（Set up Java development environment）工欲善其事，必先利其器。 — 《论语·卫灵公》 Write once, run anywhere. — SUN学习要求： 掌握Windows平台下JDK安装与配置 了解Linux平台下JDK安装与配置 掌握Java环境测试 掌握第一个Java程序 掌握编译

2017-11-05 11:19:37 2675 1

原创 Java程序设计（Java9版）：第0章绪论（Introduction）

第0章绪论（Introduction）千里之行始于足下。 —-《道德经》 Man is still the most extraordinary computer of all. — John F. Kennedy Java is a good language, and JVM is an excellent but under-utilized engin

2017-11-05 10:18:43 1413

原创 Spark2.x学习笔记：17、Spark Streaming之HdfsWordCount 学习

Spark2.x学习笔记：17、Spark Streaming之HdfsWordCount 学习17.1 HdfsWordCount 源码解析// scalastyle:off printlnpackage org.apache.spark.examples.streamingimport org.apache.spark.SparkConfimport org.apache.spark.str

2017-11-04 21:30:17 855

原创 CentOS系统SSH免密后依然需要输入密码(已解决)

1、问题通过ssh-keygen -t rsa和ssh-copy-id -i node1操作后，免密登录依然需要输入密码。[root@node1 ~]# ssh node1The authenticity of host 'node1 (192.168.1.160)' can't be established.ECDSA key fingerprint is SHA256:CzXPsWonK4F

2017-11-03 10:46:24 6874 5

原创 Ansible常用模块介绍

1、 ansible-doc希望知道更加详细的module的信息，最好的方法是使用ansible自带的ansible-doc的-s选项[root@node1 ~]# ansible-doc -s raw- name: Executes a low-down and dirty SSH command action: raw executable # chan

2017-11-03 09:01:13 2774

原创 Artifact storage:war exploded: Error during artifact deployment. See server log for details.

IntellJ IDEA：Artifact storage:war exploded: Error during artifact deployment. See server log for details.1、异常信息这个错误信息太少，无法判断。Connected to server[2017-11-02 01:37:26,698] Artifact storage:war exploded

2017-11-02 14:29:57 11310 1

原创 Spark2.x学习笔记：16、Spark Streaming入门实例NetworkWordCount

第16章 Spark Streaming入门实例NetworkWordCount16.1 源码解析在Spark源码的spark-2.1.0-bin-hadoop2.7\examples\src\main\scala\org\apache\spark\examples\streaming目录下即可找到NetworkWordCount.scala源文件。/* * Licensed to the Apa

2017-11-01 21:58:55 895

原创 Service Unavailable (HTTP 503)和Unable to connect to WSGI daemon process 'keystone-admin' on '/run/ht

1、遇到问题[root@master ~]# openstack service create --name keystone --description "OpenStack Identity" identityService Unavailable (HTTP 503)[root@master ~]#[root@master keystone]# openstack service lis

2017-11-01 15:18:48 1519