pageniao的博客

如下图所示，只需要给项目起一个项目名称，然后点击Create即可：创建完成后如下图。

首先设置虚拟机中NAT模式的选项，打开VMware，点击“编辑”下的“虚拟网络编辑器”，设置NAT参数。在普通用户下不能修改网卡的配置信息；所以我们要切换到root用户进行ip配置。VMware Network Adapter VMnet8保证是启用状态。

6个进程主从分配如下。

(如出现错误参考: http://blog.csdn.net/qq_30242987/article/details/99727838)到这里只是启动了六个单进程的redis，开始创建集群，先安装好ruby。在启动时会发现一个个启动太麻烦，这里配置一下启动关闭文件。#这里闲一个个启动麻烦的话可以自己配置一个配置文件启动。#进程pid的文件位置 （注意需要跟端口号一样）解决办法是 先安装rvm，再把ruby版本提升。#集群节点配置文件（注意需要跟端口号一样）到这里集群就安装好了，测试一下。

keil5创建新工程

数据仓库的由来？企业的日常运作，例如订单处理、会计账务、盘点存货、核对账目、保险申请等业务需要各种信息系统的支持，这些应用系统工作起来非常有效，但却局限于他们当初被设计的范围。收集、存储和处理所有这些数据需要成功的完成日常操作工作。随着商业活动变得越来越复杂，公司企业迅速的全球化，竞争也越来越激烈，商业经理们渴望得到更多的信息来提高在商业活动中的竞争力。日常操作型计算机系统提供大量的信息来支持...

在程序已经稳定运行多天、未对代码做任何修改、查看所消费数据源未出现数据增多的情况下，有一个flink程序最近出现了积压问题，很是疑惑，观察几天并查看了日志发现，每当出现加压时便会伴随该日志出现，因此便着手解决该问题。...

DataStream API 提供流处理较低层次的、原始的编程API，例如时间、状态和数据流管理，而Table API则在此基础上抽象出许多内部构件，提供结构化和声明式API。两种API都可以处理有界或无界流。为了提高效率，两种API都分别提供了优化的批执行模式，然而因为批式一种特殊的流，所以可以在一个标准流执行模式运行有界流。两种API不需相互依赖，可以分别独自定义完整的数据流管道，但是在实际使用过程种，为了各种便利的原因可以混合使用他们：相比与DataStream API ，Table 生态系统

在使用Flink 1.14.4的WatermarkStrategy的方法时，报此错 val dataStream2 = dataStream.assignTimestampsAndWatermarks( WatermarkStrategy .forBoundedOutOfOrderness[User](Duration.ofSeconds(2)) .withTimestampAssigner(new Se

新建的项目，Scala代码可以正常运行，但是Java代码就报该错误。1. 编译插件编译插件如下： <build> <plugins> <!-- 该插件用于将Scala代码编译成class文件 --> <plugin> <groupId>net.alchim31.maven</groupId> <

1. Table API & SQLTable API & SQL接口和DataStream API无缝衔接，他们之间可以很容易的相互转换。使用这些接口构建程序需要如下依赖：<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-api-scala-bridge_2.11</artifactId> <version>

1.问题问题简介及背景在使用Flink自带的Kafka消费API时，我们可以像单纯的使用Kafka消费对象API对其进行相应的属性设置，例如，读取offset的方式、设置offset的方式等。但是，Flink具有checkpoint功能，保存各运算算子的状态，也包括消费kafka时的offset，那这两种情况分别在什么时候起作用呢?2. Flink checkpoint设置flink并不依赖kafka或zookeeper保证容错，其保存offset只是为了外部来查询监视kafka数据的消费情况。但其提

1. 简单介绍目的Flink能够提供其应用内部范围的端到端的exeatly-onece语义数据流转，其本身提供的Kafka Sink连接器便继承了TwoPhaseCommitSinkFunction抽象类，使用两阶段提交方式（需事务操作支持）结合Flink的checkpoint保证端到端一致性。而Mysql数据库支持事务，那我们为了实现数据写入Mysql时也保证程序的端到端一致性，是否可以继承该抽象类？2. 主程序import org.apache.flink.shaded.jackson2.com.

1. 现象各节点发送/接收数据量都是0可以看到各节点是链接在一起的2. 原因整个流程各operator task的并行度相同，而Flink默认不监控与外界数据源的输入输出，可以把中间算子的并行度设为相同的就可以看到中间数据QPS;可以看到各节点的operator task是分开连接在一起的，这样会显示各节点的QPS，由于我的是测试的数据不是kafka一直有数，所以过段时间QPS又降为0了。...

1. 标准hive sql可参考文章2. Spark DSL 风格 sql$"field_name".cast(DecimalType(16, 4)) as "field_name"3. 数值类型的值超过Oracle字段精度未在写入数据库之前定义精度，会报ORA-01438：值大于允许精度；写入之前设定其精度，数据将写入数据库，但改字段为空值；且同时改字段不能为空时，报ORA-01400：无法将null值插入…；...

Sqoop安装及使用1. Sqoop 安装1.1 下载Sqoop1.2 上传和解压jar包1.3 相关配置1.3.1 环境变量配置1.3.2 Sqoop配置文件修改1.3.3 将MySQL驱动包上载到Sqoop的lib下2. 使用Sqoop2.1 使用help命令2.2 MYSQL表数据到HDFS中2.3 HDFS 导出向 RDBMS2.3.1 HDFS 导出向 RDBMS2.3.2 删除RDBMS 中表的数据1. Sqoop 安装1.1 下载Sqoop下载链接1.2 上传和解压jar包tar

Window 环境连接虚拟机中Hadoop及Spark集群1.Windows安装Hadoop1.1 配置环境变量1.2 下载相似版本的文件1.Windows安装Hadoop在windows上把hadoop的压缩包解压到一个没有空格的目录下，比如是D盘根目录1.1 配置环境变量HADOOP_HOME=D:\hadoop-2.7.7Path下添加 %HADOOP_HOME%\bin1.2 下载相似版本的文件hadoop.dll #存放在C:\Windows\System32 目录下winutil

maven-assembly-plugin使用1. maven-assembly-plugin是什么？2. maven-assembly-plugin使用步骤1. maven-assembly-plugin是什么？它是maven中提供的打包标准插件。Assembly 插件的主要作用是，允许用户将项目输出与它的依赖项、模块、站点文档、和其他文件一起组装成一个可分发的归档文件。2. maven-assembly-plugin使用步骤在Maven工程的pom.xml文件里配置maven-assem

Spark-sql DSL 风格1. select、selectExpr函数2. 使用withColumn3. distinct/dropDuplicates去重方法4. pivot 行列旋转5. Spark UDF6. agg函数1. select、selectExpr函数select、selectExpr函数2. 使用withColumn使用withColumn3. distinct/dropDuplicates去重方法distinct/dropDuplicates 去重方法4. pivo

@[TOC]日期转换、格式化日期格式化——DateFormat/SimpleDateFormatDateFormat 是日期/时间格式化子类的抽象类。其子类（如 SimpleDateFormat）能够进行格式化（也就是日期→文本）、解析（文本→日期）和标准化日期。在创建 DateFormat 对象时不能使用 new 关键字，而应该使用 DateFormat 类中的静态方法 getDateInstance()，示例代码如下： // Date和字符串相互转化(字符串转换为Date类型时，有汉字的字