唤不醒的梦

flink中每个function和operator都可以状态化，具有可状态化的元素，可以再处理数据过程中进行数据存储，参与数据的容错。启用和配置检查点flink程序中，默认关闭Checkpointin。如果想启用Checkpointing，可通过StreamExecutionEnvironment.enableCheckpointing(n)，n为毫秒，表示进行checkpoint间隔时间。(未完待续。。。)...

在flink中，大多数state只作用于各自的算子，算子间不能共用state，BroadcastProcessFunction和KeyedBroadcastProcessFunction则作用于全局算子，进行数据共享，但只能在广播端进行数据的读写，非广播端只有读操作。...

Keyed DataStream键控流(KeyedDataStream)概念：在flink中数据集为DataStream，对其进行分区时，会产生一个KeyedDataStream，然后允许使用键控流的operator以及特有的state(如mapstate、valuestate等)如果想使用key state，需要对DataStream指明一个key进行分区，也可以使用keyby创建一个KeyedDataStream，对这个KeyedDataStream可以使用keyed state。keyby

总的来说，Java中的集合（Collection）有两类，一类是List，再有一类是Set。 前者集合内的元素是有序的，元素可以重复；后者元素无序，但元素不可重复。 那么这里就有一个比较严重的问题了：要想保证元素不重复，可两个元素是否重复应该依据什么来判断呢？ 这就是Object.equals方法了。但是，如果每增加一个元素就检查一次，那么当元素很多时，后添加到集合中的元素比较的次数就非常多

使用java通过jdbc调用hive，执行hive sql时出现如下异常：Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMeth

思路：将hbase表中数据输出到本地文件中，通过linux命令查找指定字符串个数。 echo "scan 'TestTable'"|hbase shell |grep column > test.txt cat test.txt |grep "TestColumn" |wc -l

首先客户端不变，其调用 API 及接口大部分保持兼容，这也是为了对开发使用者透明化，使其不必对原有代码做大的改变 ( 详见 2.3 Demo 代码开发及详解)，但是原框架中核心的 JobTracker 和 TaskTracker 不见了，取而代之的是 ResourceManager, ApplicationMaster 与 NodeManager 三个部分。我们来详细解释这三个部分，首

1. windows网络适配器中设置VMnet8的IPV4设置为自动获取2. 虚拟机设置为NAT,如下图   3. “编辑”-“虚拟网络编辑器”选中VMnet8，点选NAT（与虚拟机共享主机IP地址），把DHCP勾上（那两个框都勾上）。   4. 在windows 运行cmd命令，运行如下命令net start "VMware DHCP Service"start

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.

使用Maven搭建hadoop环境，在pom.xml中报错：Missing artifact jdk.tools:jdk.tools:jar:1.8问题原因：没有配置jdk中tools.jar解决方法：在pom.xml中添加如下配置 org.apache.hadoop hadoop-mapreduce-client-core 2.7.1

UDF：一进一出实现方法：1. 继承UDF类  2. 重写evaluate方法  3. 将该java文件编译成jar      4. 在终端输入如下命令：hive> add jar test.jar;hive> create temporary function function_name as 'com.hrj.hive.udf.UDFClass';hive> s

[root@wanghy conf]# hive15/05/30 10:36:52 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not existLogging initialized using configuration in file:/root/work/hive/conf/hive-log4j.pro

需要3个jar包，网上自己下载即可：1. commons-logging-1.1.1.jar2. httpclient-4.2.5.jar3. httpcore-4.3.2.jar将字符串USER和PASSWD改成自己的用户名与密码，然后在eclipse运行即可package cn.com.wanghy;import java.io.BufferedReader;im

package cn.com.wanghy;/** * 快速排序：是对起泡排序的一种改进，它的基本思想是：通过一趟排序将待排序记录分割成独立的两部分， * 其汇总一部分记录的关键字均比另一部分记录的关键字小，则可分别对这两部分继续进行排序，已达到 * 整个序列有序。快速排序是一种不稳定的排序算法，时间复杂度为O(n*lg(n))。 * * */public class Quic

今天做项目需要在代码中修改视频url格式，贴出主要实现代码，以本地视频url为例:        const char *url = "file:///home/wanghy/work/avFile/File_Seg-0.ts?                           FileName=a-1&HLS=true&SessionId=29061-366971083";

Shuffle描述着数据从map task输出到reduce task输入的这段过程。官网图片表示Shuffle过程横跨map与reduce两端，如下图：   一 map端shuffle    map端流程如下图：                        1. map的输入来自HDFS的block(块)。     2.map的输出是

一、原 MapReduce 程序的流程        1. 首先用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 Job Tracker 中，Job Tracker 是 Map-reduce 框架的中心，他需要与集群中的机器定时通信 (heartbeat), 需要管理哪些程序应该跑在哪些机器上，需要管理所有 job 失败、重启等操作。        2. Tas

1、hadoop通过一个jobtracker分派任务到一系列tasktracker来运行，tasktracker同时向jobtracker返回任务运行结果。jobtracker对作业的输入数据进行分片，然后为每个分片创建一个map任务，同时创建一定数量的reduce任务，并指派空闲的tasktracker来执行这些任务。tasktracker从jobtracker处获取任务jar包以及分片