- 博客(75)
- 收藏
- 关注
转载 Nifi组件脚本开发—ExecuteScript 使用指南(一)(转)
ExecuteScript 是一个万能的处理器,允许用户使用编程语言定义自己的数据处理功能, 在每一次 ExecuteScript processor 触发时被调用。下面的变量绑定到脚本环境,以提供脚本中访问 NiFi 组件环境: session:是对processor的ProcessSession属性的引用。session允许在 flow files 执行下面的操作: create(), putAttribute(), transfer(), 像 read() 和 write()一样。 .
2021-08-17 11:16:41
1343
转载 Nifi组件脚本开发—ExecuteScript 使用指南(三)(转)
上一篇:Nifi组件脚本开发—ExecuteScript 使用指南(二)1|0Part 3 - 高级特征本系列的前两篇文章涵盖了 flow file 的基本操作, 如读写属性和内容, 以及使用"session" 变量 ( ProcessSession对象)获取和转移 flow files. ExecuteScript还有很多其他的能力,这里对一部分作简要介绍。1|1动态属性-Dynamic Properties其中一个能力叫做 dynamic properties, 或者称为用户定义属性..
2021-08-17 11:15:29
822
转载 Nifi组件脚本开发—ExecuteScript 使用指南(二)(转)
NiFi 的 Flow files 由两个主要部件组成:attributes 和 content. Attributes 是关于 content / flow file的元数据, 我们在Nifi组件脚本开发—ExecuteScript 使用指南(一)看到了如何使用 ExecuteScript 来操纵这个属性. flow file 的内容, 核心是一个 bytes集合,没有继承的 structure, schema, format, 等等. 不同的 NiFi processors 假定输入的 flow fi.
2021-08-17 10:56:00
715
原创 Flink1.9的sql-client初探
安装flink1.9 start-cluster编写test-env.yaml (一定注意格式和缩进! 对照https://github.com/apache/flink/blob/release-1.9/flink-table/flink-sql-client/src/test/resources/test-sql-client-defaults.yaml 自己调整或者直接覆盖)...
2019-12-20 14:12:54
1164
原创 IDEA安装scala环境
clone flink 1.6 执行报错.显示没有scala jar下载scala sdk 引用到项目中,发现一直去C盘的用户目录下去找jar包. 卸载IDEA中的scala插件,重新安装失败.应该是没有C盘的操作权限.修改IDEA的缓存文件配置IDEA的缓存文件夹.IntelliJIdea2017.1,存放着IDEA的破解密码,各个项目的缓存,默认是在C盘的用户目录下,目前有1.5G大...
2019-12-19 11:26:43
393
原创 Flink Streaming函数操作
max与maxBy的区别。min与minBy同理maxBy:对比某字段返回最大的一条记录,如果这条记录有N个字段,会全部返回max:比某字段仅返回此字段,这条记录的吉他字段不返回interval join 该操作需要制定event time在给定的周期内,按照指定的key对两个keyedStream进行join操作,把符合条件的两个event弄到一起进行操作例如:把一定时...
2019-11-18 15:51:42
352
1
原创 flink dataStream API
类型 描述 dataStream.global(); 全部发往第一个task dataStream.broadcast(); 广播,复制发送到每一个task,注意数据量 dataStream.forward(); 上下游并发度一样时...
2019-09-11 09:43:48
313
1
转载 CentOs 搭建 Hyperledger Fabric 简单步骤
安装 wgetyum install wget1使用wget获取安装包wget -c https://storage.googleapis.com/golang/go1.8.3.linux-amd64.tar.gz1解压tar -C /usr/local/ -zxvf go1.8.3.linux-amd64.tar.gz1添加环境变量vim /etc/profile.d/go.sh...
2019-03-25 15:36:34
323
转载 Flink 并行度详解
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Jiny_li/article/details/86482112 </div> <link rel="stylesheet" href="https://csdnimg.cn/release/pho...
2019-03-13 20:52:21
2655
转载 ELK的心脏,ElasticSearch学习方法论
ElasticSearch简介 基于Lucene构建的分布式,RESTful搜索和分析引擎; 实时搜索、分析,稳定,可靠,快速; JAVA编写,开源,使用JSON开源通过HTTP来索引数据; 项目介绍 历史: 由前同事工作交接,原有一套ES1.7集群,但是经常jvm跑满导致集群不可用,没有ES调优经验,甚至没有使用经验,从零了解ES,过度版本ES5.3~5.6...
2018-09-17 15:13:07
270
原创 java加载配置文件
加载jar包外部配置文件:import org.apache.commons.io.FileUtils;File file = new File("config/conf.properties");FileInputStream openInputStream = FileUtils.openInputStream(file);prop.load(openInputStream);...
2018-08-21 17:45:45
199
转载 Solidity 中 revert(), assert() 和 require() 的使用方法
Solidity 0.4.10 版本发布了新的 assert() , require() 和 revert() 函数,解决了以前代码中有困惑的地方。特别地,新 assert() 和 require() 代码会“确保”提高合约代码逻辑条理清晰,但是也需要知道如何区别使用它们。本文中,将会:解释新函数解决的问题讨论 Solidity 编译器如何处理新 assert() 、 require() 和 re...
2018-07-09 17:41:04
787
原创 shell中指定其他版本的jdk
/etc/profile中的jdk是1.7的,我自己的服务需要使用jdk1.8在shell中加入 export JAVA_HOME=/data/jdk1.8.0_171export PATH=$JAVA_HOME/bin:$PATHPATH要写在JAVA_HOME后面
2018-06-15 11:57:29
4800
1
原创 solidity语法
pure constant view 区别都用constant可以执行成功返回值带有变量用constant 只是返回一个固定的值,比如XX、2、helloword这种需要用pure 返回值即没有变量也没有固定值就用view,比如msg.sender默认参数都是memory类型(值引用类型)。如果参数类型是storage(指针引用类型),函数必须是internal或者private类型de...
2018-05-27 22:28:29
167
原创 JS中的promise
promise包含3中状态pending:对象初始状态,等待完成或者失败resolve:任务执行完成并且状态成功reject:任务执行完成并且失败promise状态只能从pending转换到resolve或者reject。除此外彼此间无法互相转换。Promise对象必须实现then方法,then方法也必须返回promise对象,一个promise对象可以注册多个then方法,并且回调的执行顺序和它...
2018-05-21 18:21:53
318
原创 智能合约
部署智能合约的流程流程如下:启动一个以太坊节点 (例如geth或者testrpc)。使用solc*编译*智能合约。 => 获得二进制代码。将编译好的合约部署到网络。(这一步会消耗以太币,还需要使用你的节点的默认地址或者指定地址来给合约签名。) => 获得合约的区块链地址和ABI(合约接口的JSON表示,包括变量,事件和可以调用的方法)。(译注:作者在这里把ABI与合约接口弄混了。ABI...
2018-05-17 16:21:07
200
转载 以太坊入门
介绍常用的gong运行以太坊节点可用的客户端Go语言实现的客户端geth (go-ethereum),其他时候还会使用一个叫testrpc的工具, 它使用了Python客户端pyethereum。交互式控制台。 客户端运行起来后,你就可以同步区块链,建立钱包,收发以太币了。使用geth的一种方式是通过Javascript控制台(JavaScript console, 类似你在chrome浏览器里面...
2018-05-17 11:07:16
217
转载 第一个智能合约
编译合约//读取合约内容code = fs.readFileSync('Voting.sol').toString()//干嘛的?? 编译校验? 输出下述内容> solc = require('solc'){ version: [Function], semver: [Function: versionToSemver], license: [Function], compil...
2018-05-16 18:34:02
272
原创 geth基础操作
geth --datadir "%cd%\chain" init genesis.jsongeth -datadir "%cd%\chain" consolegeth --identity "PICCetherum" --rpc --rpccorsdomain "*" --datadir "%cd%\chain" --port "30303" --rpcapi "db,eth,
2018-05-14 17:26:46
562
转载 java实现异步调用实例
在JAVA平台,实现异步调用的角色有如下三个角色: 调用者 取货凭证 真实数据 一个调用者在调用耗时操作,不能立即返回数据时,先返回一个取货凭证.然后在过一断时间后凭取货凭证来获取真正的数据. 所以连结调用者和真实数据之间的桥梁是取货凭证.我们先来看它的实现:[java] view plain copypublic class FutureTicket{ private Object da...
2018-03-27 15:13:46
5766
原创 修改hdfs的副本数量
线上存储不够,将HDFS副本数由3减为2.重启集群无效。该参数是clinet端有效,既对新写入的数据设置2个副本。已存在的数据副本还是3个执行命令将某目录下数据副本改为2hadoop dfs -setrep -w 2 -R /user执行 hdfs balancer 均衡集群数据参考资料:http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dis...
2018-03-16 18:52:49
13155
3
转载 Crontab的另外一种写法
转载自: http://www.cnblogs.com/killkill/archive/2009/01/12/1374136.htmlcrontab 主要是在做计划任务、定时执行, 通常一般写法大概都是如下:0 0 * * * /usr/local/www/awstats/cgi-bin/awstats.sh 这种写法规则如下:分 时 日 月 年取值范围如下表:复制代码 field allowe...
2018-03-16 15:43:06
334
转载 mysql show processlist命令 详解
记录一次sql执行慢的原因我们先通过status命令查看Mysql运行状态mysql> status;--------------mysql Ver 14.14 Distrib 5.1.73, for redhat-linux-gnu (x86_64) using readline 5.1 Connection id: 113752Current database: information...
2018-03-08 13:37:29
236
转载 Redis命令
Redis命令是用于在Redis服务器上执行一些操作。要在Redis服务器上运行命令,需要一个Redis客户端。Redis客户端在Redis包中有提供,这个包在我们前面的安装教程中就有安装过了。语法以下是Redis客户端的基本语法。[yiibai@ubuntu:~]$ redis-cliShell示例以下示例说明了如何启动Redis客户端。要启动Redis客户端,请打开终端并键入命令redis-...
2018-03-02 20:12:22
281
转载 什么是 XML Schema
作者:微wx笑链接:https://www.zhihu.com/question/21167385/answer/214543406来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。什么是 XML Schema? XML Schema 的作用是定义 XML 文档的合法构建模块,类似 DTD。 XML Schema 的作用: 定义可出现在文档中
2017-11-09 11:09:17
1880
原创 linux中vim,ps,top,gzip与tar命令使用
ps 显示进程状态相关的信息a 显示与终端相关的信息x 显示与终端无关的信息u 详细信息. CPU使用率,user,进程号,内存使用,VSZ(虚拟内存集,内存不够时,拿磁盘当内存用,讲进程中不常用的数据存储到磁盘,当进程使用到数据时再读到内存,交换分区技术),RSS(常驻内存集,不常被交换到磁盘的,与VSZ相反),stat(状态,R running运行状态.S 可中断睡眠状态.D 不可
2017-02-11 16:25:18
951
原创 shell基础(一)
常用shell命令shell是一个特殊的应用程序.所有运行在内核之上的程序都称之为应用程序shell包含一组内部命令,此命令可以用来控制文件复制\文件移动\文件重命名,以及显示当前运行在系统上的程序等操纵,除了内部命令外,linux还允许命令在命令提示符处输出程序的名称,shell可以将程序名传递到内核来启动该应用程序type 判断一个命令是内部还是外部命令,还是别名用法:
2017-01-21 17:48:08
287
原创 hbase建表语句
创建分区规则指定TTL时间create 'magina_t',{NAME =>'cf',VERSIONS =>1,TTL => 5184000},{SPLITS => ['1','2','3','4','5','6','7','8','9']}若需修改属性.先disable alter 'magina_t',{NAME =>'cf',TTL => 500}再enab
2017-01-10 10:32:05
1675
原创 mvn常用命令
把本地的jar拷贝到本地mvn仓库中注意几个配置groupIdartifactId versiondependency>groupId>com.cloudwise.toushibaogroupId>artifactId>ip-location-searchartifactId>version>0.0.1-SNAPSHOTversion>
2016-12-08 15:46:10
416
原创 linuxx常用命令
创建多个文件夹mkdir {aaa,bbb,ccc}杀掉所有java进程pkill java查看占用端口的进程netstat -lntup|grep 3888
2016-11-16 17:42:56
418
原创 ES中使用delete by query
上面指定索引 type 下面内容从query中拷贝过来使用即可DELETE mobileoper_201609/type_410/_query{ "query": { "term": { "type": { "value": "3005" } } }}
2016-11-03 17:39:18
7010
原创 linux中crontab用法
先写一个启动脚本: vi runCronMod.sh目录: /data/yunying/retain/runCronMod.sh#!/bin/bash# File: runCronMod.sh# Usage: ./runCronMod.sh# Description: # Version: 0.1# Create Date: 2016-09-
2016-09-24 16:30:35
393
原创 定位java中的死循环
kafaka consumer突然CPU占用100%.. kafka里还没有数据,原来是有死循环代码. 如何定位呢?先top 找到占用CPU最大的进程然后查看这个进程下哪个线程占用的资源最多定位到12907这个线程 把它转化成16进制是 326b用 jstack -l 12862 > jstack.log; 生成线程堆栈日志文件打开jstac
2016-09-02 12:11:28
5659
转载 YARN的内存和CPU配置
Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位,具有一定的内存以及CPU资源。在YARN集群中,平衡内存、CPU、磁盘的资源的很重要的,根据
2016-08-31 17:10:19
379
原创 hive常用笔记
1,临时执行一个sql就退出 hive -e "select * from test";2,临时执行一个sql,忽略OK..这些东西(静默模式)并保存到本地一个临时目录hive -S -e "select * from test" > /tmp/magina/a.txt;3.在hive命令行中执行linux命令或者操作hdfs! pwd; 显示当前路径
2016-08-28 16:26:06
382
转载 hive与关系型数据库对比
关系数据库里,表的加载模式是在数据加载时候强制确定的(表的加载模式是指数据库存储数据的文件格式),如果加载数据时候发现加载的数据不符合模式,关系数据库则会拒绝加载数据,这个就叫“写时模式”,写时模式会在数据加载时候对数据模式进行检查校验的操作。Hive在加载数据时候和关系数据库不同,hive在加载数据时候不会对数据进行检查,也不会更改被加载的数据文件,而检查数据格式的操作是在查询操作时候执行,这种
2016-08-28 14:56:21
3293
转载 Hadoop参数汇总
linux参数以下参数最好优化一下:文件描述符ulimit -n用户最大进程 nproc (hbase需要 hbse book)关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoop参数大全适用版本:4.3.0主要配置文件:
2016-07-20 10:34:02
471
转载 Log4j配置详解
转自:http://www.blogjava.net/zJun/archive/2006/06/28/55511.htmlLog4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的,它可接key=value格式的设置或xml格式的设置信息。通过配置,可以创建出Log4J的运行环境。1. 配置文件Log4J配置文件的基本格式如下:
2016-07-15 17:25:20
197
转载 Mybatis中selectOne的空指针异常
selectOne调用了selectList方法,当selectList方法返回值的size小于1 的时候,selectOne方法会返回null值。我们再来看一下mybatis的xml. 如果你写了resultType为Integer,然后在业务代码中很自然的用一个变量int去接当前这个方法的返回值:int id = dao.methodName(param);如果按照你传入的条件
2016-07-07 09:43:27
4028
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人