自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Flink1.9的sql-client初探

安装flink1.9 start-cluster 编写test-env.yaml (一定注意格式和缩进! 对照https://github.com/apache/flink/blob/release-1.9/flink-table/flink-sql-client/src/test/resour...

2019-12-20 14:12:54

阅读数 82

评论数 0

原创 IDEA安装scala环境

clone flink 1.6 执行报错.显示没有scala jar 下载scala sdk 引用到项目中,发现一直去C盘的用户目录下去找jar包. 卸载IDEA中的scala插件,重新安装失败.应该是没有C盘的操作权限.修改IDEA的缓存文件配置 IDEA的缓存文件夹.IntelliJIde...

2019-12-19 11:26:43

阅读数 12

评论数 0

原创 Flink Streaming函数操作

max与maxBy的区别。min与minBy同理 maxBy:对比某字段返回最大的一条记录,如果这条记录有N个字段,会全部返回 max:比某字段仅返回此字段,这条记录的吉他字段不返回 interval join 该操作需要制定event time 在给定的周期内,按照指定的key对两个...

2019-11-18 15:51:42

阅读数 11

评论数 1

原创 flink dataStream API

类型 描述 dataStream.global(); 全部发往第一个task dataStream.broadcast(); 广播,复制发送到每一个task,注意数据量 d...

2019-09-11 09:43:48

阅读数 14

评论数 0

转载 CentOs 搭建 Hyperledger Fabric 简单步骤

安装 wget yum install wget1 使用wget获取安装包 wget -c https://storage.googleapis.com/golang/go1.8.3.linux-amd64.tar.gz1 解压 tar -C /usr/local/ -zxvf go1.8.3.l...

2019-03-25 15:36:34

阅读数 77

评论数 0

转载 Flink 并行度详解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Jiny_li/article/details/86482112 </div> <link rel=&qu...

2019-03-13 20:52:21

阅读数 456

评论数 0

转载 ELK的心脏,ElasticSearch学习方法论

ElasticSearch简介 基于Lucene构建的分布式,RESTful搜索和分析引擎; 实时搜索、分析,稳定,可靠,快速; JAVA编写,开源,使用JSON开源通过HTTP来索引数据; 项目介绍 历史: 由前同事工作交接,原有一套ES1.7集群,但是经常...

2018-09-17 15:13:07

阅读数 84

评论数 0

原创 java加载配置文件

加载jar包外部配置文件: import org.apache.commons.io.FileUtils; File file = new File("config/conf.properties"); FileInputStream openInputStream = F...

2018-08-21 17:45:45

阅读数 67

评论数 0

转载 Solidity 中 revert(), assert() 和 require() 的使用方法

Solidity 0.4.10 版本发布了新的 assert() , require() 和 revert() 函数,解决了以前代码中有困惑的地方。特别地,新 assert() 和 require() 代码会“确保”提高合约代码逻辑条理清晰,但是也需要知道如何区别使用它们。本文中,将会:解释新函数...

2018-07-09 17:41:04

阅读数 129

评论数 0

原创 shell中指定其他版本的jdk

/etc/profile中的jdk是1.7的,我自己的服务需要使用jdk1.8在shell中加入 export JAVA_HOME=/data/jdk1.8.0_171export PATH=$JAVA_HOME/bin:$PATHPATH要写在JAVA_HOME后面

2018-06-15 11:57:29

阅读数 2209

评论数 0

原创 solidity语法

pure  constant  view 区别都用constant可以执行成功返回值带有变量用constant   只是返回一个固定的值,比如XX、2、helloword这种需要用pure  返回值即没有变量也没有固定值就用view,比如msg.sender默认参数都是memory类型(值引用类型...

2018-05-27 22:28:29

阅读数 64

评论数 0

原创 JS中的promise

promise包含3中状态pending:对象初始状态,等待完成或者失败resolve:任务执行完成并且状态成功reject:任务执行完成并且失败promise状态只能从pending转换到resolve或者reject。除此外彼此间无法互相转换。Promise对象必须实现then方法,then方...

2018-05-21 18:21:53

阅读数 68

评论数 0

原创 智能合约

部署智能合约的流程流程如下:启动一个以太坊节点 (例如geth或者testrpc)。使用solc*编译*智能合约。 => 获得二进制代码。将编译好的合约部署到网络。(这一步会消耗以太币,还需要使用你的节点的默认地址或者指定地址来给合约签名。) => 获得合约的区块链地址...

2018-05-17 16:21:07

阅读数 63

评论数 0

转载 以太坊入门

介绍常用的gong运行以太坊节点可用的客户端Go语言实现的客户端geth (go-ethereum),其他时候还会使用一个叫testrpc的工具, 它使用了Python客户端pyethereum。交互式控制台。 客户端运行起来后,你就可以同步区块链,建立钱包,收发以太币了。使用geth的一种方式是...

2018-05-17 11:07:16

阅读数 86

评论数 0

转载 第一个智能合约

编译合约//读取合约内容code = fs.readFileSync('Voting.sol').toString()//干嘛的?? 编译校验? 输出下述内容 > solc = require('solc'){ version: [Functi...

2018-05-16 18:34:02

阅读数 76

评论数 0

原创 geth基础操作

geth --datadir "%cd%\chain" init genesis.jsongeth -datadir "%cd%\chain" consolegeth --identity "PICCetherum" --rpc --rp...

2018-05-14 17:26:46

阅读数 302

评论数 0

转载 java实现异步调用实例

在JAVA平台,实现异步调用的角色有如下三个角色: 调用者 取货凭证   真实数据 一个调用者在调用耗时操作,不能立即返回数据时,先返回一个取货凭证.然后在过一断时间后凭取货凭证来获取真正的数据. 所以连结调用者和真实数据之间的桥梁是取货凭证.我们先来看它的实现:[java] view plain...

2018-03-27 15:13:46

阅读数 4592

评论数 0

原创 修改hdfs的副本数量

线上存储不够,将HDFS副本数由3减为2.重启集群无效。该参数是clinet端有效,既对新写入的数据设置2个副本。已存在的数据副本还是3个执行命令将某目录下数据副本改为2hadoop dfs -setrep -w 2 -R /user执行 hdfs balancer 均衡集群数据参考资料:http...

2018-03-16 18:52:49

阅读数 6062

评论数 0

转载 Crontab的另外一种写法

转载自: http://www.cnblogs.com/killkill/archive/2009/01/12/1374136.htmlcrontab 主要是在做计划任务、定时执行, 通常一般写法大概都是如下:0 0 * * * /usr/local/www/awstats/cgi-bin/aws...

2018-03-16 15:43:06

阅读数 130

评论数 0

转载 mysql show processlist命令 详解

记录一次sql执行慢的原因我们先通过status命令查看Mysql运行状态mysql> status;--------------mysql  Ver 14.14 Distrib 5.1.73, for redhat-linux-gnu (x86_64) using readline...

2018-03-08 13:37:29

阅读数 104

评论数 0

转载 Redis命令

Redis命令是用于在Redis服务器上执行一些操作。要在Redis服务器上运行命令,需要一个Redis客户端。Redis客户端在Redis包中有提供,这个包在我们前面的安装教程中就有安装过了。语法以下是Redis客户端的基本语法。[yiibai@ubuntu:~]$ redis-cli Shel...

2018-03-02 20:12:22

阅读数 82

评论数 0

转载 什么是 XML Schema

作者:微wx笑 链接:https://www.zhihu.com/question/21167385/answer/214543406 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 什么是 XML Schema? XML Schema 的作用是定...

2017-11-09 11:09:17

阅读数 1152

评论数 0

原创 linux中vim,ps,top,gzip与tar命令使用

ps 显示进程状态相关的信息 a 显示与终端相关的信息 x 显示与终端无关的信息 u 详细信息. CPU使用率,user,进程号,内存使用,VSZ(虚拟内存集,内存不够时,拿磁盘当内存用,讲进程中不常用的数据存储到磁盘,当进程使用到数据时再读到内存,交换分区技术),RSS(常驻内存集,不常被交换到...

2017-02-11 16:25:18

阅读数 620

评论数 0

原创 个人笔记

lucky博客:  采菊篱下 http://openskill.cn/search/q-6YeH6I+K#all

2017-02-05 14:05:54

阅读数 135

评论数 0

原创 shell基础(一)

常用shell命令 shell是一个特殊的应用程序.所有运行在内核之上的程序都称之为应用程序 shell包含一组内部命令,此命令可以用来控制文件复制\文件移动\文件重命名,以及显示当前运行在系统上的程序等操纵,除了内部命令外,linux还允许命令在命令提示符处输出程序的名称,shell可以将程序名...

2017-01-21 17:48:08

阅读数 184

评论数 0

原创 hbase建表语句

创建分区规则指定TTL时间 create 'magina_t',{NAME =>'cf',VERSIONS =>1,TTL => 5184000},{SPLITS => ['1','2',&...

2017-01-10 10:32:05

阅读数 943

评论数 0

原创 mvn常用命令

把本地的jar拷贝到本地mvn仓库中 注意几个配置groupId artifactId version dependency> groupId>com.cloudwise.toushibaogroupId> artifactId>i...

2016-12-08 15:46:10

阅读数 229

评论数 0

原创 linuxx常用命令

创建多个文件夹 mkdir {aaa,bbb,ccc} 杀掉所有java进程 pkill java 查看占用端口的进程 netstat -lntup|grep 3888

2016-11-16 17:42:56

阅读数 199

评论数 0

原创 ES中使用delete by query

上面指定索引 type   下面内容从query中拷贝过来使用即可 DELETE  mobileoper_201609/type_410/_query {   "query": {     "term": {       "typ...

2016-11-03 17:39:18

阅读数 4970

评论数 0

原创 linux中crontab用法

先写一个启动脚本: vi runCronMod.sh 目录: /data/yunying/retain/runCronMod.sh #!/bin/bash # File: runCronMod.sh # Usage: ./runCronMod.sh # Description:  # ...

2016-09-24 16:30:35

阅读数 251

评论数 0

原创 定位java中的死循环

kafaka consumer突然CPU占用100%..  kafka里还没有数据,原来是有死循环代码.  如何定位呢? 先top 找到占用CPU最大的进程 然后查看这个进程下哪个线程占用的资源最多 定位到12907这个线程  把它转化成16进制是 326b 用 jstack -l ...

2016-09-02 12:11:28

阅读数 3241

评论数 0

转载 YARN的内存和CPU配置

Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位...

2016-08-31 17:10:19

阅读数 304

评论数 0

原创 hive常用笔记

1,临时执行一个sql就退出  hive -e "select * from test"; 2,临时执行一个sql,忽略OK..这些东西(静默模式)并保存到本地一个临时目录 hive -S -e "select * from test&quo...

2016-08-28 16:26:06

阅读数 299

评论数 0

转载 hive与关系型数据库对比

关系数据库里,表的加载模式是在数据加载时候强制确定的(表的加载模式是指数据库存储数据的文件格式),如果加载数据时候发现加载的数据不符合模式,关系数据库则会拒绝加载数据,这个就叫“写时模式”,写时模式会在数据加载时候对数据模式进行检查校验的操作。Hive在加载数据时候和关系数据库不同,hive在加载...

2016-08-28 14:56:21

阅读数 2842

评论数 0

转载 Hadoop参数汇总

linux参数 以下参数最好优化一下: 文件描述符ulimit -n用户最大进程 nproc (hbase需要 hbse book)关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器 JVM参数 JVM方面的优化项Hadoop Performance T...

2016-07-20 10:34:02

阅读数 306

评论数 0

转载 Log4j配置详解

转自:http://www.blogjava.net/zJun/archive/2006/06/28/55511.html Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的,它可接key=value格式的设置或xml格式的设置信息。通过配置...

2016-07-15 17:25:20

阅读数 121

评论数 0

转载 Mybatis中selectOne的空指针异常

selectOne调用了selectList方法,当selectList方法返回值的size小于1 的时候,selectOne方法会返回null值。我们再来看一下mybatis的xml.  如果你写了resultType为Integer,然后在业务代码中很自然的用一个变量int去接当前这个方...

2016-07-07 09:43:27

阅读数 1162

评论数 0

原创 git笔记

进入到本地git目录 从git服务器把代码克隆下来   git clone 列出所有分支 git branch 删掉里面的代码,创建本地分之  git branch 分支名称 切换到某个分支 git checkout 分支名称 把代码拷贝到此分支中  查看状态 git status 提交代码到本地...

2016-07-06 11:21:02

阅读数 223

评论数 0

原创 MapReduce的map端join

用的都是旧的API,不知道怎么使用新的API import java.io.IOException; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import org....

2016-07-05 15:26:01

阅读数 197

评论数 0

转载 Mapreduce之间的参数传递

对于复杂的数据可以考虑把数据保存的公共的结点,然后在map'的setup方法中去读取这个文件,从而获得共享的数据,而对于简单的数据可以用conf进行传递。 在驱动函数里面 Configuration conf2=getConf(); conf2.set("...

2016-07-02 16:17:51

阅读数 594

评论数 0

提示
确定要删除当前文章?
取消 删除