2017年09月_Eric-L90

11月 10月 09月 08月 06月 04月 03月 02月 01月

原创 Flink_WordCount_代码实例

import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.

2017-09-27 18:42:52 2778

转载名词解释:DNS,A记录,子域名,CNAME别名,PTR,MX,TXT,SRV,TTL

用来扫盲不错。 DNSDNS，Domain Name System或者Domain Name Service（域名系统或者域名服务）。域名系统为Internet上的主机分配域名地址和IP地址。由于网络中的计算机都必须有个IP地址，来识别, 互相之间才能通信,但让我们记住一大串的IP地址来访问网站显然是不可能的,所以用户使用域名地址，而DNS系统的功能就是自动把域名地址翻译为IP地址。域名服务是运行

2017-09-27 17:35:53 1359

原创 Flink_获取wiki用户修改_代码实例

import org.apache.flink.api.common.functions.FoldFunction;import org.apache.flink.api.java.functions.KeySelector;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.d

2017-09-26 11:39:40 548

原创 elasticsearch数据导出/导入

官方提供了snapshot方式，是索引文件的方式，但是有时候我们需要原始数据，所以，elasticdump就诞生了，方式是从es中查询数据。比较方便，但是，如果数据量比较大，最好按照一定规则来导出，比如按天导出，这样如果出现问题比较好处理。 https://github.com/taskrabbit/elasticsearch-dump?utm_source=dbweekly&utm_medium

2017-09-25 10:48:06 23273 2

原创 elasticsearch的snapshot备份

官方提供了snapshot方式，这种其实就是将索引文件进行了备份，所以备份和恢复过程都是比较快的。毕竟不用重新索引，这种的缺点是只能用来做es恢复。不能把备份数据用作其他用途。过程如下：snapshot://create repositori(注意，这里如果是集群，location目录需要是nfs那种共享文件目录，所有机器都有权限访问的)curl -XPUT 'localhost:9200/

2017-09-25 10:40:26 1250

原创 centos修改默认java版本

用rpm安装的jdk。之前都是手动修改java的链接。。最近才发现有这么个管理直接链接的工具:alternativesrpm 安装java之后，执行 alternatives –config java 然后输入对应版本的编号就ok了

2017-09-22 18:20:05 2584

原创 shell分割字符

shell中awk分割字符： F后面为分割符号name=`echo "my name is Eric"|awk -F ' ' '{print $4}'`Example:#!/bin/bashtotal=0for i in `ls *.json`do num=`wc -l $i | awk -F ' ' '{print $1}'` let total=$total+$num ech

2017-09-20 16:46:55 504

原创 Elasticsearch 1.4安装marvel

之前使用elasticsearch 1.x 版本的时候，觉得marvel是收费版，现在发现免费版也很好用： https://www.elastic.co/guide/en/marvel/marvel-1.3/_simple_install.html 各种性能参数一目了然。很好用。 elasticsearch 2.x和1.x的不一样了，如下： https://www.elastic.co/gu

2017-09-20 15:31:25 436