2018年12月_tianjinsong

12月 11月 10月 09月 08月 07月 06月 05月 03月 02月 01月

原创关于接口设计有点想聊的

接口设计时应考虑以下几点：一、加密,安全性要求高的，建议采用 AES+RSA混合加密方案二、关于上报，在需要上报的接口中，在请求时，给客户端返回一个extra参数，并让客户端原样上报这个参数，省的服务器在处理上报时再查一些东西了，有大用处三、为拆分服务器做准备，接口地址中在域名后为不同的业务加上不同的前缀，如：http://xxx.xxx.cm/aaa,http://xxx.xxx....

2018-12-29 11:33:24 18273

转载 Apache Flink源码解析 DataStream API

https://www.jianshu.com/p/a3f43f861a42?utm_source=oschina-app概述这篇文章是但不仅仅是官方文档的中文翻译，还有里面每一个方法对应的Transformation和运行时对Task的影响。Prerequisites关于算子想说的有很多，都在上一篇文章里，在这篇文章中，把算子理解为包含了一个函数（Flink实现的或自己实现的，比...

2018-12-29 10:58:09 17478

转载 Flink 基本的API概念

https://www.jianshu.com/p/51c03c865e52?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation原文链接:https://ci.apache.org/projects/flink/flink-docs-release-...

2018-12-29 10:57:09 17265

转载 Spark（2.3.1）集群安装【一篇就够】

https://blog.csdn.net/sjmz30071360/article/details/82561867操作系统：Linux（CenOS7）Spark集群至少需要有JDK、Hadoop、Scala、Spark一、安装Spark依赖的Scala（每个节点都安装）1.1 下载Scala（2.11.12）wget "https://downloads.lightbend...

2018-12-19 16:42:40 15821

转载 Strom+Kafka + redis实时计算单词出现频率的案例

https://blog.csdn.net/tototuzuoquan/article/details/73528405案例要实现的目标在Kafka的shell 客户端中输入内容，通过Storm实时去kafka中取数据并进行计算单词出现的次数，并且实时把这些数据信息存储到redis中。代码编写编写Pom文件，代码如下：<?xml version="1.0" encoding...

2018-12-06 13:53:04 14384

转载 Flume+Kafka+Storm+Redis构建大数据实时处理系统：实时统计网站PV、UV+展示

http://blog.51cto.com/xpleaf/2104160?cid=7046901 大数据处理的常用方法前面在我的另一篇文章中《大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例》中已经有提及到，这里依然给出下面的图示：前面给出的那篇文章是基于MapReduce的离线数据分析案例，其通过对网站产生的用户访问日志进行处理并分析出该网站在某天的PV、U...

2018-12-06 13:51:09 13048

转载 Elasticsearch5.6.X 的Query DSL种类汇总

查询查询所有文档 - match_all全文查询词语匹配 - match短语匹配 - match_phrase短语前缀匹配 - match_phrase_prefix多字段匹配 - multi_match查询字符串查询 - query_string简单字符串查询 - simple_query_string精确级别查询单个精确 - term多查询条件 - terms范围查询 ...

2018-12-04 18:20:29 11540

转载 ES maping 学习笔记

一Filed type(字段类型)1. 核心数据类型：String datatypestringNumeric datatypeslong, integer, short, byte, double, floatDate datatypedate默认format："strict_date_optional_time||epoch_millis"是或的关系strict...

2018-12-04 16:25:29 8379

转载 Elasticsearch 6.x Mapping设置

https://www.jianshu.com/p/e8a9feea683cMapping类似于数据库中的表结构定义，主要作用如下：定义Index下字段名（Field Name）定义字段的类型，比如数值型，字符串型、布尔型等定义倒排索引的相关配置，比如是否索引、记录postion等需要注意的是，在索引中定义太多字段可能会导致索引膨胀，出现内存不足和难以恢复的情况，下面有几个设...

2018-12-04 14:56:03 7931

转载 ElasticSearch 6.x 学习笔记：11.映射Mapping

https://blog.csdn.net/chengyuqiang/article/details/7904858411.1 Mapping概述前文已经把ElasticSearch的核心概念和关系数据库做了一个对比，索引（index）相当于数据库，类型(type)相当于数据表，映射(Mapping)相当于数据表的表结构。ElasticSearch中的映射（Mapping）用来定义一个文档，...

2018-12-04 14:55:17 7136