![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据初探
小师兄.
语言学习开发路上的一个初学者。
展开
-
rabbitmq消费者“无故消失”
导读:9月1号17:12左右,发现影子队列存在大量“unacked”(收到了消息,但是还没有手动确认消息)的消息,一段时间后“unacked”的数量没有减少,但是观察消费者端的日志,并没有新消息进来,原因竟是。。。关键词:rabbitmq,Tcp Window full问题背景:9月1号17:12左右,收到实施人员投诉,有部分设备不能正常升级、收不到控制台下发的指令等问题,同事查看control工程(后面简称control)那边的日志,发现control没有收到设备上报的影子信息,所以.转载 2020-11-18 14:11:32 · 4750 阅读 · 0 评论 -
RabbitMQ
当初我学RabbitMQ的时候,第一时间就上GitHub找相应的教程,但是令我很失望的是没有找到,Spring,Mybatis之类的教程很多,而RabbitMQ的教程几乎找不到,看的最多的就是朱小厮大佬的博客。后来想着索性自己总结一下吧,有不恰当的地方欢迎小伙伴指出。这篇文章主要是对着我在GitHub上的源码解释的,因此本文并没有太多的源码。写了挺长时间的,为了防止迷路,欢迎大家star和forkgithub地址:https://github.com/erlieStar/rabbitmq-exa转载 2020-11-18 14:08:31 · 471 阅读 · 0 评论 -
eleasticsearch6.8.4依赖
eleasticsearch坑很多,一起踩一踩,哈哈哈 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport</artifactId> <...原创 2019-11-09 15:13:56 · 353 阅读 · 0 评论 -
ES结构化搜索
一、ES的cat api查看mappingGET /my_index/_mapping/my_type检测健康状态GET _cluster/health操作索引: PUT /test_indexDELETE /test_indexGET /test_index操作文档:PUT /index/type/id 数据已存在则覆盖DELETE /index...转载 2019-11-08 15:41:32 · 295 阅读 · 0 评论 -
(摘抄)日均5亿查询量的京东订单中心,为什么舍MySQL用ES?
作者介绍张sir,京东到家研发工程师,主要负责订单中心、商家中心、计费等系统。京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况。我们把订单数据存储在MySQL中,但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询,MySQL支持得不够友好,所以订单中心系统使用了Elasticsearc...转载 2019-10-28 14:38:21 · 260 阅读 · 0 评论 -
Kibana安装及使用说明
Linux版:https://blog.csdn.net/cb2474600377/article/details/78963247Mac/Win版:https://blog.csdn.net/yanxiaobo1991/article/details/77118640转载 2019-10-28 10:32:02 · 549 阅读 · 0 评论 -
RestHighLevelClient操作ES7.4.0
记录一下,后续研究RestHighLevelClient: /** * 插入数据 * */ @Test public void index() { try { // 1. 初始化 RestHighLevelClient client = new RestHighLevelCli...原创 2019-10-25 14:13:07 · 6067 阅读 · 1 评论 -
java实现mongodb的map-reduce过程
String map = "function () {"+ " var key = this.custNo; "+ " var value = {custNo: this.custNo,loanNo:this.loanNo,"+ " list:[{"+ " certNo:this.list.certNo,"...转载 2019-10-21 11:40:36 · 524 阅读 · 0 评论 -
Flink API介绍
Flink API介绍Flink提供了三层API,每层在简洁性和表达性之间进行了不同的权衡。flink-apiProcessFunction是Flink提供的最具表现力的功能接口,它提供了对时间和状态的细粒度控制,能够任意修改状态。所以ProcessFunction能够为许多有事件驱动的应用程序实现复杂的事件处理逻辑。DataStream API为许多通用的流处理操作提供原语,比...转载 2019-10-12 10:42:23 · 1305 阅读 · 0 评论 -
MapReduce过程详解及其性能优化
废话不说直接来一张图如下:从JVM的角度看Map和ReduceMap阶段包括:第一读数据:从HDFS读取数据1、问题:读取数据产生多少个Mapper?? Mapper数据过大的话,会产生大量的小文件,由于Mapper是基于虚拟机的,过多的Mapper创建和初始化及关闭虚拟机都会消耗大量的硬件资源; Mapper数太小,并发度过小,Job执行时间过...转载 2019-09-27 09:49:55 · 314 阅读 · 0 评论 -
大话Elasticsearch常用操作和核心原理
写的比较全文章 :https://blog.csdn.net/sdksdk0/article/details/78469190原创 2019-09-26 14:48:42 · 147 阅读 · 0 评论 -
spark 写数据到elasticsearch
pom.xml文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/...转载 2019-09-26 14:13:14 · 487 阅读 · 0 评论 -
springboot flink数据流写入ES6代码实现
flink初学2:flink数据流写入ES6/** * flink数据写入ES6 * @author hao.yang * @date 2019/9/24 */public class Flink2Es { public static void flinkToES() { Map<String, String> config = ne...原创 2019-09-26 11:52:45 · 1777 阅读 · 0 评论 -
springboot flink消费kafka消息代码实现
flink初学:springboot flink消费kafka消息/** * flink消费kafka消息 * @author hao.yang * @date 2019/9/24 */public class Kafka2Flink { public static void main(String[] args) throws Exception { fi...原创 2019-09-26 11:50:46 · 7408 阅读 · 4 评论 -
flink初步学习
原创 2019-09-26 11:29:46 · 211 阅读 · 0 评论