Nryana0-CSDN博客

原创 hadoop es集群开发踩过的坑

开发中1.对于分区表分区的粒度如果按照时间来分的话要分到业务需求的最小，比如有对小时数据的汇聚分区表就直接分区到小时2.对于字段多运算复杂的汇聚要使用临时表分步处理最后汇聚处理好的临时表原子化操作3.尽量尽早的过滤数据，减少每个阶段的数据量4.看单个sql引起的job数量要越少越好5.数据倾斜当小表关联一个大表时很容易会出现数据倾斜可以用MapJoin解决如果是小表的时候自动选择Mapjoin的设置set hive.auto.convert.join = true;设置大表小表的阀值se

2020-07-17 16:32:33 309

原创 flink kafka flume 从开发到部署遇到的问题及解决方案

最近遇到了比较多的中间件的环境问题整理了些注意事项启动顺序 zookeeper -> kafka -> flink - > flink提交的job ->flume kafka的快照保存时间的设置 log.retention.hours=168(sever.properties)设置时间长很浪费资源flink任务提交前kafka保存的数据并不会被f...

2020-03-20 17:34:02 750

原创 ES常用DSL的查询和简单统计

DSL？英文全称Domain Specific Language，解释为领域专用语言。DSL是针对某个特定领域而开发的语言，而我们平时接触到的C/C++，Java，Python/Ruby，都属于通用语言，DSL就是为了弥补这些通用语言而出现的。说到编程离不开最基础的CURDDSL也一样我们先说查询，直接上实例1.全检索GET 索引名/_search{ "quer...

2020-01-20 15:30:41 4120

原创 flume+kafka(zookeeper)常用命令

kafka启动命令./kafka-server-start.sh ../config/server.propertieskafka 创建生产者命令./kafka-console-producer.sh --broker-list IP:9092 --topic testkafka创建消费者./kafka-console-consumer.sh --bootstrap-server I...

2020-01-20 15:05:00 281

原创 Flume+kafka+flink+es 构建大数据实时处理

大数据目前的处理方法有两种：一种是离线处理，一种是实时处理。如何构建我们自己的实时数据处理系统我们选用flume+kafka+flink+es来作为我们实时数据处理工具。因此我们的架构是：flume集群kafka集群flink集群es集群其具体架构如图对于flume集群，它的作用就是采集数据并将数据提供给kafka集群，我们可以通过topic来实现。对于zoo...

2020-01-20 14:39:12 4085

原创数据通过logstash写入oracle数据库

作为一个开源的服务器端数据处理管道，Logstash可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到想要的“存储端”。默认logstash已经安装成功可以通过开源logstash output插件logstash-output-jdbc数据导入oracle数据库logstash-output-jdbc插件安装外网安装命令：bin/logstash-plugin inst...

2019-08-30 16:48:54 5431 5

原创使用reids遇到的序列化问题

自己搭了个springboot框架集成了redis,写代码的时候遇到了一个反序列化问题到这里我们就不得不说下serialVersionUID的作用了serialVersionUID适用于Java的序列化机制。简单来说，Java的序列化机制是通过判断类的serialVersionUID来验证版本一致性的。在进行反序列化时，JVM会把传来的字节流中的serialVersionUID与本地相应实...

2018-11-09 10:01:30 411

原创用ideal搭建springboot框架

进入ideal界面点击File>>New>>Project 弹出 New Project 界面 Next因为是个web所以选web底层打算用mybatis,和mysql数据库所以勾选mybatis和mysql这是ideal帮我们生成的工程目录结构特别需要注意的是生成的文件有一个叫application.properties的，一般...

2018-11-08 15:49:11 1541

原创本地单机redis启动命令

1.以管理员身份运行CMD命令2.cd Redis目录输入redis-server.exe redis.windows.conf3.再以管理员身份运行CMD命令4.cd Redis目录输入redis-cli.exe

2018-11-07 15:55:27 1894

原创 lucene集成初体验

最近需要集成一个搜索引擎到项目上，首先用solr集成到tomcat服务器，然后通过配置文件写sql，从数据库中直接取数据。但是一直取不到数据。调查了好久也没有查到问题原因。因为时间比较紧，就换了相对简单好搞得lucene.大体的思路是通过全检索，把数据库中的所有文章数据，和lucene文件建立起同步索引。public static void Index(List<Article>...

2018-10-19 11:00:03 419

原创 linux 第一番

xshell的安装，安装好后新建会话进入mysql数据库(前提拿到拥有赋权权限的用户名和密码登录mysql 数据库)mysql -u root -p输入root用户的密码创建数据库create database 数据库名；展示数据库show database;创建用户名设置密码create user '用户名'@'%' IDENTIFIED BY '密码'（密...

2018-09-19 13:05:55 191

原创设计模式之简单工厂模式学习

之前浏览了一遍大话设计模式，看的激情四射，感觉写的很好，但是瞄了一遍感觉收获不多，于是决定手敲遍各种模式代码，今天敲了一遍简单工厂模式代码，收获满满，获益良多。引用书中标题的一句话：代码无错就是优？ --------------------------简单工厂模式首先是一个实现计算器的代码，通过实现计算器代码，对比自己写的和要用简单工厂模式的对比了下：发现可维护性，可复用性，可扩展性和灵活性方面都...

2018-06-27 22:34:05 288

原创关于ajax提交不执行

昨天在一个测试了很久的项目上遇到了一个问题，前端画面在第一次跨系统调用一个接口之后，第二次执行时不会再调用那个接口。也可以说是ajiax不提交了（只有在IE上会出现这种问题，在谷歌上并不会出现）。总感觉IE比别的浏览器难用。于是调查了下原因：因为IE的缓存做的不好，为了防止ajax不停的提交，有时候会不执行，直接返回。当传递的参数值相同时ajax会不执行。解决办法就是传递一个参数并且保证每次执行的...

2018-05-10 08:40:43 3118

原创关于java中限定方法执行时间浅析

前两天项目的测试要求在项目在执行检索和提交图片两个方法，加上一个时间限制来限制方法的执行时间。到时间后要弹出一个提示框，当时听到这个要求之后心里有两个方案，一个是在后台用定时任务（比较麻烦）。不到山穷水尽时不考虑。另一个是在前端js加个定时器（window.setInterval），但是我们都知道前端定时器是按照周期来的即使加了清除（window.clearInterval(null)）也要跑完最...

2018-04-19 15:18:21 2500

原创项目中遇到的反射异常

前两天项目中遇到个问题，使用httpclient跨系统调用接口前创建对象的时候，调用设置http状态参数的方法，一直过不去，最可恨的是控制台和日志都没有抛出错误信息，于是 debug进去跟了下代码，发现进到了反射异常的方法里，传进来的参数target是空，那么问题来了。首先为什么会出现反射异常，其次为什么方法内出现运行异常，但是这个异常却没有被外部捕获。为了研究这两个问题首先看了下反射的定义...

2018-04-19 14:32:48 1054

原创简析关于定时任务跑着跑着就停止了的问题

前两天项目中遇到个问题，用定时任务每隔30秒去下载图片到本地，定时任务跑十几次之后就停止了。用的是 spring内部自带的task任务调度，一般来说定时任务突然停止有以下几方面的原因：一是定时任务的配置问题，只配了多久发生一次和发生时执行的方法，所以这个原因排除。二是数据库连接超时，因为连接超时会有异常提示信息，并没有这个原因也排除了。三是线程死锁或阻塞，当时觉得就是这个原因了，然后关掉了其他的...

2018-03-26 17:46:36 16732

原创项目从 tomcat7部署到tomcat8

这段时间将一个老项目从tomcat7部署到tomcat8上，期间遇到的典型问题。接下来我会介绍下整个升级过程和在升级中遇到的问题。首先要装个jdk8+,因为开发环境用的是eclipse，还要搞个兼容tomcat8的eclipse.新下的tomcat8里是自带20几个jar的，这是要留着的不能直接拿来tomcat7的lib就用。因为老项目要依赖的jar都放在了tomcat下没有用maven，所以拿来...

2018-03-14 16:09:48 7187 1

Nryana0的博客