- 博客(49)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 Flink Cep 扩展 - 动态规则更新及Pattern间within()
对Flink cep的两个痛点进行扩展： 1.不能动态规则更新 2.不支持 Pattern间within()
2022-07-06 19:05:26
2260
原创 Druid java 连接池
Alibaba Druid中文文档依赖jar包：http://101.110.118.27/central.maven.org/maven2/com/alibaba/druid/0.1.18/druid-0.1.18.jarhttps://mirrors.tuna.tsinghua.edu.cn/apache//commons/logging/binaries/commons-logg...
2018-12-30 19:51:41
5145
1
转载 Vue+WebSocket 实现页面实时刷新长连接
最近vue项目要做数据实时刷新，折线图每秒重画一次，数据每0.5秒刷新一次，说白了就是实时刷新，因为数据量较大，用定时器估计页面停留一会就会卡死。。。与后台人员讨论过后决定使用h5新增的WebSocket来实现数据实时展示，记录一下过程以及碰到的问题；注意：页面刷新长连接会被关闭，其实进入当前页面建立长连接的目的就是页面不用F5刷新，所有数据自动实时刷新，如果还是来回F5大刷页面那就没有意...
2018-12-22 12:02:57
2666
原创 Flink + kafka + FlinkSql 计算 10秒滚动窗口内 用户点击次数，之后自定义 sink To mysql
Flink+kafka 流数据 使用FlinkSql 计算 10秒滚动窗口内 用户点击次数，之后自定义 sink To mysql。Flink版本为1.6.1 代码如下：FlinkSqlWindowUserPv.javaimport java.sql.Timestamp;import java.util.Properties;import org.apache.flink....
2018-12-10 11:13:04
16243
9
原创 TIDB SQL优化
两处标红的需要注意下： 如果去除第一个红框框里面的语句 DESC SQL语句可以发现执行过程发生改变：可以发现 t3,t4两张表的userId关联没有走索引。 /*+ TIDB_INLJ(t3,t4) */ 上面这句其实是 TiDB Index Lookup Join 算法 详情：https://segmentfault.com/a/1190000015411838如果去...
2018-08-28 10:25:08
3233
1
原创 mybatis中Parameter index out of range (2 > number of parameters, which is 1).
mybatis中Parameter index out of range (2 > number of parameters, which is 1).Parameter index out of range (2 > number of parameters, which is 1).(参数索引超出范围)在mybatis里面写就是应该是 like '%${name} %' ...
2018-07-26 15:59:01
19507
3
转载 Swiper4.x使用方法
Swiper4.x使用方法1.首先加载插件，需要用到的文件有swiper.min.js和swiper.min.css文件。可下载Swiper文件或使用CDN。<!DOCTYPE html><html><head> ... <link rel="stylesheet" href="path/to/swiper.min.css">&
2018-06-30 14:29:34
566
原创 Spring @Async 定义异步任务
1. TaskExecutorspring异步线程池的接口类，其实质是Java.util.concurrent.ExecutorSpring 已经实现的异常线程池： 1. SimpleAsyncTaskExecutor：不是真的线程池，这个类不重用线程，每次调用都会创建一个新的线程。 2. SyncTaskExecutor：这个类没有实现异步调用，只是一个同步操作。只适用于不需要多线程的地方 3....
2018-06-04 14:26:06
589
原创 MySql : 索引
1.索引的存储分类 MyISAM 存储引擎的表的数据和索引是自动分开存储的，各自是独立的一个文件；InnoDB存储引擎的表的数据和索引是存储在同一个表空间里面，但可以有多个文件组成。MySQL 中索引的存储类型目前只有两种（BTREE 和HASH），具体和表的存储引擎相关：MyISAM 和InnoDB 存储引擎都只支持BTREE 索引；MEMORY/HEAP 存储引擎可以支持HASH...
2018-05-19 15:33:08
179
原创 Mysql : BTREE 索引与HASH 索引
BTREE 索引与HASH 索引，两种不同类型的索引各有其不同的适用范围。HASH 索引有一些重要的特征需要在使用的时候特别注意，如下所示: 1.只用于使用=或<=>操作符的等式比较。 2.优化器不能使用HASH 索引来加速ORDER BY 操作。 3.其MySQL 不能确定在两个值...
2018-05-19 13:00:56
334
原创 MySql : 各种存储引擎的特性
常用存储引擎的对比1.MyISAM： MyISAM 是MySQL 的默认存储引擎。MyISAM 不支持事务、也不支持外键，其优势是访问的速度快，对事务完整性没有要求或者以SELECT、INSERT 为主的应用基本上都可以使用这个引擎来创建表。2.InnoDB： InnoDB 存储引擎提供了具有提交、回滚和崩溃恢复能力的事务安全。但是对比MyISAM的存储引擎，InnoD...
2018-05-18 23:53:39
310
原创 Spark 实现mllib分类 朴素贝叶斯，SVM，决策树以及随机森林。
一.简述 Spark是当下非常流行的数据分析框架，而其中的机器学习包Ｍllib也是其诸多亮点之一，相信很多人也像我那样想要快些上手spark。下面我将列出实现mllib分类的简明代码，代码中将简述训练集和样本集的结构，以及各分类算法的参数含义。分类模型包括朴素贝叶斯，ＳＶＭ，决策树以及随机森林。 二.实现代码 import org.apache.spark.SparkConf;import or...
2018-05-03 14:51:39
572
原创 Spark实现K-Means算法
K-Means算法是一种基于距离的聚类算法，采用迭代的方法，计算出K个聚类中心，把若干个点聚成K类。MLlib实现K-Means算法的原理是，运行多个K-Means算法，每个称为run，返回最好的那个聚类的类簇中心。初始的类簇中心，可以是随机的，也可以是KMean||得来的，迭代达到一定的次数，或者所有run都收敛时，算法就结束。用Spark实现K-Means算法，首先修改pom文件，引入机器学习...
2018-05-03 09:56:45
518
原创 org.apache.commons.beanutils.BeanUtils Map转化成实体类
import java.util.ArrayList;import java.util.List;import java.util.Map;import org.apache.commons.beanutils.BeanUtils;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import com.alibaba.fastjson.J...
2018-03-24 14:22:46
2258
原创 注解 获取 存入redis
@Target({ ElementType.METHOD})@Retention(RetentionPolicy.RUNTIME)@Documentedpublic @interface CreditSourceCache { /** * 缓存key * @return */ String keyName() default "
2017-12-06 10:42:27
717
1
原创 org.springframework.beans.Beanutils.copyProperties 原理
org.springframework.beans.Beanutils.copyProperties 原理BeanUtils. copyProperties(source,targe)原理：根据source的属性来向target同名属性设值。 若target无该属性，则不设名字相同，基本类型和封装类型可以完成映射若target有source无，则target属性值为
2017-12-06 10:32:42
1350
原创 编写 kafka Partition 分配算法
package cn.itcast.storm.kafka;import kafka.producer.Partitioner;import kafka.utils.VerifiableProperties;import org.apache.log4j.Logger;public class MyLogPartitioner implements Partitione
2017-11-21 09:59:02
406
原创 Kafka API操作
package cn.itcast.storm.kafka.simple;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import java.util.Properties;import jav
2017-11-21 09:49:26
294
原创 Redis 乐观锁与悲观锁
package com.mobanker.feature.credit.business.redis;import javax.annotation.Resource;import com.mobanker.feature.credit.common.constant.FeatureConstants;import com.mobanker.feature.credit.com
2017-11-02 10:58:19
1024
原创 redis 结合 spring
1. redis介绍1.1. 什么是redis Redis是用C语言开发的一个开源的高性能键值对（key-value）数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，目前为止Redis支持的键值数据类型如下：字符串类型散列类型列表类型集合类型有序集合类型。1.2. redis的应用场景缓存（数据查询、短连接、新闻内容、商品内容
2017-11-01 14:12:29
196
原创 kafka与Spring的集成
准备工作kafka版本：kafka_2.10-0.10.1.0spring版本：spring4.3配置文件pom文件配置（也可以直接下载jar包）Kafka和spring集成的支持类库，spring和kafka通信监听1 dependency>2 groupId>org.springframework.integrationgroupId>3 artifac
2017-10-20 17:45:57
486
1
转载 git安装
Git介绍 分布式：Git版本控制系统是一个分布式的系统，是用来保存工程源代码历史状态的命令行工具。 保存点：Git的保存点可以追踪源码中的文件, 并能得到某一个时间点上的整个工程项目的状态；可以在该保存点将多人提交的源码合并, 也可以回退到某一个保存点上。 Git离线操作性：Git可以离线进行代码提交，因此它称得上是完全的分布式处理，Git所有的操作不需要在线进行；这意味
2017-10-20 13:55:31
967
转载 Dubbo与Zookeeper、SpringMVC整合和使用（负载均衡、容错）
互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，Dubbo是一个分布式服务框架，在这种情况下诞生的。现在核心业务抽取出来，作为独立的服务，使前端应用能更快速和稳定的响应。第一：介绍Dubbo背景 大规模服务化之前，应用可能只是通过RMI或Hessian等工具，简单的暴露和引用远程服务，通过
2017-10-18 17:16:54
228
原创 Spring MVC整合FreeMark 视图解析器
Freemarker使用模板技术进行视图的渲染。自从看了Struts标签、Freemarker、JSTL的性能对比后，我毅然决定放弃Struts标签了！效率太差…… Spring本身支持了对Freemarker的集成。只需要配置一个针对Freemarker的视图解析器即可。二、Spring MVC视图解析器视图解析器的工作流程大致是这样的：Controller的某个方法执行完成
2017-10-18 16:42:15
303
原创 深入理解Java：注解（Annotation）自定义注解入门
深入理解Java：注解（Annotation）自定义注解入门 要深入学习注解，我们就必须能定义自己的注解，并使用注解，在定义自己的注解之前，我们就必须要了解Java为我们提供的元注解和相关定义注解的语法。元注解： 元注解的作用就是负责注解其他注解。Java5.0定义了4个标准的meta-annotation类型，它们被用来提供对其它 annotation类型作说明。Java5.
2017-10-17 14:32:45
164
原创 lombok 基础入门
前言： 逛开源社区的时候无意发现的，用了一段时间，觉得还可以，特此推荐一下。 lombok 提供了简单的注解的形式来帮助我们简化消除一些必须有但显得很臃肿的 java 代码。特别是相对于 POJO，光说不做不是我的风格，先来看看吧。lombok 的官方网址：http://projectlombok.org/ lombok 其实到这里我就介绍完了，开个玩笑，其实
2017-10-17 14:29:26
167
转载 Dubbo基础概念
Dubbo是Alibaba开源的分布式服务框架，它最大的特点是按照分层的方式来架构，使用这种方式可以使各个层之间解耦合（或者最大限度地松耦合）。从服务模型的角度来看，Dubbo采用的是一种非常简单的模型，要么是提供方提供服务，要么是消费方消费服务，所以基于这一点可以抽象出服务提供方（Provider）和服务消费方（Consumer）两个角色。关于注册中心、协议支持、服务监控等内容，详见后面描述。
2017-10-17 09:32:06
245
原创 mysql 启动出现相关错误。
mysql 启动出现错误：(1)ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (111)未正常关机使得mysql.socket文件被锁。删除 /var/lib/mysql/mysql.sock 文件，重新启动 mysqld服务
2017-08-08 17:06:07
240
转载 Hive映射Hbase表
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。hive与Hbase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相
2017-08-01 17:15:23
5323
转载 hadoop+hive使用中遇到的问题汇总
问题排查方式 一般的错误，查看错误输出，按照关键字google异常错误（如namenode、datanode莫名其妙挂了）：查看Hadoop（$HADOOP_HOME/logs）或hive日志hadoop错误 1.datanode无法正常启动 添加datanode后，datanode无法正常启动，进程一会莫名其妙挂掉，查看namenode日志显示如下：
2017-08-01 10:12:26
3133
原创 Hmaster 启动后关闭。
--bin/start-hbase.sh后，各节点进程启动正常，通过hbase shell进入hbase命令行的时候，发现ERROR: Can't get master address from ZooKeeper; znode data == null，其实这时候hmaster进程已经宕了，以前出现过这个问题，不过当时是因为hdfs://hadoop1:9000/hbase这个端口号写错
2017-07-31 16:29:10
912
原创 工作中，sqoop导入导出hive，mysql 出现的问题.
1.从mysql导入到Hive 出现数据带入错误：当字段中存在输入tab键，会被hive识别多创建一条字段。解决：sqoop import 语句中 添加 --hive-drop-import-delims 来把导入数据中包含的hive默认的分隔符去掉。2.出现PRIMARY主键错误：com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstra
2017-07-17 16:11:51
3720
原创 sqoop 安装与使用
sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用第一类：数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root -
2017-07-11 12:34:35
181
原创 Java 实现 扫描两文件内容 是否包含。
package cm.test;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileNotFoundException;import java.io.FileReader;import java.io.FileWriter;
2017-07-04 13:00:28
650
原创 mysql 存储过程 游标
DELIMITER //CREATE PROCEDURE test_name3()BEGIN DECLARE test_name VARCHAR(30); DECLARE done INT DEFAULT FALSE;DECLARE test_cur CURSOR FOR SELECT pipei.name FROM pipei LIMIT 10000;DECLARE E
2017-07-04 12:00:02
229
原创 ntpdate 同步时间
在一台centos最小化安装的机器上面，yum -y install ntpdate安装ntpdate同步时间。然而执行ntpdate -u ntp.sjtu.edu.cn的时候，死活调不了时间。并报以下错误30 Oct 23:30:56 ntpdate[8200]: no server suitable for synchronization found执行：ntpdat
2017-06-24 23:18:37
926
原创 nginx 负载均衡
负载均衡什么是负载均衡 负载均衡 建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。 负载均衡，英文名称为Load Balance，其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。
2017-06-07 22:08:13
235
原创 安装中文分词器 IKAnalyzer
1. 安装中文分词器1.1. 安装步骤1.1.1. 第一步：配置IKAnalyzer的jar包拷贝IKAnalyzer的文件到Tomcat下Solr目录中将IKAnalyzer2012FF_u1.jar拷贝到 Tomcat的webapps/solr/WEB-INF/lib下。1.1.2. 第二步：IKAnalyzer的配置文件在Tomcat的webapps/solr
2017-06-07 14:43:45
775
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人