- 博客(29)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 storm单机安装以及jar包发布到storm中
storm安装 1. 下载storm wget http://apache.fayea.com/storm/apache-storm-1.2.2/apache-storm-1.2.2.tar.gz 2. 解压到/usr/local/下 tar -zxvf apache-storm-1.2.2.tar.gz -C /usr/local/storm启动 在启动storm...
2019-06-13 19:20:42
3063
原创 Java四种线程池
/** * Java四种线程池 */ public void test() throws Exception { // 创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，则新建线程 Executors.newCachedThreadPool().execute(() -> { });...
2019-06-11 18:34:36
248
原创 获取月的最后一天,开始一天,本周某一天
/** * 获取月的最后一天 */ public static String getMonthEnd() { final Calendar cal = Calendar.getInstance(); cal.getActualMaximum(Calendar.DAY_OF_MONTH); cal.set(Calendar...
2019-06-11 18:33:15
272
原创 获取某一用户排行情况（mysql）
SELECT rankFROM ( SELECT (@ranknum :=@ranknum + 1) AS RANK, fk_login_id FROM ( SELECT FK_LOGIN_ID FROM ddb_learn_log_day_trace WHERE study_date = '2019-06-11...
2019-06-11 18:31:58
769
原创 strom本地开发测试连接不上虚拟机上的kafka
strom本地开发测试连接不上虚拟机上的kafka 报1、kafka配置文件更改：# The address the socket server listens on. It will get the value returned from # java.net.InetAddress.getCanonicalHostName() if not configured. 套接字服务器坚挺...
2019-06-06 17:53:49
425
原创 Stream JDK1.8特性
（1）stream 流Stream（流）是一个来自数据源的元素队列并支持聚合操作元素是特定类型的对象，形成一个队列。 Java中的Stream并不会存储元素，而是按需计算。数据源 流的来源。 可以是集合，数组，I/O channel， 产生器generator 等。聚合操作 类似SQL语句一样的操作， 比如filter, map, reduce, find, match, sorted等。...
2019-06-05 20:01:44
180
原创 Kafka概述
一、Kafka概述Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，使用 Scala语言编写,之后成为 Apache 项目的一部分。Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，...
2019-05-30 19:06:30
124
原创 kafka常用命令
1 . 启动kafkabin/kafka-server-start.sh config/server.properties &2. 创建主题bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic 【主题名】3. 查看Kafka所有的...
2019-05-23 17:26:09
129
原创 Storm基本概念，并发机制，可靠性
Storm概述1.结构storm结构称为topology(拓扑)，由stream(数据流),spout(喷嘴-数据流的生成者),bolt(阀门-数据流运算者)组成(参考图:Storm组成结构)。不同于Hadoop中的job,Storm中的topology会一直运行下去，除非进程被杀死或取消部署。2.StreamStorm的核心数据结构是tuple(元组)，本质上是包含了一个或多个键值对的...
2019-05-23 17:07:39
263
原创 操作.properties文件的工具类（Properties类运用）
（1） Java中比较重要的类Properties（Java.util.Properties），主要用于读取Java的配置文件，其配置文件常为.properties文件，格式为文本文件，文件的内容的格式是“键=值”的格式，文本注释信息可以用"#"来注释。操作.properties文件的工具类：public class PropertiesUtil { private static f...
2019-05-23 13:54:31
522
原创 flume监控文件夹，整合kafka的配置
#logser可以看做是flume服务的名称，每个flume都由sources、channels和sinks三部分组成#sources可以看做是数据源头、channels是中间转存的渠道、sinks是数据后面的去向logser.sources = src_study_info src_new_penlogser.sinks = kfk_study_info kfk_new_penlogse...
2019-05-21 17:46:17
3477
原创 ON DUPLICATE KEY UPDATE
1、有时候遇到问题：（1）在新增数据或者更新数据的时候，经常先判断，该表中是否有数据，如果有，则更新，如果没有，则插入。（2）有时候有的msyql字段，需要在原有基础上进行累加，比如点读一本书的时长。因此引入ON DUPLICATE KEY UPDATE，进行批量操作。2、前提：该语句是基于唯一索引或主键使用，需要建立unique index 索引，3、mybatis中的语句，举例：f...
2019-05-21 17:32:58
760
原创 好友表设计
初步设计1.好友上限300人 预计用户数:50000假设每人都有300个好友,数据总条数:50000*300=1500Wddb_user_relactionship字段名类型长度主键可否为空备注USER_IDvarchar50是否用户ID(sso_user表的外键)FRIEND_IDvarchar50否否好友ID(sso_user表的外...
2019-05-21 16:22:31
3226
1
原创 List集合双层for循环的优化
根据两个list集合中bean属性id过滤集合，并处理相应业务1、请求用户信息：信息从用户用户模块获取。获取到集合： List 集合比较大 （16万）全部用户信息public class GradeInfo { private String userId; private String loginId; private String name; private...
2019-05-21 16:19:32
7137
原创 linux系统 yum 安装 docker
命令 1>加载dokeryum源: yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo (如出现yum-config-manager: 未找到命令,则运行yum -y install yum-utils命令,然后重新运行上述命令) 2>创建y...
2019-05-17 17:22:52
483
原创 折线图bean的定义
1、 x、y曲线图bean封装public class ChartData { // x轴数据 private List<String> xValues; // y轴数据 private List<YValue> yValues; public ChartData(List<String> xValues, List&...
2019-05-07 19:52:36
165
原创 回调函数，工具类与数据库操作分离
// 引擎类public final class AIEngine {private SubTopic subTopic;public OralTestDetail chivoxOralTestDetail; private SaveOralTestCallback saveOralTestCallback; public interface SaveOralTe...
2019-04-26 17:06:10
224
原创 时间格式转换（Date String）
/** * 传入具体一天，返回具体日期减少一天 * * @throws ParseException */ public static String subDay(String date) { final SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Date dt = null;...
2019-04-26 16:03:16
5165
原创 递归菜单树（书籍目录）
/** * 获取书籍目录 */ @Override public List<DdbLearnTextbook> getBooksDirectory() { // 全部数据，数据之间根据parentId来关联 final List<DdbLearnTextbook> selectAll = ddbLearn...
2019-04-26 15:56:22
381
原创 使用futue 和线程池并发mysql请求数据库(该方法涉及接口不常用，不会对数据库造成太大压力，加快接口相应速度)
for (UserBookRankInfo userBookRankInfo : userBookRankInfos) { for (DdbResourceBook ddbResourceBook : ddbResourceBooks) { if (userBookRankInfo.getFkBookId().equals(ddbResour...
2019-04-24 19:38:52
346
原创 计算在线，离线，未联网案例（mysql存储过程）
BEGINdeclare count int;DECLARE penId VARCHAR(50);DECLARE createDate VARCHAR(50);DECLARE beforeDay VARCHAR(50);DECLARE sum_pen int;DECLARE year_sum_pen int DEFAULT 0;DECLARE off_Line int DEFAULT...
2019-04-23 10:08:58
355
原创 SQL sum 返回 nulll 解决方法
SUM 是SQL语句中的标准求和函数，如果没有符合条件的记录，那么SUM函数会返回NULL。有时候希望它返回0，而不是NULL 可以使用例如下面的方法来处理：SELECT COALESCE(SUM(name),0) FROM student ...
2019-04-18 19:21:12
758
原创 查询每年每个季度的占比 （根据mysql数据库的一个date属性的时间字段（如值：2015-11-26 09:35:00））
1 最终返回数据结果 year（年） number（每个季度数量） quarter（季度） proportion（所占总数比例）SELECT # 每个季度所占比例CONCAT(ROUND(t1.number / t2.totalCount * 100,3),'%' ) AS proportion, ## 年 t1. YEAR, # 数量 t1.number, # 季度 t...
2019-04-18 19:16:54
940
原创 对数组的运用-精简代码
该方法传入用户口语考试卷选择题的记录集合，和正确答案。返回用户选项错误最多的选项，精简前代码该方法首先定义4个变量，然后挑选除了正确选项，用户选择错误选项的一个累加，int aCount，int bCount，int cCount，int dCount，然后利用map：正确选项为key,value为错误选项数量的累加。对map中的value进行降序排序，选择出第一个最多的key. 作为返回参...
2019-04-16 13:53:11
151
原创 mongodb集群部署
1、部署节点 部署模块 端口号 配置文件路径 数据存放路径 日志路径 192.168.100.38 Mongos 20002 /conf/mongos/mongos.conf ...
2019-04-02 20:06:54
136
原创 redis集群部署
1、测试平台redis集群各个实例角色2、测试平台reids逻辑架构图3、Redis各个节点配置3.1 40服务器16379端口配置文件redis.confbind 192.168.100.40 127.0.0.1protected-mode noport 16379daemonize yesappendonly yescluster-ena...
2019-04-02 20:00:06
128
原创 缓存使用场景与完整mapper单元测试
1、缓存使用场景1、解释缓存就是数据暂存的地方，可以理解为从磁盘里取出来数据，暂时存放在内存，以待后面处理来读取。而能存放在缓存的数据，通常是频繁访问的，不会经常修改的数据。2、缓存的方式缓存的操作主要是两种方式，一种是使用程序自带的map对象(像jdk的hashmap)，一种是缓存软件(如：redis)(1) redis为例服务器端写数据时，同时更新redis和mysql，读的话，如...
2019-04-02 19:49:45
555
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人