一休求索

设计模式（Design Patterns）——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真正工程化，设计模式是软件工程的基石，如同大厦的一块块砖石一样。项目中合理的运用设计模式可以完美的解决很多问题，每种模式在现...

系统整体对比 对比说明 /文件系统 TFS FastDFS MogileFS MooseFS GlusterFS Ceph 开发语言 C++ C Perl C C C++ 开源协议

需要按照idea2019以上版本，安装好IDE后，File->Setting->Plugins->搜索scala 点击install详细操作间如下图示：本地安装scala-2.11.8.msi 后，在再IDE中设置Scalajar包，File->Project Structure->Global libraries->+, 然后添加Scala SDK。如下图所示添加完成后，对应的spark下面的Scala代码就能正常的显示和运行起来...

有时候部署的jar包存在内存释放不及时导致服务假死或者卡顿情况，所以增加定时清除内存功能非常有必要。[root@localhost ~]#crontab -e 添加定时*/30 * * * * root /root/satools/freemem.sh==============================================================关于定时器规则编写：基本格式 :*　　*　　*　　*　　*　　command分　时　日　月　...

好用的日期处理类：package com.openapi.util;import org.apache.commons.lang3.StringUtils;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.*;/** * 描述：日期处理类. */@SuppressWarnings("all")publi.

环境：centos6/7安装(1)安装更新所需组件工具# yum update# yum install gcc gcc-c++ autoconf automake(2)准备安装包tengine-2.2.1.tar.gzpcre2-10.21.tar.gzopenssl-1.0.2n.tar.gzjemalloc-5.0.1.tar.bz2zlib-1.2.11.tar.gz(3)统一解压至/usr/local/src目录下#tar -zxvf tengine-

https://blog.csdn.net/weixin_41804049/article/details/87719574

kettle安装详细请参照：https://blog.csdn.net/weixin_42575806/article/details/113542806安装图形化界面yum groupinstall "X Window System"在 data-integration文件夹下，执行./kitchen.sh 如果出现帮助信息表示部署成功， 我这里出现了如下警告直接yum install webkitgtk安装，会报错提示：No package webkitgtk available.

目前涉及到多数据源的情况，大数据集群需要把相关的数据按照一定的需求进行抽取，因此采用kettle进行数据拉取使用。首先安装三台centos7 ,分别配置好静态ip，ssh免密码登录，关闭防火墙，jdk1.8安装，ntp时间同步 请参照https://blog.csdn.net/weixin_42575806/article/details/110185977具体步骤这里不多说了！我这里已经安装好了，我是在虚拟机里面装了三个节点我这里通过xshell远程工具来连接的先把主机名和..

本身项目采用springboot框架，在做swagger接口调用的时候请求正常，但是前端js反馈接口请求出现CORS请求错误。如下图所示：解决办法：1.java后台新增跨域请求package exsun.bigdata.hbasestorage.config;import org.springframework.util.StringUtils;import javax.servlet.*;import javax.servlet.annotation.WebFilter;im

一个小型项目，但是中间涉及到一个gps定位推送的需求，找了一些资料，在此做一个小结1. 需要做到实时后台推送到前端2.前端自动关闭或者主动关闭都不影响下次正常上线推送在线客户端：http://www.websocket-test.com/中间需要推送的数据存储到redis中了，因项目的不同可以做相对于的调整。3.定时异步操作后台通信处理，涉及连接客户端后对接的消息处理gps type=2&013320397086type=2&0135028929.

背景本文主要是针对Java开发者，适用于初级或初中人员，学习和构建java环境讲解。需要具备一定的数据库设计和理解能力（具备能够看懂ER表图的能力） 具有一定的java环境配置和开发经验（自己运行过idea或者ecplise工具，能够独立创建一个项目即可） 如果上面1和2都不具备，请先上网看一下视频自学一下Java基础（java 视频 马士兵） 相关链接：链接：https://pan.baidu.com/s/1LDQCwsCCtzZLsWct6NpmDA 提取码：yp0u请结合自己的情况...

kafka 2.11-2.4.1 消费者public static void main(String[] args ){ String topicName = "heartbeat"; String groupId = "group1"; Properties props = new Properties(); props.put("bootstrap.servers", "192.168.3.101:9092,192.168.3..

kafka集群生产者基本代码实现pom.xml <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> <version>0.10.2.1</version> <scope>com

kafka集群搭建总共使用三台服务器，分别为：192.168.3.101 bigdata1 192.168.3.102 bigdata2 192.168.3.156 bigdata3设置服务器名称设置服务器hostnamevim /etc/hosts127.0.0.1 localhost.localdomain localhost::1 localhost6.localdomain6 localhost6192.168.3.101 bigdata1192.168.3.102.

JAVA 拾遗 --Future 模式与 Promise 模式写这篇文章的动机，是缘起于微信闲聊群的一场讨论，粗略整理下，主要涉及了以下几个具体的问题：同步，异步，阻塞，非阻塞的关联及区别。 JAVA 中有 callback 调用吗？ jdk 包中的 Future 怎么用？ Future 模式和 Promise 模式是包含的关系，还是交集的关系，还是没有关系？带着上面这些疑问，来看看我到底要拾遗些啥。浅析同步，异步，阻塞，非阻塞这几个概念一直困扰着我，说实话我现在依旧不能从一个很深的

netty业务处理有两个文件 一个是xxxServer（服务创建） 一个是xxxServerHandler（消息处理响应）在基于netty基础上的网关解析和消息处理（二）中，在业务中我们增加是synchronized和SendMap记录发送消息后的唯一标识在本章中需要释放锁，如果在异常的地方也需要释放掉锁，要不然线程会出现阻塞情况。synchronized (TaskDistribution.class) { log.info("TaskDistribution.class.n

基于上面（一）中讲解，启动的时候，每一个厂家的协议会不同，因此会启动不同的线程和端口来处理不同的厂家业务。 new Thread(new BlueChipsServer(2004)).start(); new Thread(new pinzhiServer(2002)).start(); 如果有更多厂家依次创建 启动线程后进行数据获取和数据状态更新，因为netty是异步操作，由于设备返回的协议信息比较少，无法唯一确定下发数据情况，所以对有些必须要设备回复消息后才能进行第二步操

本项目先主要解决网关数据下发和设备上报处理，当前设备量不是非常大，因此采用netty直接开发，后期如果数据量大的情况可以直接升级到MQ做架构升级，整体架构如下：第一步先创建上层接口消息处理，可以先编写一个桩函数，等下面网关解析和处理完成后再整体联调。package com.openapi.controller;import com.openapi.common.BaseController;import com.openapi.protocol.BlueChips;import .

基于Flume的美团日志收集系统(一)架构和设计美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系统整体的架构设计，以及为什么要做这样的设计。第二部分改进和优化，将主要着眼于实际部署和使用过程中遇到的问题，对Flume做的功能修改和优化...

——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真正工程化，设计模式是软件工程的基石，如同大厦的一块块砖石一样。项目中合理的运用设计模式可以完美的解决很多问题，每种模式在现在中都有相应的原理来与之对应，每一个模式描述了一个在我们周围不断重复发生的问题，以及该问题的核心解决方案，这也.

首先安装依赖包，避免在安装过程中出现问题[root@bogon liuzhen]# yum -y install gcc gcc-c++[root@bogon liuzhen]# yum -y install cmake[root@bogon liuzhen]# yum -y install ncurses-devel[root@bogon liuzhen]# yum -y instal...

Kafka初识1、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：我们想分析下用户行为（pageviews），以便我们设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点：数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统...

Kafka集群环境搭建本文只讲述Kafka集群环境的搭建步骤,后续会对kafka的其他相关知识进行整理.1、准备工作Linux服务器3台(本文将在一台linux服务器上建立三个文件夹来模拟三台linux服务器,搭建伪集群)JDK1.8http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html...

 （小白经验，大咖勿喷） 开始学前端的一些技术了，最让人头疼的就是环境的配置以及必要软件的安装，比如数据库mysql、服务器Tomcat、eclipse工具等等。  自己也度娘了很多大咖的经验，但看到的教程以及经验都很久了，我下载安装的又是最新版的工具（我也不知道什么样的用着方便就下载了最新版），所以和网上的教程多多少少都有点出入，所以自己琢磨了很久，也走了不少的弯路。所以想写一篇总结纪念一下，也...

Spring Boot 概述Build Anything with Spring Boot：Spring Boot is the starting point for building all Spring-based applications. Spring Boot is designed to get you up and running as quickly as possible, wi...

前提由于文化的不同，我们使用的电脑必备一个软件就是中文输入法，而目前大多数人都使用搜狗拼音输入法或是其他类似的。而这些输入法跟 IntelliJ IDEA 有一个万恶的冲突永恒不变：快捷键冲突。所以为了配合 IntelliJ IDEA，我们要去掉这些输入法下的所有快捷键。IntelliJ IDEA 官方出的学习辅助插件：IDE Features Trainer：https://plugins.je...

一、先准备好mysql的基本环境。    详细见https://blog.csdn.net/weixin_42575806/article/details/80941917二、下载mysql-connector-java-8.0.11.jar的jira包放到项目lib目录下        下载地址https://dev.mysql.com/downloads/connector/j/三、创建数据库...