Megustas_JJC的博客

原创 ThreadLocal类与SimpleDateFormat类

ThreadLocal类维持线程封闭性,可以使线程中的某个值与保存值得对象关联起来。为每个使用该变量的线程都存有一份独立的脚本，因此get总是返回当前执行线程在调用set时设置的最新值。ThreadLocal对象通常用于防止对可变的单实例变量（Singleton）或全局变量进行共享（在多线程应用程序在没有协同的情况下使用全局变量时，就不是线程安全的）深入理解Java：SimpleDateFor...

原创 Spring Quartz使用及配置

Quartz是一个开源的定时任务框架，在一些日常的任务中，我们经常有一些这样的需要，比如我们需要隔多少分钟去扫描或者检查一下某些文件，或者在指定的时间点内去处理一些文件。这些定时的任务更多的是一种批处理任务。在一些常用的实现里我们会使用shell脚本来完成这份工作。使用shell脚本来完成的这些任务相对来说是特定于某个任务的，不具备通用性，而且根据问题性质的复杂程度，有时候我们需要提高定时任务的可...

转载 MySQL中case when then else的用法

Case具有两种格式。简单Case函数和Case搜索函数。–简单Case函数CASE sexWHEN ‘1’ THEN ‘男’WHEN ‘2’ THEN ‘女’ELSE ‘其他’ END–Case搜索函数CASE WHEN sex = ‘1’ THEN ‘男’WHEN sex = ‘2’ THEN ‘女’ELSE ‘其他’ END这两种方式，可以实现相同的功能。简单Case函数...

转载 hadoop、storm和spark的区别、比较

1、hadoop、Storm该选哪一个？为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比...

原创 Hive,Kylin与Mysql概念梳理

Hive、Hbase、mysql区别Hive与Mysql数据库比较Kylin简介及基本思想

原创 消息队列任务丢失的原因

有时：一个异步处理的操作正常的放到了异步队列里，但是并没有被处理，或者数据库用改动，但是消费的binlog日志并没有改动信息，造成这种的原因是什么？对此进行一定猜测，消息队列是不安全的，会丢失任务（如kafka）？相比之下，写定时任务，去数据库里扫表，拿出处理中的订单，去挨个轮询状态。这样比较准确，但是对性能有损耗，对数据库造成额外压力，并且非实时。任务丢失的一些猜想：reids 的list...

原创 Spring事务注解Transactional的坑

最近使用@Transactional注解，通过看网上现有文档，将一些不错的文档在此进行一个汇总收集：Spring中Transactional的正确使用那些年spring声明式事务@Transaction的坑IBM...

原创 Hadoop到底是什么（对一些现有文档进行整合）

大数据是个铺天盖地的词，而谈论大数据又不可避免地要提到Hadoop，Hadoop到底是什么玩意，以及有何功用。Hadoop是Apache软件基金会管理的开源软件平台，但Hadoop到底是什么呢？简单来说，Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法。Hadoop被设计成一种非常“鲁棒”的系统，即使某台服务器甚至集群宕机了，运行其上的大数据分析应用也不会中断。此外H...

转载 Mysql模糊查询like效率，以及更高效的写法

在使用msyql进行模糊查询的时候，很自然的会用到like语句，通常情况下，在数据量小的时候，不容易看出查询的效率，但在数据量达到百万级，千万级的时候，查询的效率就很容易显现出来。这个时候查询的效率就显得很重要！一般情况下like模糊查询的写法为（field已建立索引）：SELECT `column` FROM `table` WHERE `field` like '%keyword%';...

原创 gson解析json字符串

String retJson = HttpRequestUtil.sendGet1(url, auth, null);JsonParser parser = new JsonParser();JsonObject ret = parser.parse(retJson).getAsJsonObject();Integer totalCount = ret.get("data").getAsI...

原创 redis安装，启动及停止

Redis 与其他 key - value 缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Redis支持数据的备份，即master-slave模式的数据备份。http://redis.io/ 下载r...

原创 mysql错误：Column ‘id’ in field list is ambiguous

原因：从join的表中进行select时，两个表都有id属性，列’ID’在字段列表中重复，其实就是两张表有相同的字段，但是使用时表字段的名称前没有加表名，导致指代不明，前面加上前缀“表名”就没问题了。 SELECT a.* FROM dw_dim_warehouse a JOIN dw_adam_user b ON a...

原创 分层领域模型：Entity转为BO

BO(Business Object):业务对象，由 Service 层输出的封装业务逻辑的对象。进行对外接口的编写，往往需要返回BO，但是通过DAO层我们获取到的往往是Entity的形式，因此往往需要进行Entity到BO的转换，因此写了一个工具接口，完成这种转换： public static<S extends Object,D extends Object> Lis...

转载 详述 IntelliJ IDEA 中自动生成 serialVersionUID 的方法及Dto

生成方法：https://blog.csdn.net/qq_35246620/article/details/77686098 （选中类，并 alt + enter，即可生成ID）DTO：https://www.cnblogs.com/xt0810/p/3654574.html

原创 将Java对象转为JsonNode

在RPC接口调用的时候，经常会遇到这样的问题，本身是一个JsonNode对象，但是由于对象接口的返回形式，只获取到了Map或Object等其他形式的对象，为了方便进行属性值的获取，需要进行对象的转换，可以利用import com.fasterxml.jackson.databind.JsonNode与 import com.fasterxml.jackson.databind.ObjectMap...

原创 serialVersionUID的作用以及设置方法

serialVersionUID的作用以及设置方法设置 serialVersionUID默认的生成方式： private static final long serialVersionUID = 1L; serialVersionUID的作用：serialVersionUID 用来表明类的不同版本间的兼容性。如果你修改了此类, 要修改此值。否则以前用老版本的类序列化的类恢复时会...

原创 Thrift

本文从概念及用法等层面对Thrift进行一个总结，对于IDL方式的实现还没有实际进行过相关代码编写。定义Thrift 最初由Facebook开发，而后捐献给Apache，目前已广泛应用于业界。Thrift 正如其官方主页介绍的，“是一种可扩展、跨语言的服务开发框架”。目前流行的服务调用方式有很多种，例如基于 SOAP 消息格式的 Web Service，基于 JSON 消息格式的 RE...

原创 React组件中的state与props

记住：React 中的数据流是单向的，并在组件层次结构中向下传递。statestate:当一个组件 mounts的时候，state如果设置有默认值的会被使用，并且state可能时刻的被改变。一个子控件自身可以管理自己的state，但是需要注意的是，无法管理其子控件的state。所以可以认为，state是子控件自身私有的。在react中，state可以看成管理页面状态的集合（实则一个对象...

原创 Spring MVC与Spring Boot

spring boot 我理解就是把 spring spring mvc spring data jpa 等等的一些常用的常用的基础框架组合起来，提供默认的配置，然后提供可插拔的设计，就是各种 starter ，来方便开发者使用这一系列的技术，套用官方的一句话， spring 家族发展到今天，已经很庞大了，作为一个开发者，如果想要使用 spring 家族一系列的技术，需要一个一个的搞配置，然后还有...

原创 @RestController注解总结

消息转换提供了一种更为直接的方式，它能够将控制器产生的数据转换为服务于客户端的表述形式，当使用消息转换功能时，DispatcherServlet不再需要那么麻烦地将模型数据传到视图中。实际上，这里根本没有模型，没有视图，只有控制器产生的数据，以及消息转换器转换数据之后所产生的资源表述。在响应体中返回资源状态 @RequestMapping(method = RequestMethod...

原创 Spring消息之JMS与AMQP

异步消息是应用程序之间通用的交流方式。异步消息通信与同步RPC相比有几个优点。间接通信带来了应用之间的松散耦合，因此减轻了其中任意一个应用崩溃所带来的影响。此外，因为消息转发给了收件人，因为发送者不必等待响应，在很多情况下，可以提高应用的性能。应用程序之间使用异步通信：JMS与AMQP基于浏览器的客户端和服务器之间的异步通信：WebSocketJMS消息模型JMS中，有三个主要的参...

原创 RestTemplate之POST资源及GET资源

https://blog.csdn.net/itguangit/article/details/78825505https://www.cnblogs.com/tomcatandjerry/p/5899722.html通过RestTemplate可以进行http接口的调用，例如如下是POST方式： public ResponseEntity<JsonNode> P...

原创 Mybatis模糊查询

在mybatis中经常要写到like 查询,突然遇到一个问题,找了好长时间没找到,最后找到了,是关于#和$的使用的,总结如下:name like #{name}这个是使用#{}占位符,没有任何问题,关键问题就是 表达式的书写.下面来研究下表达式的书写:如果写成’%#{name}%’ ,就会报错Parameter index out of range (2> number of ...

原创 星型模型、雪花模型、星座模型及数仓建模方法

整体流程概览（1）数据仓库（Data WareHouse，简称DW）：数据仓库是一种资讯系统的资料储存理论，主要功能乃是将组织透过资讯系统之联机交易处理（OLAP）经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析整理，以利各种分析方法，例如线上分析处理及数据挖掘之进行，并且进而支持例如决策支持系统及主管资讯系统之创建，帮助决策者能快速有效的自大量资料中，...

原创 ETL

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从...

转载 Lombok

官网下载地址https://projectlombok.orglombok是一个可以帮助我们简化java代码编写的工具类，尤其是简化javabean的编写，即通过采用注解的方式，消除代码中的构造方法，getter/setter等代码，使我们写的类更加简洁，当然，这带来的副作用就是不易阅读…不过，还是能看得懂吧，废话不多说，先看一下lombok支持的一些常见的注解。@NonNull@Cl...

原创 数据库索引思维导图

将数据库索引相关内容进行了总结

原创 Flask扩展之Flask-Script

原创 virtualenv的使用

在进行python的时候，如果我们要同时开发多个应用程序，那这些应用程序都会共用一个Python，就是安装在系统的Python。如果应用A需要2.7版本，而应用B需要2.6版本怎么办？这种情况下，每个应用可能需要各自拥有一套“独立”的Python运行环境。virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。virtualenv 为每个不同项目提供一份 Python 安...

原创 hadoop安装教程

前言最近刚接触hadoop，在hadoop的安装及配置过程中遇到一些问题，在学习的过程中，发现网上现有的一些文章还是有些坑没有解释清楚或者有问题，导致走一些弯路，因此记录下自己安装配置的过程，方便像我一样的小白能够快速上手hadoop。ssh的配置和验证1.确认mac的远程登录是否开启 　　　　系统偏好设置->共享->勾选远程登录. 当远程登录状态为打开且为绿灯时，成功开启，ok,

原创 I/O多路复用及select函数解析及实例

概述在进行解释之前，首先要说明几个概念： - 用户空间和内核空间 - 进程切换 - 进程的阻塞 - 文件描述符 - 缓存 I/O用户空间与内核空间现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。操作系统的核心是内核，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。为了保证用户进程不能

原创 浅谈Python和Java的多进程与多线程的异同

最近在学习Python多线程相关的部分，遇到了这样的一句话：“对于任何Python程序，不管有多少的处理器，任何时候都总是只有一个线程在执行”，即Python中的多线程是“假的多线程”，是什么原因造成这样的说法，搜集查阅了一些资料，并且对比Java，如下是个人对于这个问题的一些理解：解释型语言编译性语言例如c语言：用c语言开发了程序后，需要通过编译器把程序编译成机器语言（即计算机识别的二进

转载 Python GIL（Global Interpreter Lock，全局解释器锁）

常听到GIL这个词，并且发现这个词经常和Python无法高效的实现多线程划上等号。本着不光要知其然，还要知其所以然的研究态度，博主搜集了各方面的资料，花了一周内几个小时的闲暇时间深入理解了下GIL，并归纳成此文，也希望读者能通过次本文更好且客观的理解GIL。GIL是什么首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好

转载 CPU-bound(计算密集型) 和I/O bound(I/O密集型)

I/O密集型 (IO-bound) I/O bound 指的是系统的CPU效能相对硬盘/内存的效能要好很多，此时，系统运作，大部分的状况是 CPU 在等 I/O (硬盘/内存) 的读/写，此时 CPU Loading 不高。 CPU bound 指的是系统的 硬盘/内存 效能 相对 CPU 的效能 要好很多，此时，系统运作，大部分的状况是 CPU Loading 100%，CPU 要读/写

原创 Python 多线程

Python中的多线程与Java，C++中的思想是比较接近的，作用也一样：使用线程可以把占据长时间的程序中的任务放到后台去处理。用户界面可以更加吸引人，这样比如用户点击了一个按钮去触发某些事件的处理，可以弹出一个进度条来显示处理的进度程序的运行速度可能加快在一些等待的任务实现上如用户输入、文件读写和网络收发数据等，线程就比较有用了。在这种情况下我们可以释放一些珍贵的资源如内存占用等等。

原创 PyCharm中Unhandled exception in thread started by Error in sys.excepthook问题解决

#-*-coding: utf-8 -*-import threadimport time#定义线程函数def print_time(threadName,delay): count = 0 while count5: time.sleep(delay) count += 1 print "%s: %s" % (threadN

原创 [Errno 48] Address already in use 解决方法

在进行socket编程时，我们在运行server端代码的时候遇到了如下的问题： 显示地址已经被占用，那么我们如何解决这个问题？首先我们看一下server端的代码：s = socket.socket()host = socket.gethostname()port = 12345s.bind((host,port))s.listen(5)Use lsof -i :5000

原创 Python网络编程——socket编程

Python 提供了两个级别访问的网络服务。： 低级别的网络服务支持基本的 Socket，它提供了标准的 BSD Sockets API，可以访问底层操作系统Socket接口的全部方法。 高级别的网络服务模块 SocketServer， 它提供了服务器中心类，可以简化网络服务器的开发。什么是 Socket? Socket又称”套接字”，应用程序通常通过”套接字”向网络发出请求或者应答网络

原创 Mac下MySQL-python安装及EnvironmentError: mysql_config not found的解决办法及pip指令

(写在前面，作为小白，网上各种安装攻略和错误解决办法真是给我弄懵了，很多有问题并且有的解决办法也是行不通的。。。。最后解决之后，发现这个环境的安装其实是个很简单的事。。。)（1）首先需要进行Python的安装 （2）进行mysql的安装，多种方式，偷懒一些可以直接使用brew指令brew install mysql（3）mysql_config not found的造成原因就是因

原创 Python中的类

学习过其他面向对象语言的人，对于学习类这个概念，相信是很容易理解的，如下通过一些代码，将Python的类的一些特性展现出来类及抽象类# -*- coding: utf-8 -*-# Python抽象类的基本模板from abc import ABCMeta, abstractmethod# 定义抽象类，继承objectclass People(object): # 定义为抽象类