- 博客(29)
- 收藏
- 关注
RSS订阅原创 数据仓库复习
1、数据仓库建设一般在OLAP中使用维度建模，在OLTP中使用3NF建模数据仓库的建设主要分为以下四个步骤 ：业务建模 -> 领域建模 -> 逻辑建模 -> 物理建模 （要理解其大概步骤）互联网数仓与传统数仓还是有所区别的，主要在操作的是人员、数据的加工ETL、以及对业务的支持模式(数据立方体或数据中台)维度建模缺点：一般在ODS层不用维度建模，因为无法百分百...
2019-12-24 17:31:14
420
原创 hibernate 继承实体类问题 SQL Error: 1054, SQLState: 42S22 SqlExceptionHelper : Unknown column ‘dtype’
基本环境：springboot + hibernate实体类package com.example.bifrost.entry.db;import lombok.Data;import javax.persistence.*;import java.io.Serializable;//@MappedSuperclass@Table(name = "DB_Config")...
2019-08-08 18:31:09
3923
原创 1-4 基于Netty实现简单的聊天功能
主要功能1、(Clinet)断点要能重连2、Server接收Client发送的消息3、人数统计主要使用 ChannelInitializer、ChannelInboundHandlerAdapter注意点1、在pipeline()使用Handler处理消息时需要使用正确的Handler顺序（错误的顺序会读不出来 可能不会走到channelRead()方法）...
2019-07-25 17:22:01
289
原创 1-3 Netty实现心跳机制
Netty主要使用Bootstrap、ChannelPipeline、Handler 、EventLoop、ByteBuf这几个类基本概念见：https://blog.csdn.net/crazymakercircle/article/details/84332086#Netty_BootstrapchannelPipiline设计见：https://blog.csdn.net/weixi...
2019-07-22 23:58:51
257
转载 使用@Slf4j的正确方法
<!-- https://mvnrepository.com/artifact/org.projectlombok/lombok --> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok&...
2019-07-22 16:42:45
787
原创 1-2 非阻塞I/O 和基于Netty的客户端与服务端通信
非阻塞I/OClient.javaimport java.io.*;import java.net.Socket;public class Client { public static void main (String ... argas){ ClientHandle clientHandle = null; try { ...
2019-07-19 17:41:53
246
转载 Netty实战——Channel、EventLoop和ChannelFuture详解
Netty可以说是有Channel、EventLoop、ChannelFuture聚合起来的一个网络抽象代表Channel——Socket； EventLoop——控制流、多线程处理、并发 ChannelFuture——异步通知Channel接口基本的I/O操作（bing()、connect()、read()、和write（））依赖于底层网络传输所提供的原始。在基于Java的网络编程...
2019-07-19 16:56:38
287
原创 1-1 阻塞、伪异步I/O demo与对比
1、阻塞I/O阻塞I/O即为最传统的I/O,Server端需要停的Accept()，去轮训接受sokect里的消息,占用资源练习：先启动Server端,后启动Clinet端Client.javaimport java.io.*;import java.net.Socket;public class Client { public static void main (...
2019-07-18 17:55:49
201
原创 3-3 使用Eureka作为服务注册中心
什么是Eureka Eureka是在AWS上定位服务的REST五福Netflix OSS https://netflix.github.ioSpring 对Netflix套件的支持 Spring Cloud Netflix在本地启动一个简单地Eureka服务 --单机版Starter spring-cloud-dependencies...
2019-07-18 16:57:00
246
转载 可疑交易识别分析
可疑交易识别分析-类型模式特征分析：地下钱庄： 交易频繁 交易对手众多 累计交易金额大 沿海地区 空壳公司 无真实贸易背景非常态分析： 交易序列非常态 主体身份非常态 交易方向非常态 交易规模非常态关联分析： 名单库关联 地域分析 特定行业关联...
2019-06-24 16:30:21
5335
原创 复习
数据仓库1、什么是数据仓库？面向主题的、集成的、相对稳定的、反映历史变化的数据集合2、数据建模三范式第一范式：必须要有主键、且每个属性值都是不可再分的最小数据单位第二范式：关系模式R中所有非主属性都完全依赖于主关键字第三范式：关系模式R中的非主键字不能依赖于其他非主键字，即非主键字段不能有依赖关系3、数据仓库分层 DWD/ODS、DWB、DWSDWD：细节数据层，业...
2019-06-10 18:03:48
196
原创 2-3 RestTemplate 用法
常用方法通过RestTemplate访问Web资源Spring Boot 中没有自动配置Rest TemplateSpring Boot 提供了RestTemplateBuilder RestTemplateBuilder.build()GET请求 getForObject() / getForEntity()POST请求 postFor...
2019-06-05 16:51:12
296
原创 3-2 了解 12-Factors
基础代码 一份基础代码、多份部署依赖 显式声明依赖关系配置 在环境中存储配置后端服务 把后端五福当做附加资源构建、发布、运行 严格分离构建和运行进程 以一个或多个无状态进程运行应用端口绑定 通过端口绑定提供服务并发 通过进程模型进行拓展易处理 快速启动和优雅终止可最大化健壮性...
2019-06-04 17:52:33
376
原创 3-1 了解微服务
了解微服务“微服务就是一些协同工作的小而自治的服务” -- Sam Newman微服务的优点 易于部署 与组织架构对其 可组合性 可替代性异构性 语言、存储... ...弹性 一个组件不可用，不会导致级联故障拓展 单体服务不易拓展，多个较小的服务可以按需拓展实施微服务的代价分布式系统的复杂性开发...
2019-06-04 17:27:21
150
原创 2-2 Springboot自动配置Bean原理和配置自动配置的Bean
认识Springboot SpringBoot不是什么 不是应用服务器 不是JavaEE之类的规范 不是代码生成器 不是Spring Framework的升级版（帮助大家更好地使用Spring Framework）SpringBoot的特性 方便地创建可独立运行的Spring应用程序 直接内嵌了Tomcat、Jett...
2019-05-31 16:16:39
1745
原创 2-1 Springboot分布式Session处理 存储到Redis
Spring Session 简化集群中的用户会话管理 无需绑定容器特定解决方案支持的存储 Redis、MongoDB、JDBC、Hazelcast定制HttpSession通过定制的HttpServletRequest返回定制的HttpSession SessionRepositoryRequestWrapper SessionRep...
2019-05-30 18:13:51
374
转载 HttpStatus各种状态
'100' : 'Continue', '101' : 'Switching Protocols', //Successful 2xx '200' : 'OK', '201' : 'Created', '202' : 'Accepted', '203' : 'Non-Authorita...
2019-05-30 11:47:30
1421
原创 1-9 SpringMVC 的异常处理 @ExceptionHandler
核心接口 HandlerExceptionResolver实现类 SimpleMappingExceptionResolver DefaultHandlerExceptionResolver ResponseStatusExceptionResolver --顾名思义处理标记了 ResponseStatus的注解的方法或类 ExceptionH...
2019-05-29 17:46:24
467
原创 1-8 SpringMVC常用视图Json序列化反序列化、Xml
1、视图解析的实现基础ViewResolver 与 View 接口 AbstractCachingViewResolver UrlBaseViewResolver FreeMarkerViewResolver ContentNegotiatingViewResolver InternalResourceViewResolverDisp...
2019-05-28 17:28:20
573
原创 1-7 定义处理方法 Controller层
类型参考https://www.cnblogs.com/101718qiong/p/9675076.html1、定义映射关系@Controller@RequestMapping path/method 路径与方法 params/headers 限定映射范围 (params='name' or params=‘!name’） consumes/p...
2019-05-28 11:24:45
404
原创 1-6 Springboot拦截器 Interceptor 通过重写addInterceptors方法添加一个HandlerInterceptor对象
Filter 和 Interceptor 分别对应 过滤器和拦截器应用场景：拦截器 做令牌检查、参数校验等等实现方法：1、通过实现 WebMvcConfigurer 接口 重写其中空的addInterceptors(InterceptorRegistry registry)方法 2、调用 registry.addInterceptor(Handle...
2019-05-23 19:52:16
8917
原创 1-4 事务抽象 事务的传播性与隔离性
Springboot有一致的事务模型JDBC/Hibernate/myBatisDataSource/JTA事务抽象的核心接口PlatformTransactionManager DataSourceTransationManager HibernateTransactionManager JtaTransactionManagerTrans...
2019-05-22 16:29:54
179
原创 1-3 Spring AOP的一些核心概念
Spring AOP 的一些核心概念概念 含义 Aspect 切面 Join Point 连接点，Spring AOP里总是代表一次方法执行 Advice 通知，在连接点执行的动作 Pointcut 切入点，说明如...
2019-05-21 17:17:45
312
原创 1-2 添加缓存 Springboot 基于注解的缓存
1、使用情况缓存的适用情况:查询内容长久不变的、读写比很大的（读写1：10）前后端一致性需求不高的 可以使用缓存方法一 Springboot基于注解的缓存 @EnableCaching(proxyTargetClass=true) //开启支持缓存的注解 并基于类进行代理常用注解：@Cacheable //添加缓存 public List<User> findAllUs...
2019-05-20 14:41:50
445
原创 docker run redis STATUS Exited (1)
1、用 docker 启动redisdocker run --name redis -p 6379:6379 -v /data:/data -d redis启动redis或其他组件使用docker ps -a 发现[root@localhost ~]# docker ps -a CONTAINER ID IMAGE COMMAND ...
2019-05-17 17:39:14
9699
原创 1-1 创建简单SpringBoot应用
使用组件 hibernate、mysql、springboot、lombok步骤：1、创建项目 exampleSpringboot官网 -> Quick start -> 输入groupId、artifactId -> 选择需要的组件JPA、Mysql、Jdbc <groupId>com.example</groupId> <ar...
2019-05-16 18:40:53
128
原创 Spark-submit问题、Hive表load空值问题、jar Classnotfount和自定义UDF的使用以及常见的问题
一、Hivehive是数据仓库，建立在hdfs生态圈的上层架构，hive的数据可以与mysql hbase 进行转换1.使用mysql导入数据到hive load 表发现值为null的问题（1）先检查sqoop 导入时候有没有指定分隔符 --fields-terminated-by '#'这一句是不是添加了。默认是逗号是分隔符切记指定分隔符只能为单字符，推荐\t 和hive默认的\001 前提是...
2018-04-15 23:56:43
629
1
原创 Hive搭建和使用遇到的坑--基本配置
这次来讲讲Hive小白常见的坑。首先成功搭建Hadoop集群 https://blog.csdn.net/H_crab/article/details/79673885一、Hivehive的版本号要求是很高的。对以后的spark on hive 和hive on spark 都有关系 所以请严格参照cloudera的CDH版本对照表，大神无视啦~~~并不是越新就肯定越好，具体看公司上层的决定最好能...
2018-03-29 23:01:06
787
原创 HadoopHA搭建
本人小白，此文章针对简单但是容易忽略的问题，自己踩过的坑自己知道，膜拜大神。1.下载对应的CDH版本组件CDH版本要对得上号，要不会出现一系列问题。2.拿到集群首先该干什么。应该确定一下组件分部情况。千万不要搞混淆。举例 4台集群这是我给我用的那4太集群配的，后面会加上Spark和Hbase 所以2 、3号机器我打算主要当跑任务用一定要吧mysqlhive专用的那个和普通的mysql分开 如过两个...
2018-03-29 22:09:31
316
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人