- 博客(28)
- 收藏
- 关注
RSS订阅原创 impala笔记
Impala1、Impala简介1、优缺点优点Impala不需要把中间结果写入磁盘，省掉了大量的I/O开销。Impala抛弃了MapReduce ，impala直接通过相应的服务进程来进行作业调度，使⽤了类似于传统的MPP数据库技术，⼤⼤提⾼了查询的速度。，从而省掉不必要的shuffle、sort等开销。通过使用LLVM来统一编译运行时代码，避免了为支持通用编译而带来的不必要开销。用C++实现，做了很多有针对性的硬件优化，例如使用SSE指令。使用了支持Data locality的I/O调度
2021-07-06 21:18:56
365
1
原创 hive笔记
hive了解Hive是基于Hadoop的一个数据仓库工具，可以将 结构化的数据文件 映射为一张表.Hive本质是：将 SQL 转换为 MapReduce 的任务进行运算底层由HDFS来提供数据存储可以将Hive理解为一个：将 SQL 转换为 MapReduce 任务的工具数据仓库的目的：构建面向分析的、集成的数据集合；为企业提供决策支持数据仓库本身不产生数据，数据来源与外部存储了大量数据，对这些数据的分析和处理不可避免的用到HiveHive的优点学习成本低。Hive提供了类似SQL的查询
2021-07-06 01:55:42
1038
原创 大数据学习笔记
1、初期准备1、linux 常用命令https://blog.csdn.net/qq_37863962/article/details/115676200?spm=1001.2014.3001.55012、hadoop 环境搭建https://editor.csdn.net/md/?articleId=117042414（比较乱）3、hadoop 学习1、hadoop 2.0https://editor.csdn.net/md?not_checkout=1&articleId=1170
2021-06-01 23:30:24
130
3
原创 LINUX
1、用户新增： user add xiaoming带家庭的:useradd xiaoming2 xiaoming带组的:useradd -g wudang zwj删除: userdel xiaoming2、组：新增：groupadd wudang修改：groupmod wudang删除:groupdel wudang3、家
2021-05-19 22:59:55
88
原创 dubbo
duboo一、SOP前述1、垂直架构：根据业务把项目垂直切割成多个项目 优点： 系统拆分，流量分担，解决并发问题 不同系统进行优化 水平扩展、负载均衡、容错提高 系统独立，互不影响、迭代下频率高 缺点： 服务系统之间接口调用硬编码 搭建集群之后，实现负载均衡比较复杂 服务系统接口调用监控不到位 调用方式不统一 数据库资源浪费，充斥慢查询，主从同步延迟大2、分布式sop： 即面向服务的架构 。它是在垂直划分的基础上,将每个项目 拆分出多个具
2020-12-06 20:56:00
1549
原创 Zookeeper
ZookeeperZooKeeper最为主要的使⽤场景，是作为分布式系统的分布式协同服务。我们将分布式系统定义为：分布式系统是同时跨越多个物理主机，独⽴运⾏的多个软件所组成系统。分布式系统的协调⼯作就是通过某种⽅式，让每个节点的信息能够同步和共享。这依赖于服务进程之间的通信。通信⽅式有两种：1、通过⽹络进⾏信息共享2、通过共享存储ZooKeeper对分布式系统的协调，使⽤的是第⼆种⽅式，共享存储。其实共享存储，分布式应⽤也需要和存储进⾏⽹络通信当主节点（组leader），对某个从节点的分⼯信息
2020-11-09 01:12:05
379
原创 分布式理论、架构
分布式系统：所谓分布式系统，就是一个业务拆分成多个子业务，分布在不同的服务器节点，共同构成的系统称为分布式系统，同一个分布式系统中的服务器节点在空间部署上是可以随意分布的，这些服务器可能放在不同的机柜中，也可能在不同的机房中，甚至分布在不同的城市。分布式与集群区别集群：多个人在一起作同样的事 。分布式 ：多个人在一起作不同的事分布式系统的特点：（1）分布性（2）对等性（3）并发性（4）缺乏全局时钟（5）故障总是会发生2.分布式系统面临的问题1）通信异常网络本身的不可靠性，因此每次
2020-10-17 13:54:52
430
2
原创 web.xml spring.xml springmvc.xml properties基本配置
web.xml<?xml version="1.0" encoding="UTF-8"?> AAA//项目名称 //加载的spring配置文件 contextConfigLocation classpath*:spring/spring-*.xml <!-- 监听器 --><listener> ...
2020-06-07 23:36:47
62
原创 众筹随记
随记1删除session: swssion.invalidate();监听器初始化（自定义） 继承Application空指针 拆装箱，为空对象前台 <foreach varstatus=“status” 当前循环状态对象，里面有该对象的所有信息注释： <!-- --!> htmlde 注释前台可见 <%-- ...
2020-06-07 23:17:39
190
原创 AOP
AOP面向切面编程：面向对象编程中，重复性代码问题单独解决，是对oop（面向对象的补充）切面：aspct 切入点：如：事物、权限、日志打印等将横切关注点的代码查找到后，单独形成的类称为切面类(都是非业务代码)。将扩展代码程序组 件化 （具有复用性和可维护性）。横切关注点：就是要查找到解决问题代码都在什么地方。指的是那些非业务代码。通知(Advice)：...
2020-06-07 23:16:56
67
原创 dispatcherServlet
initStrategies(ApplicationContext context)initMultipartResolver(context)//初始化上下文解析器initLocaleTesolver(context)//初始化本地解析器initThemeResolver(context)//初始化主题解析器initHandlerMapping(context)//初始化处理器映射器，...
2020-06-07 23:16:49
211
原创 文件上传、下载、拦截器
文件上传mvc 会将上传文件绑定到MulipartFile中 ，MulipartFile提供和获取文件相关信息的方法byte[] getBytes 获取文件数据String getContentType()获取文件MINE类型InputStream getInputStream()获取文件流String getName() 获取表单中 文件组件的名字String getOriginal...
2020-06-07 23:16:33
88
原创 加载属性properties
@Configuration@PropertySource(value="{classpath:databass-config.properties",ignoreResourceNotFound=true})public class kkkkk{}ignoreResourceNotFound=true 文件找不到是忽略，不然spring会抛异常 退出ApplicationContext...
2020-06-07 23:13:57
59
原创 @autowired @Qualifier @Primary @Profile
@autowired 按类型注入 多个实现类抛异常@Qualifier(“roleService2”) 按bean注入privae RoleService roleService2;@Component@Primary 首选注入 多个实现类抛异常public RoleServiceImol implenments RoleService;...
2020-06-07 23:11:49
91
原创 NIO
NIO Channel 负责传输， Buffer 负责存储IONIO面向流(Stream Oriented面向缓冲区(Buffer Oriented阻塞IO(Blocking IO)非阻塞IO(Non Blocking IO)无选择器(Selectors)Buffer 就像一个数组根据数据类型不同(boolean 除外) ，有以下 Buff...
2020-06-07 23:11:27
76
原创 springBoot介绍
**一、**Spring Boot 入门1、Spring Boot 简介简化Spring应用开发的一个框架；整个Spring技术栈的一个大整合；J2EE开发的一站式解决方案；2、微服务2014，martin fowler微服务：架构风格（服务微化）一个应用应该是一组小型服务；可以通过HTTP的方式进行互通；单体应用：ALL IN ONE微服务：每一个功能元素最终都是一个可独...
2020-06-07 23:11:15
130
原创 jdk8新特性
1 Lamde表达式 -->后为要执行的代码1、加粗部分（星号内）为要执行的代码 也就是retrun的代码@Test public void tedt1( ) { String trimStr = strHandler("\t\t\t 我是好人 ", (str) -> **str.trim()**); System.out.println(trimStr); S...
2020-06-07 23:10:36
131
原创 git/github的使用
：https://github.com/创建远程库1、创建远程库2、创建远程库地址别名git remote -v 查看当前所有远程地址别名 git remote add [别名] [远程地址]3、推送git push [别名] [分支名]4、克隆 gitorigin[远程地址]5、团队成员邀请6、拉取 pull=fetch+me...
2020-06-07 23:10:26
184
原创 视图解析器整理
视图–逻辑使图和非逻辑视图非逻辑视图是不需要视图解析器的，比如MappingJacksin2JsionView 含义就是把数据模型转换成JSONJSTL视图JSON视图EXCEL视图：springMvc推荐AbdtrctXlsViewproject abstract void buildExcelDocument(Map<string,object> model,Workb...
2019-05-17 19:59:53
117
原创 mybatis整理
mybatis存储过程参数支持#{id，mode=IN} #{age，mode=OUT} #{name，mode=INOUT}IN :输入参数OUT : 输出参数INOUT :输入输出参数自定义主键<insert> <selectKey keyProperty="id" resultType="long" order="BEFORE"> SELEC...
2019-05-11 23:08:22
285
原创 spring数据绑定流程 转化数据、格式化数据、校验数据
spring数据绑定流程ConversionService接口方法：1、boolean canConvert(Class<?> sourceType,Class<?> targetType) 判断两个java对象是否可以转化2、boolean canConvert(TypeDescriptor sourceType,TypeDescriptor targetTyp...
2019-05-11 18:18:57
120
原创 spring信息转换接口
spring信息转换接口1. httpMessageConverter接口接口方法：boolean canRead（Class<?> clazz,MediaType mediaType）:该方法指定转换器需要读取的类型,即将信息转换为clazz对象，同时指定MINI类型（text\html、application\json）.boolean canWrite（Class<...
2019-05-11 17:36:51
143
原创 SPRING 注解
Spring注解@Controller @Service @Common @@Spring用于参数绑定的注解处理request的4大类参数注解：处理request body 部分的注解：@requestParam、@RequestBody处理request uri部分的注解：@Pathvariable处理request head部分的注解@RequestHeader、@CookieV...
2019-05-11 17:04:02
158
原创 Spring处理请求和返回的参数类型有哪些
Spring处理请求和返回的参数类型有哪些方法参数中出现的参数类型：httpservletRequest或者servletRequesthttpservletResponse或者servletResponsehttpSessionwebRequest或者NativeWebRequestJava.util.Localjava.io.InputStream或者java.io.Reade...
2019-05-11 17:03:47
853
原创 servlet容器--IOC
servlet容器JAVABEAN创建：生命周期4步骤 new 反射 序列化/反序列化 克隆初始花 直接给变量初始化 动态代码块初始化 、 构造器初始化 setter方法赋值--这里才叫赋值操作使用销毁Servlet生命周期一个Servlet必须继承接口HttpServlet，或实现Servlet接口一个servl...
2019-05-06 20:13:05
119
原创 MYSQL索引
索引的优点：1. 增加查询速度，包括分组和排序索引的缺点： 1. 创建和维护索引需要时间，随着数量的增加而增加; 2. 占用物理空间，与数量成正比 3. 增加增删改的效率，因为需要动态维护建立索引时机：1. 主键自动建立唯一索引;2. 数据唯一时使用唯一索引；3. 频繁查询的字段建立索引4. 查询中排序分组的的字段建立索引5. 查询中与其它表关联的字段，外键关系建立索引...
2019-05-04 21:47:24
81
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人