u011500419的专栏

原创 java 泛型

/*** 泛型方法的基本介绍* @param tClass 传入的泛型实参* @return T 返回值为T类型* 说明：* 1）public 与 返回值中间<T>非常重要，可以理解为声明此方法为泛型方法。* 2）只有声明了<T>的方法才是泛型方法，泛型类中的使用了泛型的成员方法并不是泛型方法。* 3）<T>表明该方法将使用泛型类型T，此时才可以在方法中使用泛型类型T。* 4）与泛型类的定义一样，此处T可以随...

原创 log.info（）报红失效 可能是他的错

log.info()报红解决方案1: 重新安装lombok即可

原创 spring-boot2_了解自动配置-1

了解自动配置原理1、SpringBoot特点1.1、依赖管理父项目做依赖管理依赖管理 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.3.4.RELEASE</versio.

原创 impala 与hive 简单对比

impalaImpala的优缺点优点基于内存运算，不需要把中间结果写入磁盘，省掉了大量的I/O开销。 无需转换为Mapreduce，直接访问存储在HDFS，HBase中的数据进行作业调度，速度快。 使用了支持Data locality的I/O调度机制，尽可能地将数据和计算分配在同一台机器上进行，减少了网络开销。 支持各种文件格式，如TEXTFILE、SEQUENCEFILE 、RCFile、Parquet。缺点对内存的依赖大，且完全依赖于hive。 实践中，分区超过1万，性能严..

原创 kylin 的 cube流程

hbase中存储的是 value，一些数据，占用空间小。取出数字后再对应出具体值。

原创 系统里有哪些软中断？

最近，某团外卖被爆出大数据杀熟，所谓的大数据杀熟指的是平台利用户的数据，分析你是否是钱多的人，或者是否是不纠结价格的人，如果是，那么你买同样的物品会比普通用户贵一点，一般这种没有特地去对比价格是很难发现的，所以平台就利用了这点额外赚一些钱。说来很可笑，我们作为平台的资深用户，竟然被平台背后偷偷捞一笔。不过，大数据杀熟早已是屡见不鲜的事情了，事实上，几乎所有大平台都存在这种现象，没办法，这就是真实的互联网。刹车，大数据杀熟的话题就说到这了，我们还是回归到今日的技术主题：什么是软中断？。中断是什

原创 flume 容量

batchsize <=transactionCapacity<=capacity

原创 kafka系列之kafka各个版本的区别

https://blog.csdn.net/qq_21451945/article/details/103085232

原创 hive 处理group by字段中没有，但select中要有的字段

collect_set(字段名)[0]

原创 hive导入表中文乱码

平时我们在将外部文件导入到hive表的过程中，要是原文件包含有中文的，导入就经常会出现乱码，这个时候我们可以事先把文件编码格式修改为utf8后再导入.1.查看文件的当前的编码[hadoop@master exter_data]$ file --mime-encoding provcode.TXTprovcode.TXT: iso-8859-12.转换为utf8格式iconv -f iso-8859-1 -t utf-8 provcode.TXT -o provcode.TXT.utf83.然后进

原创 sql 解析过程

订单表：drop table if exists `order`;create table if not exists `order`( id int, user_id varchar(10), city varchar(50), order_time varchar(50))engine=InnoDB DEFAULT charset=utf8;insert into `order` values(1,'A','深圳','2018-01-01 10:10...

原创 什么是数据仓库总线架构

一、总线架构维度建模的数据仓库中，有一个概念叫Bus Architecture，中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构（MD）中的三个关键性概念之一，另两个是一致性维度（Conformed Dimension）和一致性事实（Conformed Fact）。在多维体系结构（MD） 的数据仓库架构中，主导思想是分步建立数据仓库，由数据集市组合成企业的数据仓库。但是，在建立第一个数据集市前，架构师首先要做的就是设计出在整个企业内具有统一解释的标准化的维度和事实，即一致性维度和一

原创 ETL

什么是逻辑数据映射？它对ETL项目组的作用是什么？答：逻辑数据映射（Logical Data Map）用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档，通常以表格或Excel的格式保存如下的信息：目标表名： 目标列名： 目标表类型：注明是事实表、维度表或支架维度表。 SCD类型：对于维度表而言。 源数据库名：源数据库的实例名，或者连接字符串。 源表名： 源列名： 转换方法：需要对源数据做的操作，如Sum(amount)等。逻

原创 mongodb

http://c.biancheng.net/view/6553.html

原创 spring mvc 的 classpath

springmvc 项目中classpath指的是resource root 指定的目录。

原创 通过序列化 实现深拷贝

import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.IOException;import java.io.ObjectInputStream;import java.io.ObjectOutputStream;import java.io.Serializable;/* 通过序列化实现深拷贝 */public class DeepCopyBySerialization

原创 java 多路复用io

import java.net.InetSocketAddress;import java.net.ServerSocket;import java.net.URLDecoder;import java.net.URLEncoder;import java.nio.ByteBuffer;import java.nio.channels.SelectableChannel;import java.nio.channels.SelectionKey;import java.nio.channe..

原创 spark shuffle详解

https://www.cnblogs.com/itboys/p/9201750.html

原创 spark 出现的问题

http://www.yidooo.net/2019/04/21/spark-troubleshooting-guide.html

原创 hive 数据类型注意事项

1 ， float double decimal 类型统一用decimal 并且 给decimal类型设计一个很大的范围（比如decimal（20,8））2，所有类型都用string。这种比较粗糙。3， 所有int类型都用 bigint类型。

原创 事务的四个特性

事务是指对系统进行的一组操作，为了保证系统的完整性，事务需要具有ACID特性，具体如下：1. 原子性（Atomicity） 一个事务包含多个操作，这些操作要么全部执行，要么全都不执行。实现事务的原子性，要支持回滚操作，在某个操作失败后，回滚到事务执行之前的状态。 回滚实际上是一个比较高层抽象的概念，大多数DB在实现事务时，是在事务操作的数据快照上进行的（比如，MVCC），并不修改实际的数据，如果有错并不会提交，所以很自然的支持回滚。 而在其他支持简单事务的系统中，不会在快照上...

原创 sort_array 和 reflect

create table tmp_url_info( user_id string comment "用户id", visit_url string comment "访问url", visit_cnt int comment "浏览次数/pv",visit_time timestamp comment "浏览时间", visit_date string comment "浏览日期")row format delimitedfields terminated by ','stored .

原创 master 集群模式

master 可以在代码内部设置也可以。val sparkConf = new SparkConf().setMaster("yarn-cluster")也可以在命令行上面设置。spark-submit --master yarn-cluster

转载 hive 函数用法

数据准备数据集 1user1,https://blog.csdn.net/qq_28680977/article/details/108161655?k1=v1&k2=v2#Ref1,10,2020-09-1202:20:02,2020-09-12 2user1,https://blog.csdn.net/qq_28680977/article/details/108298276?k1=v1&k2=v2#Ref1,2,2020-09-1111:20:12,2020-09-11..

原创 Hive映射HBase

create external table if not exists wedw_ods.log_status_from_hbase(m_id string ,order_info_id string ,before_status int ,after_status int ,status_type int ,description string ,gmt_created string,gmt_modified string)stored by 'org.apache.h.

原创 hive LATERAL VIEW explode和get_json_object

文件m:a:shandong,b:beijing,c:hebei|1,2,3,4,5,6,7,8,9|[{"source":"7fresh","monthSales":4900,"userCount":1900,"score":"9.9"},{"source":"jd","monthSales":2090,"userCount":78981,"score":"9.8"},{"source":"jdmart","monthSales":6987,"userCount":1600,"score":"..

原创 Linux Shell中使用awk完成两个文件的关联Join

Shell中的awk命令是非常强大的，有很多书籍专门介绍awk的。本文介绍的只是其中很小的一个点，使用awk命令完成两个文件的关联join。先看看awk中的两个自身变量，NR和FNR。 awk可以指定同时读取多个文件，按照指定的先后顺序，逐个读取。NR指的是awk所读取到所有记录（包括多个文件）的行数索引号，大概是Number Of Record的意思。FNR只的是awk所读取到的每个文件中的行数索引号，当文件发生切换时候，FNR重新从1开始，大概是File Number Of Record的意

原创 SSM整合开发。

SSM整合开发SSM： SpringMVC + Spring + MyBatis.SpringMVC:视图层，界面层，负责接收请求，显示处理结果的。Spring：业务层，管理service，dao，工具类对象的。MyBatis：持久层， 访问数据库的用户发起请求--SpringMVC接收--Spring中的Service对象--MyBatis处理数据SSM整合也叫做SSI (IBatis也就是mybatis的前身)， 整合中有容器。1.第一个容器SpringMVC容器， 管理Contr.

原创 idea run配置

原创 Spring中的声明式事务管理

1）配置信息中引入事务的命名空间xmlns:tx="http://www.springframework.org/schema/tx"http://www.springframework.org/schema/txhttp://www.springframework.org/schema/tx/spring-tx.xsd2）启用事务：用注解驱动的方式来管理事务 <tx:annotation-driven/>3）在 spring.xml 中配置事务...

原创 spring 事务

package com.yw.spring.tx.annotation.service;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.stereotype.Service;import org.springframework.transaction.annotation.Isolation;import org.springframework.transaction.

原创 spring 日志切面

package com.atguigu.spring.aspectJ.annotation;import java.util.Arrays;import org.aspectj.lang.JoinPoint;import org.aspectj.lang.ProceedingJoinPoint;import org.aspectj.lang.annotation.After;import org.aspectj.lang.annotation.AfterReturning;import o.

原创 spark 2.0优化

1. 设置合适的并行度，一般是cpu core 的2~3倍2.

原创 spring 事务中Propagation取值的含义

REQUIRED：支持当前事务，如果当前没有事务，就新建一个事务。这是最常见的选择。 requiredSUPPORTS：支持当前事务，如果当前没有事务，就以非事务方式执行。 supportsMANDATORY：支持当前事务，如果当前没有事务，就抛出异常。 mandatoryREQUIRES_NEW：新建事务，如果当前存在事务，把当前事务挂起。 requires_newNOT_SUPPORTED：以非事务方式执行操作，如果当前存在事务，就把当前事务挂起。 not_supportedNEVER：以非.

原创 @Qualifier来进一步指定要装配的bean

默认情况下，使用@Autowired标注的属性必须被装配，如果装配不了，也会抛出异常.可以使用required=false来设置不是必须要被装配.如果匹配到多个兼容类型的bean，可以使用@Qualifier来进一步指定要装配的bean的id值 。@Autowired(required=false) // 自动装配 byName byType ?????@Qualifier("userDaoJdbcImpl")private UserDao userDao ; Use...

原创 spring ——声明式事务管理

package com.atguigu.spring.tx.annotation.service;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.stereotype.Service;import org.springframework.transaction.annotation.Isolation;import org.springframework.transac

原创 spring ——jdbc、JdbcTemplate

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xsi:schemaLocation="h...

原创 spring 面向切面 解析

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xmlns:aop="http://www.s.

原创 修改mysql 一列自增

alter table test.student add column id int(14) primary key auto_increment;

原创 注解方式开发spring

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xsi:schemaLocation="htt.