qq_35199832的博客

原创 单招志愿1

11

原创 HDFS 面试题

HDFS1. 如何理解 Hadoop2. HDFS 整体架构3. HDFS 写数据流程4. HDFS 读数据流程5. HDFS 副本存放机制/机架感知 (写数据时)6. HDFS 数据完整性如何保证7. DataNode 的工作机制8. HDFS 中大量小文件带来的问题及解决方法1. 如何理解 Hadoop广义上 Hadoop 是指与 Hadoop 相关的大数据生态圈, 包括 hive, spark, hbase 等狭义上 Hadoop 是指 Apache 的开源框架.有三个核心组件:hdfs:

转载 Java8

Java8

原创 Java 集合

Java 集合1. 集合结构图2. Collection2.0 Collection 接口方法2.1 List 子接口2.1.0 List 子接口的实现类2.1.1 ArrayList2.1.2 LinkedList1. 集合结构图2. Collection2.0 Collection 接口方法2.1 List 子接口2.1.0 List 子接口的实现类2.1.1 ArrayList源码分析几个属性参数// 1. 默认容量// 注意: 如果没有向集合中添加任何元素时, 容量为

原创 js 基础

js基础1. 强制类型转换1.1 其他数据类型转 String1.2 其他数据类型转 Number2. 对象2.1 对象的分类2.2 创建对象2.2.1 使用 new 构造函数创建2.2.2 使用对象字面量2.2.3 使用构造函数创建对象2.2.3.1 构造函数 1.02.2.3.2 构造函数 2.02.3 访问对象属性2.3.1 使用 .2.3.2 使用 [ ]3. 函数3.1 函数创建3.2 立即执行函数4. class1. 强制类型转换1.1 其他数据类型转 String使用 toStrin

原创 07-SpringMVC_文件上传

SpringMVC_文件上传1. 示例2. 多文件上传1. 示例导入jar包commons-fileupload-1.2.1.jarcommons-io-2.0.jar配置文件上传解析器,<bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver"> <property name="defaultEncoding" value

原创 06-SpringMVC_视图解析

SpringMVC_视图解析1. SpringMVC如何解析视图概述1.1 视图1.2 视图解析器2. forward 转发3. redirect 重定向4. mvc:view-controller标签1. SpringMVC如何解析视图概述不论控制器返回一个String,ModelAndView,View都会转换为ModelAndView对象，由视图解析器解析视图，然后，进行页面的跳转。请求处理方法执行完成后，最终返回一个 ModelAndView 对象。对于那些返回 String，View

原创 Spring_声明式事务

Spring声明式事务1. Spring事务管理1.1 编程式事务1.2 声明式事务1.3 Spring 声明式事务的实现2. 细节问题2.1 事务超时---timeout2.2 只读事务---readOnly2.3 触发事务回滚的异常--- rollbackFor, noRollbackFor2.4 隔离级别---isolation2.4.1 事务并发问题2.4.2 隔离级别2.4.3 Spring 中指定事务隔离级别---isolation2.5 传播行为---propagation3. 基于XML的声

原创 Spring_AOP

Spring_AOPAOP概念动态代理实现AOP 专业术语使用步骤AOP概念动态代理代理是一种常用的设计模式，其目的就是为真实对象提供一个代理对象以控制对真实对象的访问。代理类负责为委托类（被代理类、真实类）预处理消息，过滤消息并转发消息，以及进行消息被委托类执行后的后续处理。为了保持行为的一致性，代理类和委托类通常会实现相同的接口，所以在访问者看来两者没有丝毫的区别。通过代理类这中间一层，能有效控制对委托类对象的直接访问，也可以很好地隐藏和保护委托类对象，同时也为实施不同控制策略预留了空间，

原创 python基础---字符串

字符串1. 字符串拼接1.1 字符串与字符串拼接1.2 字符串与其他类型拼接2. 字符串截取2.2 截取单个字符---索引2.3 截取多个字符---切片3.len()函数4. split() 分割5. join() 合并6. count() 统计次数7. find() , index()8. startwith() , endwith()9. title(), lower(), upper()10. strip() 去除空格11. format() 格式化输出1. 字符串拼接1.1 字符串与字符串拼接

原创 python基础---序列

序列1. list1.1 创建列表1.1.1 使用 [ ] 创建列表1.1.2 使用list函数创建列表1.2 访问列表元素1.2.1 使用索引访问1.2.2 使用切片访问1.3 删除列表1.4 添加元素1.4.1 append 方法1.4.2 extend 方法1.4.3 insert 方法1.5 删除元素1.5.1 del 关键字1.5.2 pop 方法1.5.3 remove 方法1.5.4 clear 方法1.6 修改元素1.6.1 修改单个元素1.6.2 修改一组元素1.7 查询元素1.7.1 i

原创 02-区块链技术原理

区块链技术原理1. 区块链是什么1.1 概念2. 区块链基础技术3. 区块链的特性4. 比特币区块链的数据结构5. 区块链将带来什么变革1. 区块链是什么1.1 概念狭义来讲: 区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的一种链式数据结构, 并以密码学方式保证的不可篡改和不可伪造的分布式账本.广义来讲: 区块链技术是利用块链式存储结构来验证和存储数据, 利用分布式节点共识...

原创 Elasticsearch

Elasticsearch1. 概述1.1 什么是搜索1.2 什么是全文检索和Lucene1.3 什么是Elasticsearch1.4 Elasticsearch的适用场景1.5 Elasticsearch的特点1.6 Elasticsearch的核心概念1.6.1 近实时1.6.2 Cluster1.6.3 Node1.6.4 Index(数据库)1.6.5 Type(表)1.6.6 Docu...

原创 05-SpringMVC_响应数据传出

SpringMVC_响应数据传出1. 数据传出到request域中1.1 ModelAndView返回值1.2 Map入参1.3 Model入参1.4 ModelMap入参2. 数据传出到session域中2.1 @SessionAttribute注解2.2 HttPSession入参1. 数据传出到request域中1.1 ModelAndView返回值 @RequestMappin...

原创 04-SpringMVC_请求数据传入

SpringMVC_请求数据传入1. 不使用注解2. @RequestParam注解3. @RequestHeader注解4. @CookieValue注解5. 使用POJO6. 使用Servlet原生API1. 不使用注解直接给方法入参上写一个和请求参数名相同的变量, 这个变量就来接收请求参数的值, 没值,入参就是nullpackage com.lz.controller;impo...

原创 03-SpringMVC_RESTful

SpringMVC_RESTful1. REST风格是什么2. URL示例3. 实验代码3.1 配置HiddenHttpMethodFilter过滤器3.2 代码3.3 请求链接1. REST风格是什么资源（Resources）：网络上的一个实体，或者说是网络上的一个具体信息。它可以是一段文本、一张图片、一首歌曲、一种服务，总之就是一个具体的存在。可以用一个URI（统一资源定位符）指向...

原创 02-SpringMVC_@RequestMapping 映射

SpringMVC_@RequestMapping 映射1. 请求注解(value)2. 请求方式(method)3. 请求参数(params)4. 请求占位符PathVariable注解1. 请求注解(value)SpringMVC使用@RequestMapping注解为控制器指定可以处理哪些 URL 请求在控制器的类定义及方法定义处都可标注 @RequestMapping(1) 标...

原创 01-SpringMVC框架的核心内容

SpringMVC框架的核心内容1. SpringMVC概述2. SpringMVC能干什么3. SpringMVC主要组件4. SpringMVC的HelloWorld4.1 导包4.2 配置web.xml4.2.1 配置SpringMVC的前端控制器(Servlet)4.2.2 配置字符集4.2.3 配置支持REST风格的过滤器4.3 加入SpringMVC的配置文件4.4 创建一个入口页面4...

原创 Spring_IOC_注解

Spring_IOC_注解1. 使用注解标识组件2. 组件命名规则3. 开启注解扫描4. 组件装配5. IOC总结1. 使用注解标识组件@Component: 标识一个受SpringIOC容器管理的组件@Respository: 持久化层组件@Service: 业务逻辑层组件@Controller: 表述层控制器组件2. 组件命名规则默认情况下: 使用组件的简单类名首字母小写后...

原创 Spring_IOC

Spring_IOC1. IOC和DI1.1 IOC1.2 DI1.3 IOC容器在Spring中的实现2. 依赖注入(给bean的属性赋值)2.1 注入的方式2.1.1 set方法注入2.1.2 构造器注入2.2 可以使用的注入的值2.2.1 字面量2.2.2 null值2.2.3 外部bean2.2.4 内部bean2.3 集合属性2.3.1 数组和List2.3.2 Map2.3.3 Pro...

原创 AJAX异步分页查询

跳转页面(不请求数据)@RequestMapping("/list")public String list() { return "/manag/user/list";}使用ajax分页查询数据<script type="text/javascript"> $(function () { pageQuery(1); }); ...

原创 MD5工具类

package com.lz.crowdfunding.util;import java.security.MessageDigest;/** * @ClassName MD5Util * @Description: TODO * @Author MAlone * @Date 2020/2/2 * @Version V1.0 **/public class MD5Util {...

原创 分页查询

分页查询controllerpackage com.lz.crowdfunding.manager.controller;import com.lz.crowdfunding.bean.User;import com.lz.crowdfunding.manager.service.UserService;import org.springframework.beans.factor...

原创 0905-广告点击量实时统计

0905-广告点击量实时统计需求七：实时维护黑名单7.1 需求概述7.2 简要运行流程7.3 具体运行流程7.4 代码实现7.4.1 加载并转换用户数据集7.4.2 过滤掉已经上黑名单的用户7.4.3 对实时数据进行统计,更新点击次数表7.4.4 添加异常用户需求八：各省各城市广告点击量实时统计8.1 需求概述8.2 简要运行流程8.3 具体运行流程8.4 代码实现8.4.1 转换key值8.4....

原创 0904-各区域Top3商品统计

0904-各区域Top3商品统计需求六: 各区域Top3商品统计6.1 需求概述5.2 简要运行流程5.3 具体运行流程5.4 代码实现5.4.1 获取数据5.4.2 Join得到基本表信息5.4.3 获取每个区域，每个商品的点击总和，并将城市信息综合5.4.4 加入其它字段5.4.5 获取top35.4.6 封装case class5.4.7 入库小结需求六: 各区域Top3商品统计6.1 ...

原创 0903-页面单跳转化率统计

0903-页面单跳转化率统计需求五：页面单跳转化率统计5.1 需求概述5.2 简要运行流程5.3 具体运行流程5.4 代码实现5.4.1 获取用户行为数据5.4.2 获取目标切片5.4.3 pageFlowRDD： RDD[(flag, 1)]5.4.4 计算每个页面切片的总个数5.4.5 获取起始页面总个数5.4.6 根据所有的切片个数信息，计算实际的页面切片转化率大小5.4.7 封装case ...

原创 0902-用户访问会话统计

0902-用户访问会话统计需求一: 各个范围会话步长, 访问时长占比统计1.1 需求概述1.2 简要运行流程1.3 具体运行流程1.4 代码实现1.4.1 按照日期范围获取数据1.4.2 转换为K-V格式,SessionID作为key1.4.3 按照SessionID进行聚合1.4.4 分别计算当前Session所有访问行为,访问时长和访问步长1.4.5 获取用户表并转为K-V格式1.4.6 用户...

原创 0901-项目需求概述

0901-项目需求概述第一章 离线流程第二章 实时流程第三章 系统架构第四章 原始数据结构第一章 离线流程第二章 实时流程第三章 系统架构第四章 原始数据结构...

原创 0504-数仓搭建

0504-数仓搭建第一章 ODS层1.1 创建表1.2 加载数据第二章 DWD层2.1 数据解析2.1.0 字段分析2.1.1 解析公共字段 UDF2.1.2 解析具体事件字段 UDTF2.2 基础明细表2.2.1 启动日志基础明细表2.2.2 事件日志基础明细表2.2.3 DWD层基础明细数据解析脚本2.3 具体事件表2.3.1 商品点击表2.3.2 商品详情表2.3.3 商品列表详情表2.3....

原创 0503-数仓数据采集

0503-数仓搭建之业务数据仓库第一章 电商业务与数据结构简介第二章 数仓搭建之ODS第三章 数仓搭建之DWD第四章 数仓搭建之DWS第五章 数仓搭建之ADS第一章 电商业务与数据结构简介第二章 数仓搭建之ODS第三章 数仓搭建之DWD第四章 数仓搭建之DWS第五章 数仓搭建之ADS...

原创 0502-项目需求和项目架构

0502-数仓搭建之用户行为数据仓库第一章 数仓分层概念第二章 数仓搭建环境准备第三章 数仓搭建之ODS第四章 数仓搭建之DWD第五章 数仓搭建之DWS第六章 数仓搭建之ADS第一章 数仓分层概念第二章 数仓搭建环境准备第三章 数仓搭建之ODS第四章 数仓搭建之DWD第五章 数仓搭建之DWS第六章 数仓搭建之ADS...

原创 0501-数据仓库理论

0501-用户行为数据采集第一章 数据仓库的概念第二章 项目需求第三章 数据生成模块第四章 数据采集模块第一章 数据仓库的概念第二章 项目需求第三章 数据生成模块第四章 数据采集模块...

原创 0705-Scala方法与函数

原创 0804-SparkStreaming

0804-SparkStreaming第一章 Spark Streaming概述1.1 Spark Streaming是什么1.2 Spark Streaming架构第二章 Dstream入门2.1 WordCount 案例2.2 WordCount 解析第三章 Dstream 整合 Kafka3.1 用法及说明3.2 案例第四章 Dstream转换第一章 Spark Streaming概述1...

原创 0803-SparkSQL

0803-SparkSQL第一章 SparkSQL 概述1.1 什么是SparkSQL1.2 SparkSQL特点1.3 DataFrame1.4 DataSet第二章 SparkSQL 编程2.1 SparkSession第三章 SparkSQL 数据源第四章 SparkSQL 实战第一章 SparkSQL 概述1.1 什么是SparkSQLSpark SQL是Spark用来处理结构化数...

原创 0704-Scala函数式编程高级

Scala函数式编程高级1. 偏函数1.1 问题引入1.2 偏函数2. 作为参数的函数3. 闭包3.1 闭包入门3.2 闭包案例3.3 闭包的优势4. 柯里化5. 控制抽象1. 偏函数1.1 问题引入给你一个集合val list = List(1, 2, 3, 4, “abc”) ，请完成如下要求:将集合list中的所有数字+1，并返回一个新的集合要求忽略掉 非数字 的元素，即返回的...

原创 0703-Scala隐式转换

0703-隐式转换1. Scala 中的值类型转换1.1 Scala值类型隐式转换1.2 Scala多态语法中的类型自动转换1.2 Scala高级隐式转换1.3 Scala值类型强制转换2. Scala 隐式转换2.1 问题引入2.2 利用隐式转换丰富类库功能2.3 隐式值2.4 隐式类2.5 隐式转换的时机1. Scala 中的值类型转换1.1 Scala值类型隐式转换当Scala程序...

原创 0702-Scala面向对象编程

0702-Scala面向对象编程第一章 类第二章 对象2.1 构造器2.2 单例对象2.3 伴生对象2.4 apply()方法2.5 应用程序对象 APP2.6 枚举对象第三章 属性3.1 构造器参数做属性3.2 Bean属性第四章 方法4.1 成员方法4.2 静态方法4.3 apply()方法4.4 构造方法4.4.1 主构造方法4.4.2 辅助构造方法第五章 包5.1 作用域5.2 包对象5....

原创 0802-SparkCore

第一章 RDD概述1.0 比较Java IO和RDD1.0.1 Java IO中的装饰者设计模式1.0.2 RDD1.1 什么是RDD官方定义:RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。通俗理解:(1) RDD是Spark中的...

原创 0701-Scala函数式编程

0701-Scala函数式编程第一章 函数式编程1.1 问题引入1.2 实现1.3 使用函数式编程进行改进1.4 什么是函数式编程第二章 Scala函数式编程基础语法2.1 函数声明2.2 自动推断, 能省则省2.3 可变参数2.4 默认参数第三章 Scala高阶函数3.1 函数作为参数3.2 匿名函数3.3 函数作为返回值3.4 闭包3.5 柯里化3.6 匿名函数的省略第四章 Java中的函数式...