- 博客(60)
- 收藏
- 关注
RSS订阅原创 2022-01-04 迈向程序猿的第五十九步
目录一 数据仓库概述1.1 什么是数据仓库1.2 数据仓库的作用1.3 数据仓库的特征1.3.1 面向主题的特征1.3.3 非易失1.3.4 随时间不断变化1.4 数据仓库与数据库的区别1.5 OLTP与OLAP的区别二、数据仓库的架构2.1 两种不同的架构思想简介2.1.1 bill inmon提出的架构思想2.1.2 kimball 提出的架构思想2.2 数据仓库如何分层2.2.1 分层的原因2.2.2 分层的价值2.2.3 如何分层
2022-01-04 19:05:00
5186
原创 2021-12-30 迈向程序猿的第五十八步
目录一、azkaban的简介二、azkaban的系统架构三、azkaban的安装方式3.1 Solo Server安装3.1.1 Solo Server简介3.1.2 安装步骤3.2 Multi exec Server安装方式3.2.1 节点布局3.2.2 配置mysql3.2.3 配置web server3.2.4 配置exec server四、azkaban的应用4.1、Flow1.0版本的job流4.1.1 说明4.1.2 案例演示1：打印h
2021-12-30 19:10:34
5549
原创 2021-12-29 迈向程序猿的第五十七步
目录一、Nginx的简介以及应用场景1.1 简介1.2 应用场景的应用二、Nginx的安装和常用命令介绍2.1 Nginx的安装2.2 常用命令的介绍2.3 配置文件的介绍三、Nginx的应用案例配置（重点）3.1 HTTP服务3.2 虚拟主机的应用3.3 反向代理3.3.1 正向代理的概念3.3.2 反向代理的概念3.3.3 nginx作为反向代理服务器的配置方案3.4 负载均衡3.4.1 概念说明3.4.2 配置方案3.5 loca
2021-12-29 20:12:32
5617
原创 2021-12-28 迈向程序猿的第五十六步
目录一、sqoop的高阶用法1.1 增量导入1.1.1 增量和全量的概念1.1.2 增量导入的方式1.1.3 案例演示1.2 job的应用1.2.1 job的优点1.2.2 job的参数1.2.3 案例演示11.2.4 案例演示21.3 metastore的应用1.3.1 metastore的介绍1.3.2 配置metastore服务项1.3.3 案例演示11.3.4 案例演示21.4 sqoop的优化二、DataX概述2.1 Data
2021-12-28 23:29:48
227
原创 2021-12-27 迈向程序猿的第五十五步
目录一、sqoop概述和安装1.1 sqoop的简介1.2 sqoop的原理1.3 sqoop的安装二、常用指令介绍2.1 查看常用指令2.2 指令帮助信息2.3 去官网上查询三、sqoop的基本用法(重点)3.1 查询数据库和表3.1.1 查看数据库：sqoop list-databases3.1.2 查看表3.2 Sqoop的Import3.2.1 数据准备3.2.2 mysql->hdfs3.2.3 mysql–>hive
2021-12-27 18:57:48
1517
原创 2021-12-24 迈向程序猿的第五十四步
目录一、Presto的概述1.1 Presto的简介1.2 Presto支持的数据源1.3 Presto和Hive的比较1.4 Presto与Impala的比较二、Presto的体系架构2.1 简介与图解2.2 Presto中SQL运行过程2.3 MapReduce vs Presto三、Presto的安装3.1 Presto Server的安装3.2 Presto server的运行3.3 Presto Client安装3.3.1 第一种客户端：..
2021-12-24 19:15:28
1604
原创 2021-12-24 迈向程序猿的第五十三步
目录一.Flume的选择器和拦截器1.1 flume的选择器1.1.1 Replicating选择器的案例演示1.1.2 Multiplexing选择器的案例演示1.2 flume的拦截器1.2.1 案例演示1.2.2 正则表达式拦截器的案例演示1.3 自定义拦截器的应用1）需求：2）分析3）自定义拦截器5）启动方案6）测试二、flume的处理器2.1 自动容灾2.1.1 配置下游的两个采集方案2.1.2 配置上有的一个采集方案2.1.
2021-12-24 19:00:11
1791
原创 2021-12-23 迈向程序员的第五十二步
目录一.rowkey设计原则1.1 唯一原则1.2 长度原则1.3 散列原则二.Hbase优化实操2.1 高可用2.2 预分区2.3 RowKey设计(记忆)2.4 内存优化2.5 HBase2.0新特性三.Flume概述3.1 大数据处理流程3.2 Flume的简介3.3 Flume的体系结构3.4 Flume采集模型3.4.1 模型分类3.4.2 设计原则3.4.3 采集方案模板3.4.4 三大核心组件的常用接口四、Flu.
2021-12-23 17:53:20
2119
原创 2021-12-22 迈向程序猿的第五十一步
目录一.Hbase的工作机制1.1 Hbase的寻址机制（重点）1.2 Hbase的存储机制（重中之重）1.2.1 存储机制介绍1.2.2 名词解释1.3 Hbase的Region管理1.4 Hbase的读写流程（重点）1.4.1 Hbase的读流程1.4.2 Hbase的写流程1.5 布隆过滤器1.5.1 简介1.5.2 原理1.5.3 Hbase中的布隆过滤器的设置二.Hbase与Hive,Mapreduce的整合2.1 Hbase与Hive.
2021-12-22 19:33:04
1290
原创 2021-12-22 迈向程序猿的第五十步
目录一.Hbase的API1.1 namespace的DDL1.1.1 hbase的连接服务测试API1.1.2 HbaseUtil的工具类的封装1.1.3 编写好Junit执行代码模板1.1.4 创建namespace的API1.1.5 列出所有的namespace1.1.6 列出所有namespace中的表名1.1.7 修改namespace的属性信息1.1.8 删除namespace1.2 table的DDL1.2.1 编写Junit执行代码模板1.
2021-12-22 15:02:39
940
原创 2021-12-21 迈向程序猿的第四十九步
目录一.Hbase的概述1.1 Hbase的简介1.2 Hbase的表模型（重点）1.2.1 关系型数据库的表模型1.2.2 Hbase的表模型（重点）1.3 Hbase的体系架构（重点）二、Hbase的安装2.1 单机模式的简要说明（了解）2.2 伪分布式的搭建（了解）2.3 完全分布式的搭建（重点）2.3.1 简要说明2.3.2 搭建步骤2.3.3 启动集群2.3.4 客户端连接集群2.4 Hbase集群的扩展和退役(了解)2.4.1 扩展
2021-12-21 11:19:49
542
原创 2021-12-18 迈向程序猿的第四十八步
目录一.Hive的简介1.1 出现的原因1.2 hive是什么1.3 Hive的优缺点二、hive的框架原理(嗯点)2.1 hive的框架结构2.2 hive的运行原理2.3 hive和hadoop的关系2.4 Hive与关系型数据库的比较三、hive的安装模式3.1 内嵌模式的简介(忽略)3.2 本地模式3.2.1 简介3.2.2 安装步骤3.3 远程模式3.3.1 概念3.3.2 hive的服务端的配置3.3.3 服务项的启动操作
2021-12-18 15:46:25
1544
原创 2021-12-18 迈向程序猿的第四十七步
目录一.Mapreduce基础1.1 为什么要学习MapReduce1.2 MapReduce简介1.3 MapReduce优缺点1.3.1 优点1.3.2 缺点1.4 MapReduce核心思想(重点)1.5 MapReduce的阶段分类1.5.1 第一阶段1.5.2 第二阶段1.6 资源调度器-Yarn1.7 MapReduce编程规范1.7.1 Mapper部分1.7.2 Reducer部分1.7.3 Driver部分1.8 wordco
2021-12-18 14:39:58
2196
原创 2021-12-18 迈向程序猿的第四十六步
目录一.Zookeeper的概述1.1 Zookeeper是什么1.2 Zookeeper的特点1.3 Zookeeper的数据模型1.4 Zookeeper的应用场景二.Zookeeper的安装2.1 环境变量的配置2.2 独立模式的安装2.2.1复制出一个zoo.cfg文件(有一个样本 zoo_sample.cfg)2.2.2修改zoo.cfg文件2.3 启动测试2.3.1 在本地上开启server2.3.2使用客户端连接服务2.3.3 进...
2021-12-18 11:44:41
2314
原创 2021-12-08 迈向程序猿的第四十五步
目录一.IDEA远程管理HDFS1.1 解压hadoop-2.7.6.tar.gz到本地磁盘1.2 配置环境变量1.3由于Hadoop是在32位系统上编译的，并且对windows支持不好，所以需要把64的编译本地库文件(下图的两个文件)，放入bin目录中。1.4 验证环境变量1.5如果报错:Error: JAVA_HOME is incorrectly set1.6 提取HDFS的资源jar包1.7 打开IDEA新建个java项目1.8 项目下新建一个lib文件夹...
2021-12-08 19:40:16
3014
原创 2021-12-08 迈向程序猿的第四十四步
目录一.HDFS的读写流程1.1 读流程1.2 写流程二.HDFS的块的特点2.1 hdfs块的特点2.2 hdfs块大小的选择2.3 块的参数2.4 HDFS的优缺点2.4.1 优点2.4.2 缺点三.HDFS的体系结构3.1 namenode3.2 datanode3.3 secondnarynamenode3.4 client四.HDFS的工作机制4.1开机启动流程4.2 安全模式4.3 心跳机制4.4 检查点机制4.
2021-12-08 11:19:04
3280
原创 2021-12-06 迈向程序猿的第四十三步
目录一.伪分布式的搭建1.1 伪分布式模式介绍1.2 平台软件说明1.3 伪分布式环境搭建需求1.3.1 环境需求1.3.2 防火墙关闭确认1.3.3 配置映射1.3.4 确保ssh对localhost的免密认证有效1.3.5 安装jdk和hadoop配置相关环境变量1.4 伪分布式相关文件的配置1.4.1 core-site.xml的配置1.4.2 hdfs-site.xml的配置1.4.3 hadoop-env.sh的配置1.5 格式化Nameno
2021-12-06 19:27:20
2890
原创 2021-12-04 迈向程序猿的第四十二步
目录一.Shell的分支1.1 if分支1.1.1 if单分支1.1.2 if双分支1.1.3 if多分支1.2 case分支二.Shell的循环结构2.1 while循环结构2.2 until循环结构2.3 for循环结构2.4 select表单循环三.Shift指令四.Shell的函数五.大数据的四大特征(4V)六.Hadoop的概述6.1 简介6.2 Google的三篇论文6.3 hadoop流行的三大版本七.Hadoop的安
2021-12-04 08:50:51
305
原创 2021-12-02 迈向程序猿的第四十一步
目录一. 免密登录认证1.1 准备工作1.1.1 现在机器A上生成秘钥1.1.2 将机器A的公钥信息，拷贝到机器B的相关用户的家里的隐藏目录.ssh下的authoried_keys里1.2 免密登录认证的原理流程1.3 准备工作的简化二.定时器crontab2.1 crontab的简介2.2 cron服务2.3 cron的配置文件位置2.4 crontab命令格式2.5 定时器的格式2.6 常用案例演示三.时间同步服务器的搭建3.1 时间同步.
2021-12-02 21:11:45
933
原创 2021-12-02 迈向程序猿的第四十步
一.文件权限命令1.1 linux系统相对安全的原因1. 使用Linux系统的人数少，尤其在国内，很少有人关注Linux。2. 因为Linux开源，任何的系统漏洞都会被民间高手，或者是官方人员很快的发现。从漏洞的发现到补丁的放出，时间相当短，没有时间给病毒或者黑客作乱的机会。3. 然后就是linux的权限管理，linux的权限管理很严格。病毒或者黑客想修改系统文件或者系统日志，除非有管理员密码。所以就算中了病毒，病毒的危害也非常的小，重要的系统文件都不会被破坏。所以发现了病毒稍做处理就搞定了。
2021-12-01 23:50:46
1460
原创 2021-12-01 迈向程序猿的第三十九步
目录一.磁盘相关命令1.1 du1.2 df1.3 free二.LINUX的高阶指令2.1 vi/vim编辑器及相关指令2.2 常用命令三.LINUX的网络配置3.1 网络的相关概念3.2 网络配置的几种模式3.3 远程连接工具的使用3.4 其他网络设置3.5 主机名和映射文件的修改3.6 常用的进程管理命令四.用户与用户组的相关命令4.1 user的管理4.2 group的管理一.磁盘相关命令1.1 du作用：用于查看文件或
2021-12-01 13:56:46
1510
原创 2021-11-29 迈向程序猿的第三十八步
目录一.linux概述二.安装VMware三.安装LINUX四.linux常用命令4.1 命令格式的说明4.2 三个常用的命令4.3 帮助命令4.4 文件处理指令4.5 文件查看指令4.6 文件查找指令4.7 文件(解)压缩指令4.8 时间指令date4.9 系统关机指令4.10 linux的快捷键和basename及dirname一.linux概述 自个百度随便了解点即可~二.安装VMware 操作简单...
2021-11-29 18:44:40
1482
原创 2021-11-26 迈向程序猿的第三十七步
目录一.window操作1.1 window对象1.2 window尺寸1.3 location跳转1.4 history二.定时器2.1 一次性定时器2.2 循环定时器2.3 定时跳转2.4 时钟效果2.5 定时切换图片三.Cookie3.1 cookie基本应用3.2 换肤功能3.3 换肤cookie3.4 创建对象的补充一.window操作1.1 window对象<script> /* BOM： 浏览器对象模
2021-11-26 19:00:09
1234
原创 2021-11-25 迈向程序猿的第三十六步
目录一.正则表达式二.DOM基本操作2.1 获取DOM对象2.2 修改元素内容2.3 修改元素属性2.4 修改元素样式三.事件3.1 点击事件与this3.2 点击按钮事件3.3 获取与失去焦点事件3.4 级联列表更改事件3.5 监听事件3.6 冒泡与捕获事件四.添加删除节点4.1 添加段落4.2 删除段落4.3 删除表格一.正则表达式/* 正则表达式： 描述一组特定字符模式规则的对象（java中就是字符串，规则一致） *//
2021-11-25 18:17:45
591
原创 2021-11-24 迈向程序猿的第三十五步
目录一.HTML扩展属性二.JS的基础语法2.1 变量2.2 数组2.3 运算符三. 函数3.1 函数基本使用3.2 弹窗函数3.3 系统预定义函数四.事件4.1 事件的使用4.2 提交事件4.3 字符串常用函数一.HTML扩展属性<head> <meta charset="UTF-8"> <title></title> <style type="text/css">
2021-11-24 18:19:24
98
原创 2021-11-23 迈向程序猿的第三十四步
目录一.HTML框架集1.1 框架集概述1.2 框架集案例二.CSS的使用2.1 样式分类及基本选择器2.2 属性选择器2.3 伪元素选择器2.4 层级选择器三.样式属性3.1 基本样式属性3.2 列表属性3.3 尺寸与显示属性3.4 轮廓属性3.5 浮动属性四.定位与模型4.1 相对定位4.2 绝对定位4.3 固定定位4.4 盒子模型一.HTML框架集1.1 框架集概述<!-- 通过多个子页面的组合
2021-11-23 18:16:09
896
原创 2021-11-22 迈向程序猿的第三十三步
一.Druid连接池连接池：概述：在池中预先放入多个连接对象，当用户使用连接对象，从池子中取出；用完了回收到池子中好处：减少创建和销毁连接对象的数目，提高了性能原理：（复用机制）在集合中放入10个连接对象如果有用户使用连接对象，则从集合中获取，并删除集合中的对象如果执行完毕，调用close，回收资源(将连接对象，重新添加到集合，给另一个用户复用)Druid连接池: 是阿里巴巴提供的，公认的性能最好的一款连接池产品；其它-c3p0，dbcp使用步骤：1.导入Druid连接池的jar包
2021-11-22 18:29:15
981
原创 2021-11-19 迈向程序猿的第三十二步
一.事务概述:将SQL操作进行捆绑,避免操作进行至一半时,出现异常,只进行了一半的任务.==============DBUtils工具类==============public class DBUtils { private static Properties p = new Properties(); private static ThreadLocal<Connection> th = new ThreadLocal<>(); //静态代码块
2021-11-19 17:42:28
1359
原创 2021-11-18 迈向程序猿的第三十一步
目录一.工具类的封装二.ORM三.Dao层的抽取四.DateUtils五.Service业务层一.工具类的封装//问题： 每次进行CRUD操作，都要写一套JDBC，很繁琐//解决方案：将重复的操作，抽取到工具类中封装//1.加载驱动只需要一次---放到静态代码块//问题2： 直接在工具类中将数据库驱动，数据库名，用户名，密码写死了，不方便后续变更---硬编码//解决方案：需要变为软编码形式，使程序更灵活，维护性更强public class LoginTest { .
2021-11-18 17:52:39
596
原创 2021-11-17 迈向程序猿的第三十步
一.视图概念： 从一张或多张表中抽取的虚拟表，操作虚拟表的CRUD与原表完全一样优点：1.简单化，从多张表抽取后，只需要管理虚拟表即可2.安全性，能看到的只是抽取到虚拟表的字段3.逻辑独立性缺点：1.性能没有提升，简单表会变得复杂2.修改不方便，有多种情况不能修改虚拟表的创建视图：create view myView asselect employee_id,first_name,last_name,salary from t_em..
2021-11-17 18:22:03
812
原创 2021-11-16 迈向程序猿的第二十九步
目录一.关联查询1.1 子查询1.2 合并查询1.3 连接查询二. DML操作(增删改)2.1 增2.2 删2.3 改三.数据类型3.1 创建表3.2 数据表的修改四. 约束4.1 外键约束4.2 唯一约束4.3 主键自增长列4.4 非空约束4.5 默认值约束4.6 引用完整性约束(外键约束)五. 事务5.1 模拟转账功能5.2 事务的原理5.3 事务的特性(ACID)六.权限管理一.关联查询1.1 子查询
2021-11-16 18:02:29
532
原创 2021-11-12 迈向程序猿的第二十七步
目录一.Stream1.1 Stream的过程操作1.2 Stream终止操作二.新的日期类2.1 日期类获取2.2 日期类的转换一.Stream1.1 Stream的过程操作//Stream中间过程操作：//案例：集合存储自定义对象，然后转Stream进行中间过程操作class Person{ private String name; private int age; public Person(String name, int age) { super
2021-11-12 16:42:23
447
原创 2021-11-11 迈向程序猿的第二十六步
目录一.设计模式1.1 工厂模式1.2 单例二.枚举三.Lambda表达式3.1 Labmbda3.2 自定义函数式接口3.3 系统提供的函数式接口3.4 方法引用四.Stream一.设计模式概述：是一套经人反复使用的代码设计经验的总结 也可以理解为特定问题的特定的解决方案好处：可读性更强，更容易复用设计模式的归类，分三大类：（23种）1.对象型模式：对象的创建方式；例如：单例，工厂模式等2.结构型模式：组织结构...
2021-11-11 17:54:28
108
原创 2021-11-10 迈向程序猿的第二十五步
目录一.网络编程案例1.1 注册功能1.2 聊天室程序二. 反射2.1 反射概述2.2 反射常用方法2.3 反射操作属性2.4 反射操作方法2.5 反射应用场景一.网络编程案例1.1 注册功能//案例：注册功能//分析：//1.客户端与服务器建立连接//2.客户端准备好注册数据，拼成一个字符串；例如:{id:"1001",name:"zs",age:30}//3.发送注册数据，服务器接收数据//4.服务器拆分数据，取出id对应的value作为ke.
2021-11-10 17:45:54
1773
原创 2021-11-09 迈向程序猿的第二十四步
目录一.File1.1 FileFilter1.2 Properties集合二. 计算机网络2.1 概述2.2 网络模型2.3 网络编程三要素三. 网络编程3.1 INetAddress类(了解)3.2 TCP-客户端发数据到服务器3.3 客户端上传图片到服务器3.4 多个客户端发数据给服务器一.File1.1 FileFilter//FileFilter:文件过滤器//listFiles方法用于将当前层的文件和目录的File对象放入数组...
2021-11-09 18:34:26
341
原创 2021-11-08 迈向程序猿的第二十三步
目录一.对象流二.字符流2.1字符节点流2.2 字符缓冲流2.3 打印输出流2.4 字符转换流2.5 IO流汇总三.File类3.1 File类常用方法3.2 创建不存在父级目录的文件3.3 查找当前层的txt文件3.4 递归操作文件一.对象流//对象流： ObjectOutputStream/ObjectInputStream//1. 也是一个处理流，是一个带缓冲区的流//2. 增加了存储对象的功能================..
2021-11-08 19:24:18
393
原创 2021-11-05 迈向程序猿的第二十二步
目录一. 线程安全的HashMap二. 队列2.1 Queue队列接口2.2 ConcurrentLinkedQueue实现类2.3 阻塞队列2.4 有界队列应用三. IO流3.1 字节节点流3.2 字节缓冲流一. 线程安全的HashMap//ConcurrentHashMap: 并发的HashMap(前提是安全)//Coolections中也提供了线程安全的Map，只不过锁的是整个hash表public class Test1 { publi...
2021-11-05 19:35:11
81
原创 2021-11-04 迈向程序猿的第二十一步
目录一.生产者和消费者模型二. 多线程高级2.1 线程池2.2 Callable接口2.3 重入锁2.4 读写锁三. 线程的安全集合3.1 Collections提供的安全集合3.2 CopyOnWriteArrayList3.3 CopyOnWriteSet一.生产者和消费者模型技术点： 多线程模型，安全锁机制，等待与唤醒 男人挣钱，女人花钱天经地义 有钱就花，没钱限制借钱消费 男人挣钱---生产者负责生产 女人花钱---消...
2021-11-04 17:40:34
123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人