- 博客(63)
- 收藏
- 关注
RSS订阅
原创 应用程序的高可用
应用程序的高可用高可用性应用程序高可用的类型主从方式（也称之为主从冷备）双主互备（也称之为双主热备或互为热备）集群多互备高可用性“高可用性”（High Availability简称HA）通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。举例来说：为了保证学校门口的安保问题，需要许多保安轮流值岗，这样万一有哪个保安因为身体原因无法值岗的话还可以有其他人顶上，这样就可以保证整个学校门口的安保的高度可用。应用程序高可用的类型主从方式（也称之为主从冷备）还是学校门口的安保问题
2020-12-21 10:10:26
692
原创 第1章 Zookeeper概述
大数据技术之Zookeeper 第1章 Zookeeper概述1.1 概述1.2 特点1.3 数据结构1.4 应用场景1.5下载地址创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入第1章 Zookeeper概述1.1 概述zoo 动物园。keeper 管理员。hadoop 大象， hive蜜蜂，Pig 猪。Zookeeper是一个开源的
2020-12-21 08:40:35
139
1
原创 大数据技术之Hive终章 第10章 常见错误及解决方案
第11章 常见错误及解决方案第11章 常见错误及解决方案第11章 常见错误及解决方案1）SecureCRT 7.3出现乱码或者删除不掉数据，免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT2）连接不上mysql数据库（1）导错驱动包，应该把mysql-connector-java-5.1.27-bin.jar导入/opt/module/hive/lib的不是这个包。错把mysql-connector-java-5.1.27.tar.gz导入hive/lib包下。
2020-12-23 10:51:07
228
原创 大数据技术之Hive 第9章 企业级调优
第9章 企业级调优9.1 Fetch抓取9.2 本地模式9.3 表的优化9.3.1 小表、大表Join9.3.2 大表Join大表9.3.4 Group By9.3.5 Count(Distinct) 去重统计9.3.6 笛卡尔积9.3.7 行列过滤9.3.8 动态分区调整9.3.9 分桶9.3.10 分区9.4 数据倾斜9.4.1 合理设置Map数9.4.2 小文件进行合并9.4.3 复杂文件增加Map数9.4.4 合理设置Reduce数9.5 并行执行9.6 严格模式9.7 JVM重用9.8 推测执行9
2020-12-23 10:49:21
265
原创 大数据技术之Hive 第8章 压缩和存储
第8章 压缩和存储8.1 Hadoop源码编译支持Snappy压缩8.1.1 资源准备8.1.2 jar包安装8.1.3 编译源码8.2 Hadoop压缩配置8.2.1 MR支持的压缩编码8.2.2 压缩参数配置8.3 开启Map输出阶段压缩8.4 开启Reduce输出阶段压缩8.5 文件存储格式8.5.1 列式存储和行式存储8.5.2 TextFile格式8.5.3 Orc格式8.5.4 Parquet格式8.6 存储和压缩结合8.6.1 修改Hadoop集群具有Snappy压缩方式8.6.2 测试存储和
2020-12-23 10:35:55
202
原创 大数据技术之Hive 第6章 查询
第6章 查询第6章 查询查询语句语法：6.1 基本查询（Select…From）6.1.1 全表和特定列查询6.1.2 列别名6.1.3 算术运算符6.1.4 常用函数6.1.5 Limit语句count(1) count(*) count(id) 他们一样吗？6.2 Where语句6.2.1 比较运算符（Between/In/ Is Null）6.2.2 Like和RLike6.2.3 逻辑运算符（And/Or/Not）6.3 分组6.3.1 Group By语句6.3.2 Having语句6.
2020-12-23 10:23:23
323
原创 大数据技术之Hive 第5章 DML数据操作 数据的导入导出
数据的导入 数据的导出5.1 数据导入5.1.1 向表中装载数据（Load）2．实操案例5.1.2 通过查询语句向表中插入数据（Insert）5.1.3 查询语句中创建表并加载数据（As Select）5.1.4 创建表时通过Location指定加载数据路径5.1.5 Import数据到指定Hive表中5.2 数据导出5.2.1 Insert导出5.2.2 Hadoop命令导出到本地5.2.3 Hive Shell 命令导出5.2.4 Export导出到HDFS上5.2.5 Sqoop导出(mysql里中
2020-12-23 09:48:45
103
原创 大数据技术之Hive 第4章DDL数据定义
第4章DDL数据定义序章4.1 创建数据库4.2 查询数据库4.2.1 显示数据库4.2.2 查看数据库详情4.3 修改数据库4.4 删除数据库4.5 创建表4.5.1 管理表2．案例实操4.5.2 外部表4.5.3 管理表与外部表的互相转换4.6 分区表4.6.2 分区表注意事项4.7 修改表4.7.1 重命名表4.7.2 增加、修改和删除表分区4.7.3 增加/修改/替换列信息4.8 删除表序章SQL语言共分为四大类：数据查询语言DQL，select * from biao数据操纵语言DML，
2020-12-23 09:42:20
238
1
原创 大数据技术之Hive 第3章 Hive数据类型
第3章 Hive数据类型3.1 基本数据类型3.2 集合数据类型3.3 类型转化3.1 基本数据类型对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。3.2 集合数据类型Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌
2020-12-23 09:08:44
128
原创 大数据技术之Hive 第1章 Hive基本概念
第1章 Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和数据库比较1.4.1 查询语言1.4.2 数据存储位置1.4.3 数据更新1.4.4 索引1.4.5 执行1.4.6 执行延迟1.4.7 可扩展性1.4.8 数据规模1.1 什么是Hive1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。mapreduce : 海量数据的分布式计算框架.Hive是基于Hadoop的一个
2020-12-23 08:58:43
116
原创 大数据技术之Hive 第2章 Hive安装
大数据技术之Hive1 Hive安装地址2 Hive安装部署2.1．Hive安装及配置3．Hive基本操作4. 多窗口启动Hive测试5. Hive常用交互命令6. Hive其他命令操作7. Hive常见属性配置2.7.1 Hive数据仓库位置配置2.7.2 查询后信息显示配置2.7.3 Hive运行日志信息配置2.7.4 参数配置方式1 Hive安装地址1．Hive官网地址http://hive.apache.org/2．文档查看地址https://cwiki.apache.org/confl
2020-12-23 08:50:04
123
原创 Zookeeper是怎样保证自身的高可用的？及 zookeeper基本概念
Zookeeper是怎样保证自身的高可用的？一Zookeeper的ZAB协议和Paxos协议Zookeeper集群中的机器数量设置Zookeeper的基本概念集群角色系统模型会话（Session）数据节点（Znode）版本WatcherACLZookeeper的设计目的Zookeeper的数据模型一首先可以想到的是，假如zookeeper只有一个的话，其也无法保证其自身的高可用，所以zookeeper本身也是以集群的形式存在的。对比学校大门的安保问题，我们很容易能都想到的一种方法是可以有多个zookee
2020-12-21 10:28:20
3073
原创 Hadoop的master角色的单点故障问题
Hadoop的master角色的单点故障问题详解Hadood中的NameNode和ResourcManager是集群中的重要角色，如果这两个角色出现问题将导致整个集群无法使用。所以保证这两个角色的高可用是保证整个hadoop分布式系统高可用的关键。为了保证其高可用，可以想到的一个办法是使用主从冷备或双主热备。但是为了在这两个角色出问题时尽快知晓并解决，还需要使用一个额外的应用程序监控这个两个角色的健康状况，当这两个角色出问题时，自动使用相应的解决方案，以减少系统停用时间，保证hadoop 的高可用。正
2020-12-21 10:17:18
889
原创 Hadoop 2.6利用QJM和zookeeper实现HDFS高可用
Hadoop 2.6利用QJM和zookeeper实现HDFS高可用前提说明 apache cdh hdp机器规划软件规划JDK规划防火墙规划SSH免密码规划\Zk集群规划HDFS实现自动切换HA（全新HDFS）**修改core-site.xml**修改hdfs-site.xml启动顺序前提说明 apache cdh hdp在hadoop2.X中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby
2020-12-21 10:06:59
231
原创 第2章 Zookeeper安装 及 启动关闭脚本详解
大数据技术之Zookeeper 第2章 Zookeeper安装2.1 本地模式安装部署1．安装前准备2．配置修改3．启动 查看 关闭 zookeeper 命令脚本4.操作zookeeper2.2 配置参数解读第2章 Zookeeper安装2.1 本地模式安装部署1．安装前准备（1）安装jdk（2）通过filezilla工具拷贝zookeeper到到linux系统下（3）解压到指定目录-[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4
2020-12-21 09:49:53
401
1
原创 第3章 Zookeeper内部原理 API实战
大数据技术之Zookeeper 第3章 Zookeeper内部原理3.1 选举机制3.2 节点类型1．Znode有两种类型2．Znode有四种形式的目录节点（默认是persistent ）3.3 stat结构体3.4 监听器原理3.5 写数据流程第4章 Zookeeper实战4.1 分布式安装部署4.2 客户端命令行操作4.3 API应用监听服务器节点动态上下线案例第3章 Zookeeper内部原理3.1 选举机制1）半数机制（Paxos 协议）：集群中半数以上机器存活，集群可用。所以zookeep
2020-12-21 09:48:43
125
原创 大数据技术之Hadoop（第3章 MapReduce框架原理）
这里写目录标题3.8 计数器应用3.9 数据清洗（ETL）3.10 数据清洗案例实操3.10.1 简单解析版3.10.2 复杂解析版3.11 MapReduce开发总结第4章 Hadoop数据压缩4.1 概述4.2 MR支持的压缩编码4.3 压缩方式选择4.3.1 Gzip压缩4.3.2 Bzip2压缩4.3.3 Lzo压缩4.3.4 Snappy压缩4.4 压缩位置选择4.5 压缩参数配置4.6 压缩实操案例4.6.1 数据流的压缩和解压缩4.6.2 Map输出端采用压缩4.6.3 Reduce输出端采用
2020-11-28 16:18:15
292
原创 大数据技术之Hadoop（第二章 mapreduceshuffer过程）
mapreduceshuffer过程3.4 Shuffle机制3.4.1 Shuffle机制3.4.2 Partition分区3.4.3 Partition分区案例实操3.4.4 WritableComparable排序3.4.5 WritableComparable排序案例实操案例一案例二3.4.6 Combiner合并3.4.7 Combiner合并案例实操3.4.8 GroupingComparator分组（辅助排序）3.4.9 GroupingComparator分组案例实操3.5 ReduceTa
2020-11-28 16:01:55
343
原创 Reduce join与Map join 案例实操
Reduce join与Map join 案例实操Reduce join案例实操Map join 案例实操Reduce join案例实操通过将关联条件作为map输出的key，将两表满足join条件的数据并携带数据所来源的文件信息，发往同一个reduce task，在reduce中进行数据的串联，如图4-20所示1）创建商品和订合并后的bean类package com.bk.mapreduce.table;import java.io.DataInput;import java.io.Da
2020-11-28 16:00:35
216
原创 大数据技术之Hadoop（第一章 MapReduce）
大数据技术之Hadoop（MapReduce）第1章MapReduce入门1.1 MapReduce定义1.2 MapReduce优缺点1.2.1 优点1.2.2 缺点1.3 MapReduce核心思想1.4 MapReduce进程1.5 MapReduce编程规范第2章 Hadoop序列化2.1 序列化概述2.1.1 什么是序列化2.1.2 为什么要序列化2.1.3 为什么不用Java的序列化2.2 常用数据序列化类型2.3 自定义bean对象实现序列化接口（Writable）2.4 序列化案例实操第3章
2020-11-28 15:24:26
222
原创 了解 HDFSjavaAPI
HDFSjavaAPIpublic class HDFSTest { FileSystem fs = null; @Before public void before() throws IOException{ Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.137.33:8020"); fs = FileSystem.get(conf); } // 查看文件
2020-11-26 15:44:48
82
原创 HADOOP 离线计算机系统【二】HDFS详解
HDFS详解******HDFS基本概念篇******1.HDFS前言2. HDFS的概念和特性******HDFS基本操作篇******3. HDFS的shell(命令行客户端)操作3.1 HDFS命令行客户端使用3.2 命令行客户端支持的命令参3.2 常用命令参数介绍******HDFS原理篇******4.hdfs的工作机制**详细请看 ：HDFS 详解:** [https://blog.csdn.net/wzq18845280610/article/details/110188742](https:
2020-11-26 15:36:34
1533
原创 HDFS 详 【总结篇】
HDFS 详解1.HDFS是什么？2.HDFS 从何而来3.为什么选择 HDFS 存储数据4.HDFS三个服务4.1Client4.2NameNode4.3DataNode4.4Secondary NameNode4.5具体描述：5.HDFS 如何读取文件6.HDFS 如何写入文件7、HDFS 副本存放策略8.HDFS SHELL 命令：8.HDFS 中文API1.HDFS是什么？Hadoop四大模块：common、 HDFS、 Yarn、 MapReduce。HDFS（Hadoop Distri
2020-11-26 15:33:56
384
原创 如何搭建HADOOP集群
搭建HADOOP集群hadoop基本配置1.1主机配置1.1.1IP地址1.1.2主机名称1.1.3hosts 映射1.1.4创建用户1.1.5给用户免密码root权限1.1.7使用xshell 进行远程终端登录。1.1.8安装JDK1.2克隆其他主机1.2.1克隆主要MAC地址修改1.2.2删除默认网卡1.2.3修改IP地址，主机名，1.2.4设置SSH免密码登录1.3安装hadoop1.3.1修改hadoop配置文件1.3.2 修改hadoop-env.sh1.3.3修改 core-site.xml
2020-11-20 16:49:49
236
原创 HADOOP 离线计算机系统【一】
HADOOP 离线计算机系统1.HADOOP背景介绍1.什么是HADOOP1.2 HADOOP产生背景1.3 HADOOP在大数据、云计算中的位置和关系1.4 国内外HADOOP应用案例介绍1.5 HADOOP生态圈以及各组成部分的简介2 分布式系统概述2.1 分布式软件系统(Distributed Software Systems)2.2 分布式软件系统举例：solrcloud2.3 分布式应用系统模拟开发3. 离线数据分析流程介绍3.1 需求分析3.1.1 案例名称3.1.2 案例需求描述3.1.3
2020-11-20 16:21:42
369
原创 Linux系统 ·虚拟机安装· SecureCRT远程连接器
一.Linux系统一.Linux介绍1.1 Linux主要特性基本思想1.2 常用Linux版本二.Linux安装和目录结构编辑虚拟机设置一.Linux介绍第一周： linux系统。第二周： hadoop集群。第三周： hdfs javaAPI 。第四周： mapreduce。Unix:Linux： linux is not unixLinux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX
2020-11-06 15:09:39
1676
1
原创 Spring框架 第8章 声明式事务 终章
第8章 声明式事务8.1事务概述8.2 Spring事务管理8.2.1编程式事务管理8.2.2 声明式事务管理8.2.3 Spring提供的事务管理器8.2.4事务管理器的主要实现8.3 测试数据准备8.3.1 需求8.3.2 数据库表8.4 初步实现8.5 事务的传播行为8.5.1 简介8.5.2 测试8.5.3 补充8.6 事务的隔离级别8.6.1 数据库事务并发问题8.6.2 隔离级别8.6.3 在Spring中指定事务隔离级别8.7 触发事务回滚的异常8.7.1默认情况8.7.2设置途经8.8 事
2020-11-04 10:34:11
58
原创 Spring框架 第6章 以XML方式配置切面 第7章 JdbcTemplate
第6章 以XML方式配置切面 第7章 JdbcTemplate第6章 以XML方式配置切面6.1 概述6.2 配置细节6.3 声明切入点6.4 声明通知第7章 JdbcTemplate7.1 概述7.2 环境准备7.2.1导入JAR包7.2.2创建连接数据库基本信息属性文件7.3 持久化操作7.5 使用JdbcTemplate实现Dao第6章 以XML方式配置切面6.1 概述除了使用AspectJ注解声明切面，Spring也支持在bean配置文件中声明切面。这种声明是通过aop名称空间中的XML
2020-11-04 10:17:28
107
原创 Spring框架 第4章 AOP概述 AOP细节
第4章 AOP概述，AOP细节4.1 AOP概述 ☆☆☆☆☆4.2 AOP术语4.2.1 横切关注点4.2.2 切面(Aspect)4.2.3 通知(Advice)4.2.4 目标(Target)4.2.5 代理(Proxy)4.2.6 连接点(Joinpoint)4.2.7 切入点(pointcut)：4.2.8 图解4.3 AspectJ4.3.1 简介4.3.2 在Spring中启用AspectJ注解支持4.3.3用AspectJ注解声明切面AOP细节☆☆☆☆☆5.1 切入点表达式5.1.1 作用5
2020-11-04 10:03:17
91
原创 Spring框架 第3章 AOP前奏
第3章 AOP前奏 3.1 提出问题3.1.1 情景：数学计算器3.2 动态代理3.2.1 动态代理的原理3.2.2 动态代理的方式3.3 数学计算器的改进3.3.1 日志处理器3.3.2 验证处理器3.3.3 测试代码3.3.4 保存生成的动态代理类、3.1 提出问题3.1.1 情景：数学计算器1)要求①执行加减乘除运算②日志：在程序执行期间追踪正在发生的活动③验证：希望计算器只能处理正数的运算2)常规实现3)问题①代码混乱：越来越多的非业务需求(日志和验证等)加入后，原有的业务方法
2020-11-04 09:35:10
88
原创 Spring框架 第2章IOC容器和Bean的配置
第2章 IOC容器和Bean的配置2.1 IOC和DI2.1.1 IOC(Inversion of Control)：反转控制2.1.2 DI(Dependency Injection)：依赖注入2.1.3 IOC容器在Spring中的实现 （也就是创建IOC本身的对象）合理的创建标题，有助于目录的生成2.1.4 ApplicationContext的主要实现类2.1.5 ConfigurableApplicationContext2.1.6 WebApplicationContext2.2 通过类型获取
2020-11-04 09:28:23
69
原创 Spring框架 Spring概述
Spring框架第1章 Spring概述 Spring框架第1章 Spring概述1.1 Spring概述1.2 安装Spring插件【了解】1.3 搭建Spring运行时环境1.4 HelloWorld第1章 Spring概述1.1 Spring概述1)Spring是一个开源框架2)Spring为简化企业级开发而生，使用Spring，JavaBean就可以实现很多以前要靠EJB(Enterprise JavaBean)才能实现的功能。同样的功能，在EJB中要通过繁琐的配置和复杂的代码才能够
2020-10-28 10:22:47
78
原创 第5章MyBatis 动态SQL 附带SSM框架整合
第5章MyBatis 动态SQL 附带SSM框架整合第5章MyBatis 动态SQL在实际应用开发过程中，我们往往需要写复杂的 SQL 语句，需要拼接，而拼接SQL语句又稍微不注意，由于引号，空格等缺失可能都会导致错误。Mybatis提供了动态SQL，也就是可以根据用户提供的参数，动态决定查询语句依赖的查询条件或SQL语句的内容。第六章SSM框架整合MyBatista—Spring MyBatis Spring三大框架整合过程。个人认为使用框架并不是很难，关键要理解其思想，这对于我
2020-10-28 10:07:09
75
原创 Mybatis 框架 第4章 MyBatis 映射文件
Mybatis 框架第4章 MyBatis 映射文件Mybatis 框架第4章 MyBatis 映射文件4.1 Mybatis映射文件简介4.2 Mybatis使用insert|update|delete|select完成CRUD4.2.1 select4.2.2 insert4.2.3 update4.2.4 delete4.3主键生成方式、获取主键值4.3.1 主键生成方式4.3.2 获取主键值4.4 参数传递4.4.1 参数传递的方式4.4.2 参数传递源码分析4.4.3 参数处理4.4.4 参
2020-10-21 09:09:29
106
原创 MyBatis 框架 第3章[全局配置文件]
MyBatis 框架第3章 MyBatis全局配置文件MyBatis 框架第3章 MyBatis全局配置文件3.0配置Eclipse中xml文件内容提示3.1 MyBatis全局配置文件简介3.2 properties属性3.3 settings设置3.4 typeAliases 别名处理3.5 environments 环境配置3.6 mappers 映射器第3章 MyBatis全局配置文件3.0配置Eclipse中xml文件内容提示1.先分别拷贝mybatis-config.xml全局配置文件中
2020-10-20 10:52:29
241
原创 MyBatis 框架 第一章 MyBatis简介
MyBatis 框架MyBatis 框架MyBatis 框架第1章 MyBatis简介1.MyBatis历史2.MyBatis简介3.为什么要使用MyBatis – 现有持久化技术的对比4.如何下载MyBatis第1章 MyBatis简介1.MyBatis历史1）MyBatis是Apache的一个开源项目iBatis, 2010年6月这个项目由Apache Software Foundation 迁移到了Google Code，随着开发团队转投Google Code旗下， iBatis3.x 正式
2020-10-20 10:30:07
140
原创 MyBatis 框架 第2章
MyBatis 框架MyBatis 框架MyBatis 框架第2章 MyBatis HelloWorld2.1 开发环境的准备2.2 创建测试表2.3 创建javaBean2.3 创建MyBatis的全局配置文件2.4 创建Mybatis的sql映射文件2.5 测试2.6 Mapper接口开发MyBatis HelloWorld第2章 MyBatis HelloWorld2.1 开发环境的准备1)导入MyBatis框架的jar包、Mysql驱动包、log4j的jar包下面展示一些 导包。myBa
2020-10-20 10:27:46
87
原创 数据库基础（一）
文章目录1. 数据库基础1.1 数据库概念：1.2 数据库的分类：1.3 项目中数据库如何合理的使用数据库2.oracle数据库3. 安装oracle数据库。1. 数据库基础1.1 数据库概念：1.什么是数据库？关系型数据库。通过表以及对象持久化数据的软件。#2.数据库的种类：1.2 数据库的分类：1.小型数据库：access foxbase2.中型数据库：informix...
2019-11-27 19:53:43
160
原创 JAVA 工厂模式
文章目录1. 工厂模式分类1.1 简单工厂模式1.2 抽象工厂模式2. 代码呈现1. 工厂模式分类工厂模式主要是为创建对象提供过渡接口，以便将创建对象的具体过程屏蔽隔离起来，达到提高灵活性的目的。工厂模式在《Java与模式》中分为三类：1）简单工厂模式（Simple Factory）2）工厂方法模式（Factory Method）3）抽象工厂模式（Abstract Factory）...
2019-11-24 20:21:31
213
原创 JAVA 反射
文章目录1.Java反射1.1 用途2. 反射相关的类2. Class类3. Field4. Method5. Constructor6. 通过反射 生成实例对象7. 调用方法8. 示例代码：8.1 反射8.2 反射是什么8.3 反射 代码块1.Java反射机制是运行状态中，对于任意一个类都能够知道这个类的所有属性和方法（包括私有的）；对于任意一个对象，都能调用他的任意方法和属性；这种动态...
2019-11-24 20:11:40
448
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人