![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux系统
西边的虫虫
呵呵…………
展开
-
大数据技术之Hive终章 第10章 常见错误及解决方案
第11章 常见错误及解决方案第11章 常见错误及解决方案第11章 常见错误及解决方案1)SecureCRT 7.3出现乱码或者删除不掉数据,免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT2)连接不上mysql数据库(1)导错驱动包,应该把mysql-connector-java-5.1.27-bin.jar导入/opt/module/hive/lib的不是这个包。错把mysql-connector-java-5.1.27.tar.gz导入hive/lib包下。原创 2020-12-23 10:51:07 · 240 阅读 · 0 评论 -
大数据技术之Hive 第9章 企业级调优
第9章 企业级调优9.1 Fetch抓取9.2 本地模式9.3 表的优化9.3.1 小表、大表Join9.3.2 大表Join大表9.3.4 Group By9.3.5 Count(Distinct) 去重统计9.3.6 笛卡尔积9.3.7 行列过滤9.3.8 动态分区调整9.3.9 分桶9.3.10 分区9.4 数据倾斜9.4.1 合理设置Map数9.4.2 小文件进行合并9.4.3 复杂文件增加Map数9.4.4 合理设置Reduce数9.5 并行执行9.6 严格模式9.7 JVM重用9.8 推测执行9原创 2020-12-23 10:49:21 · 318 阅读 · 0 评论 -
大数据技术之Hive 第8章 压缩和存储
第8章 压缩和存储8.1 Hadoop源码编译支持Snappy压缩8.1.1 资源准备8.1.2 jar包安装8.1.3 编译源码8.2 Hadoop压缩配置8.2.1 MR支持的压缩编码8.2.2 压缩参数配置8.3 开启Map输出阶段压缩8.4 开启Reduce输出阶段压缩8.5 文件存储格式8.5.1 列式存储和行式存储8.5.2 TextFile格式8.5.3 Orc格式8.5.4 Parquet格式8.6 存储和压缩结合8.6.1 修改Hadoop集群具有Snappy压缩方式8.6.2 测试存储和原创 2020-12-23 10:35:55 · 215 阅读 · 0 评论 -
大数据技术之Hive 第6章 查询
第6章 查询第6章 查询查询语句语法:6.1 基本查询(Select…From)6.1.1 全表和特定列查询6.1.2 列别名6.1.3 算术运算符6.1.4 常用函数6.1.5 Limit语句count(1) count(*) count(id) 他们一样吗?6.2 Where语句6.2.1 比较运算符(Between/In/ Is Null)6.2.2 Like和RLike6.2.3 逻辑运算符(And/Or/Not)6.3 分组6.3.1 Group By语句6.3.2 Having语句6.原创 2020-12-23 10:23:23 · 328 阅读 · 0 评论 -
大数据技术之Hive 第5章 DML数据操作 数据的导入导出
数据的导入 数据的导出5.1 数据导入5.1.1 向表中装载数据(Load)2.实操案例5.1.2 通过查询语句向表中插入数据(Insert)5.1.3 查询语句中创建表并加载数据(As Select)5.1.4 创建表时通过Location指定加载数据路径5.1.5 Import数据到指定Hive表中5.2 数据导出5.2.1 Insert导出5.2.2 Hadoop命令导出到本地5.2.3 Hive Shell 命令导出5.2.4 Export导出到HDFS上5.2.5 Sqoop导出(mysql里中原创 2020-12-23 09:48:45 · 109 阅读 · 0 评论 -
大数据技术之Hive 第4章DDL数据定义
第4章DDL数据定义序章4.1 创建数据库4.2 查询数据库4.2.1 显示数据库4.2.2 查看数据库详情4.3 修改数据库4.4 删除数据库4.5 创建表4.5.1 管理表2.案例实操4.5.2 外部表4.5.3 管理表与外部表的互相转换4.6 分区表4.6.2 分区表注意事项4.7 修改表4.7.1 重命名表4.7.2 增加、修改和删除表分区4.7.3 增加/修改/替换列信息4.8 删除表序章SQL语言共分为四大类:数据查询语言DQL,select * from biao数据操纵语言DML,原创 2020-12-23 09:42:20 · 262 阅读 · 1 评论 -
大数据技术之Hive 第3章 Hive数据类型
第3章 Hive数据类型3.1 基本数据类型3.2 集合数据类型3.3 类型转化3.1 基本数据类型对于Hive的String类型相当于数据库的varchar类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储2GB的字符数。3.2 集合数据类型Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似,而STRUCT与C语言中的Struct类似,它封装了一个命名字段集合,复杂数据类型允许任意层次的嵌原创 2020-12-23 09:08:44 · 137 阅读 · 0 评论 -
大数据技术之Hive 第1章 Hive基本概念
第1章 Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和数据库比较1.4.1 查询语言1.4.2 数据存储位置1.4.3 数据更新1.4.4 索引1.4.5 执行1.4.6 执行延迟1.4.7 可扩展性1.4.8 数据规模1.1 什么是Hive1.1 什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。mapreduce : 海量数据的分布式计算框架.Hive是基于Hadoop的一个原创 2020-12-23 08:58:43 · 122 阅读 · 0 评论 -
大数据技术之Hive 第2章 Hive安装
大数据技术之Hive1 Hive安装地址2 Hive安装部署2.1.Hive安装及配置3.Hive基本操作4. 多窗口启动Hive测试5. Hive常用交互命令6. Hive其他命令操作7. Hive常见属性配置2.7.1 Hive数据仓库位置配置2.7.2 查询后信息显示配置2.7.3 Hive运行日志信息配置2.7.4 参数配置方式1 Hive安装地址1.Hive官网地址http://hive.apache.org/2.文档查看地址https://cwiki.apache.org/confl原创 2020-12-23 08:50:04 · 132 阅读 · 0 评论 -
Zookeeper是怎样保证自身的高可用的?及 zookeeper基本概念
Zookeeper是怎样保证自身的高可用的?一Zookeeper的ZAB协议和Paxos协议Zookeeper集群中的机器数量设置Zookeeper的基本概念集群角色系统模型会话(Session)数据节点(Znode)版本WatcherACLZookeeper的设计目的Zookeeper的数据模型一首先可以想到的是,假如zookeeper只有一个的话,其也无法保证其自身的高可用,所以zookeeper本身也是以集群的形式存在的。对比学校大门的安保问题,我们很容易能都想到的一种方法是可以有多个zookee原创 2020-12-21 10:28:20 · 3113 阅读 · 0 评论 -
Hadoop的master角色的单点故障问题
Hadoop的master角色的单点故障问题详解Hadood中的NameNode和ResourcManager是集群中的重要角色,如果这两个角色出现问题将导致整个集群无法使用。所以保证这两个角色的高可用是保证整个hadoop分布式系统高可用的关键。为了保证其高可用,可以想到的一个办法是使用主从冷备或双主热备。但是为了在这两个角色出问题时尽快知晓并解决,还需要使用一个额外的应用程序监控这个两个角色的健康状况,当这两个角色出问题时,自动使用相应的解决方案,以减少系统停用时间,保证hadoop 的高可用。正原创 2020-12-21 10:17:18 · 903 阅读 · 0 评论 -
应用程序的高可用
应用程序的高可用高可用性应用程序高可用的类型主从方式(也称之为主从冷备)双主互备(也称之为双主热备或互为热备)集群多互备高可用性“高可用性”(High Availability简称HA)通常来描述一个系统经过专门的设计,从而减少停工时间,而保持其服务的高度可用性。举例来说:为了保证学校门口的安保问题,需要许多保安轮流值岗,这样万一有哪个保安因为身体原因无法值岗的话还可以有其他人顶上,这样就可以保证整个学校门口的安保的高度可用。应用程序高可用的类型主从方式(也称之为主从冷备)还是学校门口的安保问题原创 2020-12-21 10:10:26 · 702 阅读 · 0 评论 -
Hadoop 2.6利用QJM和zookeeper实现HDFS高可用
Hadoop 2.6利用QJM和zookeeper实现HDFS高可用前提说明 apache cdh hdp机器规划软件规划JDK规划防火墙规划SSH免密码规划\Zk集群规划HDFS实现自动切换HA(全新HDFS)**修改core-site.xml**修改hdfs-site.xml启动顺序前提说明 apache cdh hdp在hadoop2.X中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby原创 2020-12-21 10:06:59 · 275 阅读 · 0 评论 -
第2章 Zookeeper安装 及 启动关闭脚本详解
大数据技术之Zookeeper 第2章 Zookeeper安装2.1 本地模式安装部署1.安装前准备2.配置修改3.启动 查看 关闭 zookeeper 命令脚本4.操作zookeeper2.2 配置参数解读第2章 Zookeeper安装2.1 本地模式安装部署1.安装前准备(1)安装jdk(2)通过filezilla工具拷贝zookeeper到到linux系统下(3)解压到指定目录-[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4原创 2020-12-21 09:49:53 · 410 阅读 · 1 评论 -
第3章 Zookeeper内部原理 API实战
大数据技术之Zookeeper 第3章 Zookeeper内部原理3.1 选举机制3.2 节点类型1.Znode有两种类型2.Znode有四种形式的目录节点(默认是persistent )3.3 stat结构体3.4 监听器原理3.5 写数据流程第4章 Zookeeper实战4.1 分布式安装部署4.2 客户端命令行操作4.3 API应用监听服务器节点动态上下线案例第3章 Zookeeper内部原理3.1 选举机制1)半数机制(Paxos 协议):集群中半数以上机器存活,集群可用。所以zookeep原创 2020-12-21 09:48:43 · 127 阅读 · 0 评论 -
第1章 Zookeeper概述
大数据技术之Zookeeper 第1章 Zookeeper概述1.1 概述1.2 特点1.3 数据结构1.4 应用场景1.5下载地址创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入第1章 Zookeeper概述1.1 概述zoo 动物园。keeper 管理员。hadoop 大象, hive蜜蜂,Pig 猪。Zookeeper是一个开源的原创 2020-12-21 08:40:35 · 147 阅读 · 1 评论 -
Linux系统 ·虚拟机安装· SecureCRT远程连接器
一.Linux系统一.Linux介绍1.1 Linux主要特性基本思想1.2 常用Linux版本二.Linux安装和目录结构编辑虚拟机设置一.Linux介绍第一周: linux系统。第二周: hadoop集群。第三周: hdfs javaAPI 。第四周: mapreduce。Unix:Linux: linux is not unixLinux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX原创 2020-11-06 15:09:39 · 1862 阅读 · 1 评论