- 博客(11)
- 收藏
- 关注
RSS订阅原创 Hive架构原理
1）用户接口：ClientCLI（command-lineinterface）、JDBC/ODBC(jdbc访问hive), WEBUI(浏览器访问hive)2）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore3）Hadoop使用HDFS进行存储，使用MapReduce进行计算。4）驱动器：...
2021-08-04 15:31:48
69
原创 SQl必知内容
1.SQL的书写顺序select->distinct->from->join->on->where->group by->having ->order by->limit2.SQL的执行顺序from->on->join->where->group by->having->select->distinct->order by->limit3.内连接只有进行连接的两个表中都存在与连接条
2021-08-04 11:46:05
77
原创 HBase API--DDL
1.环境准备新建项目后在pom.xml中添加依赖：注意：可能会报错javax.el包不存在，不用管，是一个测试用的依赖，不影响使用 <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> ...
2021-07-12 23:56:24
111
4
原创 NameNode工作机制中FsImage与edits
1. Fsimage中没有记录块所对应DataNode，为什么？答。在集群启动后，要求DataNode上报数据块信息，并间隔一段时间后再次上报。在fsimage中，并没有记录每一个block对应到哪几个datanodes的对应表信息，而只是存储了所有的关于namespace的相关信息。而真正每个block对应到datanodes列表的信息在hadoop中并没有进行持久化存储，而是在所有datanode启动时，每个datanode对本地磁盘进行扫描，将本datanode上保存的block信息汇报给na
2021-06-24 17:30:25
406
1
原创 HDFS的API案例--客户端环境准备
1）找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）。2）配置HADOOP_HOME环境变量3）配置Path环境变量。注意：如果环境变量不起作用，可以重启电脑试试。验证Hadoop环境变量是否正常。双击winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。再资料包里面有对应的微软运行库安装包双击安装即可。4）在IDEA中创建一个Maven工程HdfsClientDemo，并导入相应...
2021-06-10 20:37:04
317
9
原创 Linux常用基本命令
1.帮助命令1.1man 获得帮助命令 man [命令或配置文件] （功能描述：获得帮助信息）2．显示说明 信息 功能 NAME 命令的名称和单行描述 SYNOPSIS 怎样使用命令 DESCRIPTION 命令功能的深入讨论 EXAMPLES 怎样使用命令的例子 SEE A...
2021-06-07 21:26:17
2224
原创 数组模拟循环队列
对前面的数组模拟队列的优化，充分利用数组. 因此将数组看做是一个环形的。(通过取模的方式来实现即可)1) 尾索引的下一个为头索引时表示队列满，即将队列容量空出一个作为约定,这个在做判断队列满的 时候需要注意 (rear + 1) % maxSize == front 满] 2) rear == front [空] 3) 分析示意图:...
2021-06-04 21:20:52
83
原创 数组模拟队列
1) 队列是一个有序列表，可以用数组或是链表来实现。 2) 遵循先入先出的原则。即：先存入队列的数据，要先取出。后存入的要后取出 3) 示意图：(使用数组模拟队列示意图)
2021-06-04 20:09:13
47
原创 Linux重要目录及常用命令
linux系统中比较重要的目录1./bin 放的就是常用命令2./sbin 放的系统管理员能够使用的命令 super 加密3./home 普通用户家目录 所有普通用户挤在一个目录下4./root 管理员的家目录 管理员单独一个屋5./etc 系统所有的配置文件 网络配置 环境变量6./usr 系统默认的软件安装目录7./boot 引导区 系统开机时会加载的目录8./mnt 系统默认的硬盘挂载区域9./run/media 系统默认的u盘 光驱的挂载目录10./opt 安装软...
2021-06-04 18:23:21
264
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人