![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 56
Alaskyed
辣白菜
展开
-
DBeaver 连接 Google BigQuery
DBeaver 连接 Google BigQuery毕业设计要用到Google BigQuery, 但是想要用DBeaver进行远程连接(实在用不惯浏览器端的界面).结果发现DBeaver 真 的 可 以 !! DBeaver提供了Google BigQuery驱动, 可以直接连接!首先添加新的连接, 左边标签选择ALL, 然后再上面搜索框搜索 BigQuery, 选中下面的图标, 点击Next.登陆Google BigQuery, 然后进入想要连接的 Project 的仪表盘(Dashboar原创 2022-05-08 06:21:49 · 637 阅读 · 0 评论 -
Hive(10) Hvie函数详解-常见函数使用和自定义函数
Hvie函数详解-常见函数使用和自定义函数函数常用系统内置的函数nvl (空字段赋值)有时候我们查到的一些值是NULL, 但是有时候NULL不能准确的表达含义和参与运算(NULL与任何值运算都为NULL), 比如说工资的奖金这时我们可以使用nvl()函数, 在查询时将NULL值转换为一个默认值nvl(<可能为空的字段>, <自定义默认值>);举例 查询员工...原创 2020-04-10 23:12:41 · 588 阅读 · 0 评论 -
Hive(9) Hive的高级查询-关联查询、分组查询、排序查询、分桶查询
Hive(7) 高级查询这里会用到的表会用到的表概述学生表字段名类型备注stu_idstring学号stu_namestring姓名class_idint班级编号jobstring职位scoredouble得分add_scoredouble加分entrance_timestring入学时间age...原创 2020-04-10 23:10:54 · 736 阅读 · 0 评论 -
Hive(7) Hive的DML语句-Hive的数据库和表的修改和删除
Hive(3) DML语句DML 数据操作语句导入数据直接从文件向表中导入数据(load data)load data [local] inpath <文件路径> [overwrite] into table <表名> [partition (<分区名> = <值>, ...)]说明local : 如果加上local, 就是本...原创 2020-04-10 23:07:21 · 323 阅读 · 0 评论 -
Hive(5) Hive的数据类型
HIve(2) Hive的数据类型数据类型基本数据类型Hive数据类型对应Java数据类型长度(byte)举例tinyintbyte110smallintshort220intint430bigintlong850booleanboolean布尔true, falsefloatfloat单精度3.14...原创 2020-04-10 23:03:53 · 324 阅读 · 0 评论 -
Hive(4) Hive的常见配置(仓库位置、日志信息等)
Hive常见配置配置文件配置注意用户自定义配置会覆盖默认配置。另外,Hive也会读入Hadoop的配置,因为Hive是作为Hadoop的客户端启动的,Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效仓库位置配置Default数据仓库的最原始位置是在hdfs上的/user/hive/warehouse路径下在仓库目录下,没有对默认的数据库def...原创 2020-04-10 23:01:45 · 688 阅读 · 0 评论 -
Hive(2) Hive单节点安装以及分布式安装
Hive安装单节点安装在官网上下载Hive的安装包官网地址: http://hive.apache.org/把Hive的安装包上传到服务器中, 然后解压到指定文件(我这里解压到/opt/software/目录下tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /opt/software/方便起见, 可以给Hive的根目录重命名一下mv ...原创 2020-04-10 22:58:35 · 515 阅读 · 0 评论 -
Hive(1) Hive介绍以及Hive架构详解
Hive介绍以及Hive架构详解概念Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能, 是一种大数据离线分析工具Hive的底层就是将类SQL语句转换成MapReduceHive提供了一系列的工具, 可以用来进行数据提取, 转化, 加载(ETL Extract-Transform-Load)Hive的特点优点操作接口采用类SQ...原创 2020-04-10 22:56:51 · 492 阅读 · 0 评论 -
Hive启动报错:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
今天在启动hive时出现了一个错误: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient解决方法如下:检查一下java的驱动jar包是否导入hive 的conf/ 目录下, 注意在官网上下载的mysql-connector-java-5.1.48.tar.gz 是个压缩包,...原创 2020-04-09 16:58:39 · 664 阅读 · 0 评论 -
Hadoop(12) Yarn详解和job提交源码解析
Hadoop(12) Yarn和job提交源码解析文章目录Hadoop(12) Yarn和job提交源码解析Yarn基本架构架构图组件介绍ResourceManagerNodeManagerApplicationManagerContainerYarn工作机制Yarn流程图Yarn流程详解job提交的部分源码源码细节源码流程图示任务推测执行执行推测任务的前提条件不能启用推测执行机制情况推测执行...原创 2020-04-02 10:04:46 · 329 阅读 · 0 评论 -
Hadoop(11) MapReduce-4 分组和OutputFormat
Hadoop(11) MapReduce-4 分组和OutputFormat分组(GroupingComparable)GroupingComparable介绍GroupingComparable作用GroupingComparable是在Reduce阶段, 在数据进入Reducer之前, 对数据进行一个或几个字段的分组(默认是key相同的数据为同一组), 然后使数据分组次进入Red...原创 2020-04-02 10:03:26 · 217 阅读 · 0 评论 -
Hadoop(10) MapReduce-3 分区, 排序和合并
Hadoop(10) MapReduce-3 分区, 排序和合并分区(Partition)分区的介绍分区的作用之前我们介绍过, 每个分区对应一个ReduceTask, 如果所有MapTask的结果都由一个ReduceTask来汇总, 会很慢, 所以对MapTask的内容进行分区, 交由不同的ReduceTask来执行分区发生的时间在map()方法执行时, 会将文件写入一个临时缓存,...原创 2020-04-01 08:40:35 · 544 阅读 · 0 评论 -
Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormat
Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormat文章目录Hadoop(9) MapReduce-2 InputFormat详见和自定义InputFormatInputFormat切片和提交的过程InputFormat介绍FileInputFormat机制及其实现类FileInputFormat介绍源码中计算大小的公式FileInputForm...原创 2020-04-01 08:38:47 · 208 阅读 · 0 评论 -
Hadoop(8) MapReduce-1 MapReduce的详细流程和Shuffle机制的流程
Hadoop(8) MapReduce-1 MapReduce的详细流程和Shuffle机制的流程文章目录Hadoop(8) MapReduce-1 MapReduce的详细流程和Shuffle机制的流程MapReduce的详细流程MapReduce的流程整个MapReduce详细流程MapperReducerShuffle机制的流程MapReduce的详细流程MapReduce的流程I...原创 2020-04-01 08:37:58 · 190 阅读 · 0 评论 -
Hadoop(6) HDFS详解
Hadoop(6) HDFS文章目录Hadoop(6) HDFSHDFSHDFS介绍HDFS的定义HDFS的优缺点HDFS的应用场景HDFS的组成NameNode 可以理解为结群的主管DataNode 负责具体的任务执行Client 客户端配置Hadoop开发环境HDFS的Shell命令HDFS操作HDFS上传操作HDFS下载操作HDFS的API操作开发软件中开发环境的搭建API测试HDFS上...原创 2020-04-01 08:37:24 · 201 阅读 · 0 评论 -
Windows下Hadoop开发环境找不到winutils.exe的解决办法
很多小伙伴在学习hadoop的时候,都是在window下进行开发的,但是这里需要注意一下,在window下开发MapReduce程序,在测试的时候,如果Hadoop的环境不是在Win下编译的环境有的小伙伴在自己下载hadoop并且搭建开发环境的时候,会发现明明已经配置好了hadoop的环境变量,但是在执行MapReduce程序的时候,还是会出现下面的错误:ERROR util.Shell: F...原创 2020-03-10 12:47:05 · 6702 阅读 · 0 评论 -
Hadoop(7) MapReduce的介绍以及编程案例
Hadoop(7)MapReduce的介绍以及编程案例文章目录Hadoop(7) MapReduce的介绍以及编程案例MapReduce介绍MapReduce的特点优点缺点MapReduce 核心过程Map阶段Reduce阶段Hadoop序列化Hadoop序列化介绍Hadoop序列化特点Hadoop序列化类型对比MapReduce编程主要流程MapperReducerDriverMapRe...原创 2020-01-23 12:21:29 · 388 阅读 · 0 评论 -
Hadoop(6) HDFS
Hadoop(六)HDFS文章目录Hadoop(六) HDFSHDFSHDFS介绍HDFS的定义HDFS的优缺点HDFS的应用场景HDFS的组成配置Hadoop开发环境HDFS的Shell命令HDFS操作HDFS上传操作HDFS下载操作HDFS的API操作开发软件中开发环境的搭建API测试HDFS上传和下载的流程客户端上传文件到HDFS流程(写流程)从HDFS下载文件的流程(读流程)元数据...原创 2020-01-14 10:27:11 · 620 阅读 · 0 评论 -
Hadoop(5) 历史服务其和日志聚集的配置、集群时间同步
Hadoop(五)历史服务其和日志聚集的配置、集群时间同步的配置历史服务器为了查看程序的历史运行情况,需要配置一下历史服务器配置mapred-site.xml打开mapred-site.xml,在configuration标签里面添加以下内容:<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhi...原创 2019-12-25 21:55:31 · 291 阅读 · 0 评论 -
Hadoop(4) 完全分布式搭建以及集群中免密登录的配置
Hadoop(四)完全分布式搭建以及集群中免密登录的配置文章目录Hadoop(四) 完全分布式搭建以及集群中免密登录的配置Hadoop完全分布式搭建分布式的节点分配分布式配置启动集群免密登录配置SSH协议介绍免密登录的配置集群中免密登录的简单配置一键启动Hadoop集群的配置Hadoop完全分布式搭建分布式的节点分配首先我们需要了解一下一个Hadoop集群需要哪些节点:在伪分布式我...原创 2019-12-25 16:43:08 · 1528 阅读 · 0 评论 -
Hadoop(3) Hadoop伪分布式的搭建和重复格式化namenode的问题解决
Hadoop(三)Hadoop伪分布式的搭建和重复格式化namenode的问题解决文章目录Hadoop(三) Hadoop伪分布式的搭建和重复格式化namenode的问题解决Hadoop伪分布式Hadoop伪分布式介绍Hadoop伪分布式的搭建HDFS伪分布式搭建yarn伪分布式搭建重复格式化namenode产生的问题及其解决方法Hadoop伪分布式Hadoop伪分布式介绍伪分布式指...原创 2019-12-23 19:18:57 · 2020 阅读 · 0 评论 -
Hadoop(2) 单节点模式(本地模式)
Hadoop(二)单节点模式(本地模式)文章目录Hadoop(二) 单节点模式(本地模式)Hadoop单节点单节点模式介绍单节点部署单节点官方测试案例Hadoop单节点注意Hadoop的部署运行需要Java环境单节点模式介绍Hadoop 以一个 Java 进程的形态运行在非分布式模式下,这对于调试很有帮助,但是实际的开发和测试时,一般很少用本地模式单节点部署修改配置文件,配...原创 2019-12-23 16:52:12 · 702 阅读 · 0 评论 -
Hadoop(1) Hadoop简介和Hadoop的安装
Hadoop(一)Hadoop简介和Hadoop的安装文章目录Hadoop(一) Hadoop简介和Hadoop的安装@[toc]Hadoop 简介Hadoop概念Hadoop的常见发行版本Hadoop的版本Hadoop的优势Hadoop的组成HDFS(存储数据)MapReduce (计算)Yarn(资源调度)Common(辅助工具)Hadoop的安装Hadoop 简介Hadoop概念...原创 2019-12-23 16:47:14 · 867 阅读 · 0 评论