wsjslient的博客

Hadoop大数据平台伪分布式安装

执行的脚本没有执行，提示没有找到数据库；新打session窗口测试，通过spark-sql连接yarn后。问题描述：金山云大数据平台(基于HDP)服务器上跑批数据加工脚本时，发现当中通过。发现数据库与hive元数据库不一致；

IDEA Windows下SPARK连接Hive

目录前言a. jar包拷贝b. 创建连接 前言 最近项目最后阶段用finereport做报表时，发现部分表需要聚合，这部分数据在M有SQL下的性能让人过于着急。于是干脆连接到hive，直接走MapReduce查询。 a. jar包拷贝 将以下jar包复制FineReport此目录下：${FINEREPORT_HOME}\webapps\webroot\WEB-INF\lib hadoop hadoop-common-2.6.0-cdh5.14.2.jar hive hive-jdbc-1.1

这里写目录标题前言一、什么是Hive的数据倾斜二、发生数据倾斜的原因三、如何解决不同类型的数据倾斜 前言         数据倾斜是大数据处理不可避免会遇到的问题，那么在Hive中数据倾斜又是如何导致的？通过本片本章，你可以清楚的认识为什么Hive中会发生数据倾斜；发生数据倾斜时我们又该用怎么的方案去解决不同的数据倾斜问题。 一、什么是Hive的数据倾斜       

目录前言一、子查询不能作为查询字段使用 前言         大于大数据工作者来说，MapReduce优化了处理大型数据的方式和速度问题，而hive则解决了处理复杂分组的程序编写的问题，我们只需要编写HiveQL语句即可转换成一系列成MapReduce作业并执行。         虽然Hql与sql有很多相似处，但是还是有不少区别点的，下面总结下博

目录一、数据库操作二、表操作2.1 建表a.内部表b.外部表 一、数据库操作 数据库是表的集合， HDFS中表现为一个文件夹 。默认在hive根目录下的warehouse目录下： 创建数据库 -- 创建数据库(这里我是在zeppelin里运行，尾部不用加;) create database if not exists myhive 数据库其他操作 -- 使用数据库 use myhive -- 查看所有数据库 show databases -- 查看数据库信息 describe databas

博客目录前言（Hive产生背景）一、Hive的定义二、Hive的优点&缺点a、Hive的优点b、Hive的缺点 前言（Hive产生背景） &mapreduce编程的不便性、代码量较大 hdfs上的文件缺少schema，hdfs你存一个文件上去仅仅只是一个文件，对于schema可以这么理解，关系型数据库我们创建一张表，你要指定表名、制定列的名称、类型，这些就叫做schema，而hdfs上面是没有schema 的，那么就没有办法通过sql的方式来对分布式文件系统上的数据查询，那么这样子的话你

PS：        Zeppelin中使用Hive，请先安装好hadooph&Hive,并且启动Hadoop的服务&Hive的数据仓库服务必须启动才可以正常使用Zepppelin！        Hadoop安装地址：https://blog.csdn.net/wsjslient/article/details/109603446  &nbs

目录一、解压安装包1.解压文件2.warehouse创建二、配置Hive1.配置hive-site.xml2.mysql驱动拷贝3.配置环境变量4.初始化启动并访问 一、解压安装包 1.解压文件         解压Hive安装包到指定文件夹； 2.warehouse创建        文件改名并在Hive根目录下新建文件夹warehouse； 二、配置Hive

函数目录查看函数用法数学函数集合函数类型转换日期函数字符串函数 查看函数用法        desc function extended FUNC_NAME; desc function extended FUNC_NAME; 数学函数 集合函数 类型转换 日期函数 字符串函数 PS：作者是一枚刚入编程的小白，如果有写错或者写的不好的地方，欢迎各位大佬在评论区留下宝贵的意见或者建议，敬上！如果这篇博客对您有帮助，希望您可以顺手帮我点