Forever_ck的博客

废话不多说！Navicat for MySQL 12.0 安装包及详细破解教程，仅供学习使用。链接: https://pan.baidu.com/s/17cnF3nqdAUqNp6YvbWlSGQ提取码: ddy6有什么不明白可留言

搭建一个Hadoop集群，为了方便就随手写了一个一键操作集群脚本如下：#!/bin/bashpcount=$#if((pcount==0));thenecho no args;exit;fiecho -------------localhost----------params=$@host=1for((host=1; host<=3; host++)); doecho ...

1.报错如下：2.问题原因刚看到这个错误的，还以为语法有错误，后来发现原因竟然是末尾多了个双引号。 特写一篇博客，警醒自己要细心，细心，再细心3.解决办法删除末尾引号即可。...

1.报错如下：2.错误原因：表中字段太多，为了简便使用了 select *，导致查询结果中的列数不匹配。3.解决办法：将 select * 改为需要的字段即可。

Sqoop创建job成功，但执行失败，报错如下：2.解决办法：尝试更换 job，执行成功！

1.Hive删除表失败，查看logs报错如下：2.问题原因：Hive元数据有错，在Mysql中删除原先Hive元数据库，重新创建3.重启Hive，测试成功如下：

一、内存优化HBase 操作过程中需要大量的内存开销，毕竟 Table 是可以缓存在内存中的，一般会分配整个可用内存的 70%给 HBase 的 Java 堆。但是不建议分配非常大的堆内存，因为 GC 过程持续太久会导致 RegionServer 处于长期不可用状态，一般 16~48G 内存就可以了，如果因为框架占用内存过高导致系统内存不足，框架一样会被系统服务拖死。二、允许在 HDFS 的文...

继续我们前面地内容：上篇：https://blog.csdn.net/Forever_ck/article/details/85777938中篇：https://blog.csdn.net/Forever_ck/article/details/85780280五、并行执行Hive 会将一个查询转化成一个或者多个阶段。这样的阶段可以是 MapReduce 阶段、抽样阶段、合并阶段、limit...

继续我们前面地内容：上篇：https://blog.csdn.net/Forever_ck/article/details/85777938中篇：https://blog.csdn.net/Forever_ck/article/details/85780280五、并行执行Hive 会将一个查询转化成一个或者多个阶段。这样的阶段可以是 MapReduce 阶段、抽样阶段、合并阶段、limit...

话不多说，我们继续我们的Hive优化，上篇地址：https://blog.csdn.net/Forever_ck/article/details/857779383.6 笛卡儿积：尽量避免笛卡尔积，join 的时候不加 on 条件，或者无效的 on 条件，Hive 只能使用 1个 reducer 来完成笛卡尔积。3.7 行列过滤列处理：在 SELECT 中，只拿需要的列，如果有，尽量使用...

一、Fetch抓取Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more，老版本 hive默认是 minimal，该属性修改为 more 以后，在全局查找、字段查找、limit 查找等都不走mapreduce。配...

报错如下：错误原因：因为python3.7.2需要手动安装pip，正常情况下找到pip解压目录下执行上图命令即可，但是缺少 setuptools 包！解决办法：手动下载 setuotools安装包下载路径： https://pypi.org/project/setuptools/#files在解压目录下，执行 python setup.py build重新进入pip安装目录执行...

顾名思义，约束就是限制。MySQL中常用的约束有很多的，比如主键约束、非空约束、自增约束等等，但我一直觉得外键约束才是其中最好玩的，接下来我们便来聊聊说它是最好玩的原因。一、外键简介 （支持数据引擎为InnoDB） 如果公共关键字在一个关系中是主关键字，那么这个公共关键字被称为另一个关系的外键。由此可见，外键表示了两个关系之间的相关联系。以另一个关系的外键作主关键字的表被称为主表，具有此外键...

今天来介绍两种Mysql中的主键约束。一、主键定义键是表的标识列，关系数据库依赖于主键，它是数据库物理模式的基石。主键不唯一，可以使用主键组。二、 主键的用途1. 唯一的表示一行记录。2. 作为一个可以被外键引用的有效对象。三、 如何设置主键在创建表的同时设置主键，可以放在单字段后，也可以放在表的末尾 alter table 表名 modify 字段名 字段类型 primar...

今天来介绍两种Mysql中的主键约束。一、主键定义键是表的标识列，关系数据库依赖于主键，它是数据库物理模式的基石。主键不唯一，可以使用主键组。二、 主键的用途1. 唯一的表示一行记录。2. 作为一个可以被外键引用的有效对象。三、 如何设置主键在创建表的同时设置主键，可以放在单字段后，也可以放在表的末尾 alter table 表名 modify 字段名 字段类型 primar...

一、概述Zeppelin是基于 Notebook技术开发的大数据交互分析服务软件,可以基于Web界面组合多个大数据分析引擎的处理能力,并内置提供了基于Web的可视化界面,可以连接几乎所有的Apache大数据处理服务系统。二、功能Zeppelin可以满足你的数据接入、数据挖掘、数据分析、数据可视化及协同开发的需求。如：数据可视化、数据透视表、动态表单等等。三、支持语言Zeppelin in...

在Hadoop集群启动时，报错如下：错误原因：Kafka 中莫名出现大量日志文件，导致磁盘空间不足解决办法：查找日志过大文件，删除重启即可。查找大于 200M的日志文件命令find / -size +200M -exec du -h {} \;...

这篇继续我们介绍我们的函数，上篇链接：https://blog.csdn.net/Forever_ck/article/details/85268145闲话少叙，开整：current_date 获取当前日期rtrim 去除字符串右边空格split 将字符串按照指定字符切割，返回一个数组upper 和 ucase 两个函数都可以将小写字母转为大写repeat（字符...

在我们开发数仓项目的过程中，我们常常需要写一些复杂的 hql 语句来完成我们的业务逻辑，今天我们就来聊聊那些Hive中自带的常用函数。一、Hive中内置函数图解二、常用函数总结：（常用的数学和日期函数）round（） 四舍五入取值 floor 向下取整 ceil 向上取整sqrt 求平方根abs 求绝对值greatest 求一组数据中的最大值...