![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
青橘不酸
这个作者很懒,什么都没留下…
展开
-
Hive的内置函数 学会横着走
1.select concat(‘abc’,‘cd’,‘fff’) 对二进制字节码或字符串按次序进行拼接2.select instr(“abcdef”,‘b’) 查找字符串str中子字符串substr出现的位置3.select length(‘abcdef’) 返回字符串的长度4.select locate(‘cd’,‘abcdabcd’,4) 查找字符串str中的pos位置后字符串substr第一次出现的位置5.select upper(‘adcdef’) 将字符串原创 2020-06-17 20:16:41 · 481 阅读 · 0 评论 -
继zeppelin安装后的完善 肝了n秒寻找到的解决方案
在上一篇文章中,有很多小伙伴跟我一样掉进了坑了,久久不出,下面我肝了n个秒数,终于给我找到了解决的方案:上篇文章地址:https://blog.csdn.net/weixin_47737819/article/details/106719848问题的主要原因是:相关HDFS文件权限的问题解决方法: 方法1:给当前用户的HDFS文件授权 方法2:修改HADOOP配置文件hdfs-site.xml,修改dfs.permissions数据为false。<property> <原创 2020-06-16 18:52:19 · 114 阅读 · 0 评论 -
zeppelin安装及配置 亲测 探雷:它是如何让你奔溃的
今天尝试安装了一下zeppelin,过程及其血腥,完美诠释如何从开心到奔溃,下面我们开始:刚开始我们还是跟以往一样愉快的打开那个邪恶的小软件,把自己下载下来的安装包放进自己的虚拟机中放好文件夹我们肯定会愉快的去解压安装包,一步一步往下行走着,我还是喜欢把安装包移动到一个跟脸一样干净的文件夹下tar -zxf zeppelin-0.8.1-bin-all.tgzmv zeppelin-0.8.1-bin-all soft/zepplin081解压完成后我们进去准备给他化个妆cd soft/zep原创 2020-06-12 17:36:52 · 385 阅读 · 1 评论 -
hive排序:四个排序区别 不要太香哦
order by全局排序**只使用一个Reducer执行全局数据排序速度慢,应提前做好数据过滤支持使用CASE WHEN或表达式支持按位置编号排序select * from offers order by case when offerid = 1 then 1 else 0 end;select * from offers order by 1;sort by内部排序对每一个Reduce的结果进行排序,为了看出效果,我们多设置几个Reduce,查看每个Reduce的原创 2020-06-11 20:11:23 · 438 阅读 · 0 评论 -
Hive 安装 亲测有效 再也不怕迷路
前面我们安装了hadoop现在我们开始安装下hive:安装hive需要两个安装包,我这里用的是1.1.0版本,放入到自己的虚拟机中1、检查自己安没安装mysqlmysql -u root -p2、启动Hadoop出现这五个说明启动成功缺一不可(如果失败关闭重启stop-all.sh)hadoop启动成功3、解压动物园管理员(zookeeper)包tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz4、解压hive安装包mv hive-1.1.0-cd原创 2020-06-10 19:42:18 · 806 阅读 · 1 评论 -
hadoop ssh 远程登录 不用密码设置方法
下面在一台新的虚拟机上操作ssh远程登录不用密码1.网络设置输入命令vi /etc/sysconfig/network-scripts/ifcfg-enp0s3进去设置2.修改配置BOOTPROTO=staticONBOOT=yes增加ip地址IPADDR=192.168.56.xxx(xxx最好大于100)3.保存退出用esc键退出:(符号输入)+ wq(保存退出)4.修改用户名5.重启网络systemctl restart network6.测试网络链接输入百度原创 2020-06-02 18:50:27 · 289 阅读 · 0 评论 -
Hadoop解析安装及环境配置
Hadoop解析安装1.Jdk(建议使用JDK 1.8.11)2.导入hadoop.tar.gz(我使用的是2.6.0版本)3.解压文件tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz(可以新建文件把解压文件移动至文件中)mv hadoop-2.6.0-cdh5.14.2 soft/hadoop2604.解压完成进入文件hadoop目录cd soft/hadoop260/etc/hadoop配置五个文件①echo $JAVA_HOME//opt/soft原创 2020-06-01 17:35:01 · 300 阅读 · 0 评论