![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 57
TriumPhSK
很忙!有事!请撒娇!!!
展开
-
HIVE跨年周
hive跨年周的 年份归属原创 2022-01-05 11:53:56 · 789 阅读 · 0 评论 -
维度建模 -- 星型模型和雪花模型的区别
雪花模型去除了冗余,设计复杂,可读性差,关联的维度表多,查询效率低,但是可扩展性好。星型模型冗余度高,设计简单,可读性高,关联的维度表少,查询效率高,可扩展性低。原创 2021-10-08 20:56:51 · 15206 阅读 · 1 评论 -
Hive -- 常用的字符串函数
Hive -- 常用的字符串函数原创 2021-07-20 18:05:55 · 635 阅读 · 0 评论 -
hive group by | distinct区别以及性能比较
select distinct a from t1;select a from t1 group by a;低版本hive执行计划:# distinctStage-Stage-1: Map: 396 Reduce: 1 Cumulative CPU: 7915.67 sec HDFS Read: 119072894175 HDFS Write: 10 SUCCESS# group byStage-Stage-1: Map: 396 Reduce: 457 Cumulative CPU: 1原创 2021-06-16 14:49:36 · 1911 阅读 · 0 评论 -
Hive -- 窗口分析函数
hive 日常用的窗口函数原创 2021-06-01 16:03:19 · 259 阅读 · 2 评论 -
hive复制表结构和数据的方法
hive 表复制原创 2020-12-31 17:10:28 · 2976 阅读 · 0 评论 -
Hive datediff在处理date格式的问题
hive datediff current_date原创 2020-12-07 16:23:20 · 644 阅读 · 0 评论 -
Hive 日期时间操作
hive 时间日期操作原创 2020-12-01 18:12:55 · 14566 阅读 · 1 评论 -
Hadoop的冷备、热备
冷备份: Hadoop1.X :NameNode(主) SecondaryNameNode(从)在Hadoop1.X中,SecondaryNameNode会按照时间阈值(比如24小时)或者edits日志大小阈值(比如1G),周期性的将fsimage和edits合并成新的fsimage并替换,然后将最新的fsimage推送给NameNode,减少 NameNode 启动时间;非实时merge,一...原创 2020-03-25 09:42:08 · 2215 阅读 · 0 评论 -
YARN的运行原理
Client向ResourceManager请求运行一个mapreduce程序。ResourceManager返回hdfs地址,告诉Client将作业运行相关的资源文件上传到hdfs。Client提交mr程序运行所需的文件(包括作业的jar包,作业的配置文件,分片信息等)到hdfs上。作业相关信息提交完成后,客户端用过调用ResourcrManager的submitAppl...原创 2019-10-19 00:49:55 · 153 阅读 · 0 评论 -
Hive优化
列裁剪设置参数 hive.optimize.cp=true在读取数据时,只读取查询中需要用到的列,而忽略其他列,例如:select a,b from t where e < 5;其中,对于表t包含的5个列(a,b,c,d,e),经过列裁剪,列c和d将会被忽略,执行中会只读取a,b,e列。分区裁剪...原创 2019-06-26 08:59:05 · 318 阅读 · 0 评论 -
Hadoop平台搭建--09搭建Spark环境
上传Spark安装包(需要下载和Hadoop版本相匹配的安装包)到 /usr/local/中切换到/usr/local/下解压Spark压缩包 tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz修改Spark文件夹的名称 mv spark-2.4.3-bin-hadoop2.7 spark删除Spark压缩包 rm spark-2.4.3-bin-ha...原创 2019-06-18 11:10:28 · 221 阅读 · 0 评论 -
Hadoop平台搭建--08搭建Scala环境
上传Scala安装包到 /usr/local/中切换到/usr/local/下解压Scala压缩包 tar -zxvf scala-2.13.0.tgz修改Scala文件夹的名称 mv scala-2.13.0 scala删除Scala压缩包 rm scala-2.13.0.tgz配置环境变量 vi /etc/profileexport SCALA_HOME=/usr/l...原创 2019-06-18 09:50:37 · 150 阅读 · 0 评论 -
CentOS7搭建MySQL环境
搭建mysql环境原创 2019-05-10 10:47:27 · 1178 阅读 · 0 评论 -
Hadoop平台搭建--06hive搭建
安装MySQLhttps://blog.csdn.net/qq_38821502/article/details/90053717安装HIVE切换到/usr/local/目录下cd /usr/local/上传hive安装包解压hive tar -zxcf apache-hive-2.3.4-bin.tar.gz修改目录名 mv apache-hive-...原创 2019-05-10 21:22:18 · 283 阅读 · 0 评论 -
Hadoop平台搭建--05分布式搭建
hadoop配置文件1、 配置core-site.xml文件(配置完需要格式化namenode(hdfs namenode -format) 然关闭namenode,再重启namenode)<property> <name>fs.defaultFS</name> <value>hdfs://master:9000...原创 2019-04-25 19:51:27 · 325 阅读 · 0 评论 -
Hadoop平台搭建--03搭建Java环境
上传Java安装包到 /usr/local/中切换到/usr/local/下解压Java压缩包 tar -zxvf jdk-8u102-linux-x64.tar.gz修改Java文件夹的名称 mv jdk1.8.0_102 java删除Java压缩包 rm jdk-8u102-linux-x64.tar.gz配置环境变量 vi /etc/profileexport JA...原创 2019-04-25 19:09:42 · 428 阅读 · 0 评论 -
Hadoop平台搭建--01VMware虚拟机安装
下载VMware-workstation并运行进入安装界面,点击【下一步】选择“我接受许可协议中的条款”, 点击【下一步】选择“增强型键盘驱动程序”, 点击【下一步】点击【下一步】继续【下一步】点击【安装】等待安装完成点击【许可证】输入密钥:5A02H-AU243-TZJ49-GTC7K-3C61N,并点击【输入】安装完成,点击【完成】运行VMware...原创 2019-04-25 17:40:03 · 298 阅读 · 0 评论 -
Hadoop平台搭建--07zookeeper搭建
切换到/usr/local/目录下cd /usr/local/上传zookeeper安装包解压zookeeper tar -zxvf zookeeper-3.4.5.tar.gz修改目录名 mv zookeeper-3.4.5 zookeeper删除zookeeper安装包 rm -r zookeeper-3.4.5.tar.gz切换到zooke...原创 2019-06-09 16:14:58 · 165 阅读 · 0 评论 -
Hadoop平台搭建--04搭建Hadoop环境
上传Hadoop压缩包到 /usr/local/中切换到/usr/local/下解压Hadoop压缩包 tar -zxvf hadoop-2.7.7.tar.gz修改hadoop文件夹的名称 mv hadoop-2.7.7 hadoop删除hadoop压缩包 rm hadoop-2.7.7.tar.gz配置环境变量 vi /etc/profileex...原创 2019-04-25 19:22:56 · 372 阅读 · 0 评论 -
Hadoop平台搭建--02CentOS开发环境搭建
新建虚拟机选择“自定义(高级)”,并点击【下一步】选择虚拟机硬件兼容性,并点击【下一步】选择“稍后安装操作系统”,并点击【下一步】选择操作系统版本,并点击【下一步】命名虚拟机,可任意路径,并点击【下一步】配置处理器,并点击【下一步】设置虚拟机内存大小,并点击【下一步】选择“使用网络地址转换(NAT)”,并点击【下一步】选择“LSI Logi...原创 2019-04-25 18:58:08 · 395 阅读 · 0 评论 -
SSH免密登录配置
一、只适用master(namenode)免密登录到slave(datanode)1、cd /usr/local/hadoop/etc/hadoopvim slaves2、cd ~/.ssh3、ssh-keygen -t rsa,一直回车4、ssh-copy-id slave1向slave1、slave2、slave3,以及自身发送公钥发送成功,会显示authorized_...原创 2019-04-16 09:28:51 · 394 阅读 · 0 评论