HADOOP
文章平均质量分 51
嶶風
向DB发展
展开
-
SPARK SQL中多行变一行,一行变多行的操作(对字符串的拼接和分隔操作)
代码环境:SPARK SQL多行变一行:根据name分组,对数值型字段聚合取最大,对ID使用逗号进行拼接聚合。原始数据:代码:--spark sql 多行变一行WITH TMP(SELECT '11' ID,'TOP1' NAME,0.1 RATE1,0.2 RATE2 UNION ALLSELECT '12' ID,'TOP1' NAME,0.1 RATE1,0.2 RATE2 UNION ALLSELECT '13' ID,'TOP2' NAME,0.2 RATE.原创 2021-09-18 17:53:17 · 3716 阅读 · 0 评论 -
Sqoop-1.4.6安装部署
部署的前提是已经存在HADOOP、HBASE、HIVE、ZOOKEEPER环境(1)下载地址:sqoop-1.4.6解压到/home/sqoop/sqoop1.4(2)、配置环境变量在:/etc/profiles 文件中添加下面内容#sqoop export SQOOP_HOME=/home/sqoop/sqoop1.4export PATH=$PATH:$SQOOP_HOME/bin(3)、修改...原创 2018-03-31 09:16:14 · 324 阅读 · 0 评论 -
hadoop2.6.0环境搭建
准备: 三台服务器,可用虚拟软件见3个虚拟机。 内网路由 平常的tp-link就可以--1、 创建hadoop 用户useradd hadooppasswd hadoop--2、配置hosts (3个机器都操作)只要是互通的内网及可,ip更具自己情况设定vi /etc/hosts192.168.2.11 hw001192.168.2.12 hw002192.168.2....原创 2018-03-31 22:28:47 · 351 阅读 · 0 评论