- 博客(3)
- 收藏
- 关注
RSS订阅原创 HQL蚂蚁森林七天内连续三天的解题思路及方法
3.建表 create table user_low_carbon(user_id string,data_dt string,low_carbon int) row format delimited fields terminated by '\t'; create table plant_carbon(plant_id string,plant_bane string,low_carbon int)row format delimited fields terminated by '\t';.
2022-03-13 20:54:45
288
原创 Hive的企业级调优
一.Fetch抓取：Fetch抓取是指在我们执行一部分的查询语句时，我们可以不通过MR，比如当我们select * from student时，我们可以去到表的数据位置，直接读取数据用来提高效率在我们开启Fetch后，全局查找，字段查找，limit查找默认都不走MR。二.本地模式我们可以设置hive.exec.mode.loacl.auto为true，来帮助我们在适当的时候开启本地模式提高运行效率，因为当我们的数据量比较小时，占用了大量时间的是申请资源时间，使用本地模式可以提高效率set hive
2022-03-13 20:52:30
125
原创 大数据框架安装及配置
所有脚本和配置文件内容查看请点击0.JDK1.解压文件 1.1可以写一个分发脚本xsync.sh方便分发配置文件和项目框架 1.2配置SSH免密，方便文件的传输2.在/etc/profile.d/my_env.sh 文件中编写环境变量（如果没有，就创建）3.使环境变量生效source /etc/profile1.Hadoop1.解压Hadoop压缩包到/opt/module目录下 2.配置环境变量，分发环境变量3.编写配置文件hdfs-site.xml，core-site.xml，ya
2022-03-13 20:49:30
3677
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人