spark
文章平均质量分 75
Fouradam
这个作者很懒,什么都没留下…
展开
-
一次由datagrip连hive的引发采坑之旅
最近tidb搞得比较多,这块都有点忘了。。。 1 datagrip 连 hive 1.1 保证hive启动了hiveserver2 nohup hive --service hiveserver2 & 1.2 datagrip配置 跟hive配置文件一致就可以,不过注意用户名密码要用平时操作hadoop的用户名。 本来还想去mysql查下hive的user表,看看用哪个user。 后来发现hive和hadoop一样,都是没有用户管理的,用的就是linux系统的user。 所以要用操作hadoop的原创 2021-07-11 00:03:15 · 1144 阅读 · 3 评论 -
《spark设计与实现》(许利杰)--读书笔记
除了主要介绍spark,还有一些跟mapreduce对比的内容。 1 大数据处理框架概览 1.1 大数据处理框架的四层结构 1.1.1 用户层:数据输入、用户代码、配置参数 生成应用提交给计算框架 mr:driver负责设定输入输出数据类型,提交作业 spark:driver能产生数据、广播给task,收集task数据,在driver内计算结果等。 1.1.2 分布式数据并行处理层 把应用转化成计算任务,再分布式执行。 mr:map-shuffle-reduce 将分块数据进行map(),结果写入buff原创 2020-09-09 20:59:44 · 2326 阅读 · 2 评论