![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 63
似渊※
这个作者很懒,什么都没留下…
展开
-
spark笔记
spark1.1 为什么是spark为分布式数据集的处理提供了一个有效框架,并以高效的方式处理分布式数据集。Spark集批处理、实时流处理、交互式查询、机器学习与图计算于一体,避免了多种运算场景下需要部署不同集群带来的资源浪费。Spark实现了一种分布式的内存抽象,称为弹性分布式数据集(Resilient Distributed Dataset,RDD )。它支持基于工作集的应用,同时具有数据流模型的特点:自动容错、位置感知性调度和可伸缩(RDD允许用户在执行多个查询时显式地将工作集缓存在内存中,原创 2021-07-02 16:57:44 · 208 阅读 · 0 评论 -
修改HIVE删表就卡顿的问题
修改HIVE删表就卡顿的问题前一段时间,在好不容易安装好hive时之后遇到了新的问题,就是hive表删除卡顿的情况。创建数据库没问题,创建表没问题,插入没问题,最多时间延长一些,但是一删表,就跟打嗝打到一半卡喉咙一样,就卡死到哪里,一动不动,坚持了几分钟,就像下图:上网查资料,终于明白事情真相,MySQL的编码出现了问题,自己安装的mysql,字符集都改成了utf-8,如果要解决的话,需要都改成latin1首先找到mysql安装目录下的my.cny文件,我的是在根目录下usr下面,找到之后vim原创 2021-05-17 16:09:16 · 904 阅读 · 0 评论 -
编辑hdfs-site.xml时,配置namenode和datanade细节
1、集群中有两个namenode2、两个namenode是通过Journal Node节点连接,namenode2是通过Journal Node集群里的指定位置上获取信息,才达到热备效果3、使用隔离机制需要ssh免密登录4、如果不配置namenode和datanode存放元数据的目录,则默认放到临时目录下,一般为hadoop.tmp.dir...原创 2020-11-26 14:32:39 · 514 阅读 · 0 评论