- 博客(4)
- 资源 (3)
- 收藏
- 关注
转载 如何查出同一张表中字段值重复的记录
如何查出同一张表中字段值重复的记录MYSQL查询重复记录的方法很多,下面就为您介绍几种最常用的MYSQL查询重复记录的方法,希望对您学习MYSQL查询重复记录方面能有所帮助。1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断 select * from peoplewhere peopleId in (select peopleId from peopl...
2018-09-04 10:47:41 5883
原创 HDFS的NameNode功能
NameNode主要功能:1、NameNode主要功能:接受客户端的读写服务2、NameNode保存metadata信息: - 文件owership和permissions - 文件包含哪些块 - Block保存在那个DataNode上(DameNode启动的时候主动把block汇报给NameNode)。3、NameNode的metadata信...
2018-08-15 16:03:36 13054
转载 spark核心编程原理
1、首先我们搭建好了spark集群2、客户端与spark集群建立连接,之后才能提交spark应用程序3、spark提交应用程序到spark集群上4、Spark与MapReduce最大的不同在于,迭代式计算模型:MapReduce,分为两个阶段,map和reduce,两个阶段完了,就结束了。所以我们在一个job里能做的处理很有限,只能在map和reduce里处理。Spark,计算模型...
2018-08-13 09:34:10 1311
转载 RDD基本特性
RDD及其特点1、RDD是Spark提供的核心抽象,全称为Resillient Distributed Dataset,即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数据可以被并行操作。(分布式数据集)3、RDD通常通过Hadoop上的文件,即HDFS文件或者Hive表,来进行创建;有时也...
2018-08-13 09:33:55 2827
idea 设置快捷键的 settings.jar
2019-05-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人