![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 92
犇犇.
不确定性才是这世间一切的王道
展开
-
大数据集群搭建篇:Hadoop、Spark、ZooKeeper、kafka集群搭建
一、创建虚拟机安装CentOS1.1、安装CentOS1、使用课程提供的CentOS 6.5镜像即可,CentOS-6.5-i386-minimal.iso。2、创建虚拟机:打开Virtual Box,点击“新建”按钮,点击“下一步”,输入虚拟机名称为spark1,选择操作系统为Linux,选择版本为Red Hat,分配1024MB内存,后面的选项全部用默认,在Virtual Disk File location and size中,一定要自己选择一个目录来存放虚拟机文件,最后点击“create”按钮原创 2020-06-07 15:05:11 · 1107 阅读 · 0 评论 -
大数据hadoop操作命令
start-dfs.sh 开启hadoophadoop dfs -ls / 查看跟目录所有文件(/接目录名及查看该目录下文件)hadoop dfs -put 本地文件/hadoop目录hadoop dfs -mkdir /目录名 创建目录hadoop fs -rm -r -skipTrash /MBA/transactionsMBA.txt 删除transactionsMB...原创 2019-06-14 21:55:47 · 180 阅读 · 0 评论 -
大数据Spark处理算法004-查找共同好友
package cn.spark.study.core;import java.util.ArrayList;import java.util.Arrays;import java.util.HashMap;import java.util.HashSet;import java.util.List;import java.util.Map;import java.util.Map...原创 2019-06-26 19:48:12 · 332 阅读 · 0 评论 -
大数据Spark处理算法001-Top10
目的:找出Top10喵星人处理思路:1.初始化创建Spark Masater的连接。2.创建JavaRDD(lines)从HDFS(Hadoop分布式文件系统)读取一个txt文件,本例使用的文件为Top10.txt。3.用lines创建JavaPairRDD4.创建一个本地Top10数据5.收集所有的本地top10并创建最终的top10列表步骤1:初始化创建Spar...原创 2019-06-01 17:03:14 · 835 阅读 · 0 评论 -
大数据Spark处理算法002-TopN
package cn.spark.study.core;import java.io.Serializable;import java.util.Collections;import java.util.Comparator;import java.util.Iterator;import java.util.List;import java.util.Map;import jav...原创 2019-06-13 21:10:03 · 195 阅读 · 0 评论 -
大数据Spark处理算法009-找出三角形
package cn.spark.study.core;import java.util.ArrayList;import java.util.Arrays;import java.util.Collections;import java.util.List;import org.apache.spark.SparkConf;import org.apache.spark.ap...原创 2019-07-14 10:03:28 · 432 阅读 · 0 评论 -
大数据Spark处理算法010-K-mer计数
package cn.spark.study.core;import java.io.Serializable;import java.util.ArrayList;import java.util.Collections;import java.util.Comparator;import java.util.Iterator;import java.util.List;imp...原创 2019-07-14 14:34:45 · 761 阅读 · 0 评论 -
大数据Spark处理算法006-基于内容的电影推荐
package cn.spark.study.core;import java.util.ArrayList;import java.util.List;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.Java...原创 2019-06-29 19:03:13 · 436 阅读 · 0 评论 -
大数据Spark处理算法005-查找共同好友
package cn.spark.study.core;import java.util.ArrayList;import java.util.Arrays;import java.util.HashMap;import java.util.List;import java.util.Map;import org.apache.spark.SparkConf;import org...原创 2019-06-28 20:58:19 · 292 阅读 · 0 评论 -
大数据Spark处理算法003-购物篮分析(MBA)
一前言目的:设定一个买东西的应用场景计算出如果购买了商品A,则购买商品B,的概率。A与B指一个或几个商品。首先介绍俩个概念:支持度(Support):是指一个项集出现频度。如Support({A,C}) = 2表示只在两次交易中商品A和C在一起出现。置信度(Confidence):关联规则左件和右件共同出现的频繁程度。Support = ({A1,A2})/ 包含项目A1...原创 2019-06-23 15:49:29 · 667 阅读 · 0 评论 -
大数据Spark处理算法008-KNN
package cn.spark.study.core;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.SortedMap;import java.util.TreeMap;import org.apac...原创 2019-07-02 20:25:29 · 308 阅读 · 0 评论