惜于情-CSDN博客

原创算法应用-逻辑回归的使用

实验名称算法应用-逻辑回归的使用实验目的掌握Pipeline、逻辑回归的用法实验原理（1）Pipeline：将Pipeline多个Transformers和Estimators 链在一起以指定ML工作流程。（2）逻辑回归：在线性回归增加了一个函数g(z)，能够把连续值映射到几个离散的数据，如：0、1等。实验环境VMware WorkstationUbuntu 16.04PycharmPyspark实验步骤from pyspark.ml import Pipelinefr

2021-06-04 22:01:26 197 1

原创算法-K-Means的使用

实验名称算法-K-Means的使用实验目的掌握K-Means的用法实验原理（1）K-Means选择K个点作为初始质心repeat将每个点指派到最近的质心，形成K个簇重新计算每个簇的质心until 簇不发生变化或达到最大迭代次数。实验环境VMware WorkstationUbuntu 16.04PycharmPyspark实验步骤from pyspark.ml.clustering import KMeansfrom pyspark.ml.evaluation

2021-06-04 21:56:16 220

原创基于MLlib的商品推荐

实验名称基于MLlib的商品推荐实验目的掌握基于Spark MLLib的协同过滤：基于用户（User-Based）的协同过滤基于物品（Item-Based）的协同过滤基于ALS协同过滤实验环境VMware WorkstationUbuntu 16.04PycharmPyspark实验步骤#-*-coding:utf-8from pyspark import SparkContextfrom pyspark.mllib.recommendation import A

2021-06-04 21:54:26 114

原创基于MLlib的电影推荐

实验名称基于MLlib的电影推荐实验目的掌握基于Spark MLLib的协同过滤：基于用户（User-Based）的协同过滤基于物品（Item-Based）的协同过滤基于ALS协同过滤实验原理（1）基于用户的CF（User CF）基于用户的 CF 的基本思想相当简单，基于用户对物品的偏好找到相邻邻居用户，然后将邻居用户喜欢的推荐给当前用户。计算上，就是将一个用户对所有物品的偏好作为一个向量来计算用户之间的相似度，找到 K 邻居后，根据邻居的相似度权重以及他们对物品的偏好，预测当前用户没

2021-06-04 21:53:12 248

原创基本概念-本地向量、转换器、评估器、参数

实验名称基本概念-本地向量、转换器、评估器、参数实验目的理解本地向量、转换器、评估器、参数实验原理（1）本地向量：Mllib支持两种类型的本地向量:密集向量(dense)和稀疏向量(sparse)。密集向量只有一个浮点数组组成，而一个稀疏向量必须有索引和一个浮点向量组成。例如，(2.1,3.2,4.3)代表一个密集向量。(3，[1.1,2.3],[5.6,4.3,4.4])代表一个稀疏向量。（2）Transformer：翻译成转换器，是一种可以将一个DataFrame转换为另一个DataFr

2021-06-04 21:44:30 309

原创 2021-06-04

实验名称基于GraphFrames的网页排名实验目的掌握PageRank算法实验环境VMware WorkstationUbuntu 16.04PycharmPyspark实验步骤使用斯坦福大学复杂网络分析平台（SNAP,Stanford Network Analysis Project）提供的数据为基础，使用GraphFrames作为图计算库，对网页进行排名。数据以边的形式存储，边515039个。我们这里只用了1万条边的数据。1、导入包，并加载边的数据，获得边的DataFr

2021-06-04 21:42:07 436

原创 Spark Graph实现的算法

实验名称Spark GraphX实现的算法实验目的理解Spark GraphX实现的算法实验环境VMware WorkstationUbuntu 16.04PycharmPyspark实验步骤1、bfs广度优先搜索（返回所有匹配路径的最小路径，若起点满足终止条件则返回路径为空）该算法的API如下：bfs(fromExpr, toExpr, edgeFilter=None, maxPathLength=10)其中参数fromExpr表示Spark SQL表达式，指定搜索起点

2021-06-04 21:36:36 629

原创 Spark GraphX的基本操作

实验名称Spark GraphX的基本操作实验目的掌握Spark GraphX的基本操作实验环境VMware WorkstationUbuntu 16.04PycharmPyspark实验步骤1、启动pyspark交互命令行，同时需要指定graphframes图计算库出现以下界面，启动成功：2、创建图名为graph的图创建成功。3、视图查看GraphFrame提供四种视图：顶点表视图、边表视图、三元组(Triplet)视图以及模式(Pattern)视图，四个视图返

2021-06-04 21:15:00 646

原创大数据应用技术（Spark）中级

大数据应用技术（Spark）中级考前辅导一、Spark MLib1、常见的机器学习流程2、机器学习的分类[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2tNxeVy7-1622809455073)(pic\1597204435670.png)]sklearn是机器学习中最常见的一个第三方模块，里边封装了大量特征处理的方法。3、监督学习的分类[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fz

2021-06-04 20:57:32 792

原创 Fragment中使用广播创建音乐盒子

Fragment中使用广播创建音乐盒子一、内容简介今天需要实现的是在Fragment中使用广播创建音乐盒子，在我们点击播放一首歌曲的时候，要从服务器拿数据，然后播放，这其实不止一个流程，可以理解为多线程的，普通的顺序过程实现效果不好。所以我们专门做一个activity来控制音乐的播放，音乐盒界面只实现用户点击动作。以下是通过广播创建音乐盒子的流程图。MainActivity 发送广播，把在 main.xml 上4个按钮的对应的 control 发送出去， MusicService 接收到 MainA

2020-11-13 00:04:11 316

原创 recycleview设计

recycleview设计一、实验内容在一个由Fragment构成的table里添加recycleview显示二、实现步骤1.在选择的 Fragment的布局文件中添加RecyclerView控件<androidx.recyclerview.widget.RecyclerView android:id="@+id/my_recycler_view" android:layout_width="match_parent" android:lay

2020-11-03 01:26:33 166

原创类微信界面设计

类微信界面设计一、实验目标：页面具有标题页面具有中间显示框页面具有底部选择框，并且具有选择事件页面底部选择框在进行改变的时候，我们需要中间显示框的页面同步改变页面的布局清晰二、实验步骤(1)页面布局先设计页面顶部的标题部分top，然后设计底部按钮部分bottom。使用include，在中间部分加入一个framlayout作为显示区域，1.设计顶部top使用linerlayout和textview进行简单的标题设计2.设计底部bottom主要使用linerlayout，textv

2020-10-15 13:29:14 347

qq_45721573的博客