18、使用reduce进行时间累加

目标

一个包含多个列表项的无序列表元素,每一个列表项均添加了data-time属性,该属性用表示了时间。要求将所有的时间累加在一起,并用时:分:秒来表示计算的结果。

代码

<!DOCTYPE html>
<html lang="en">

<head>
  <meta charset="UTF-8">
  <title>Videos</title>
</head>

<body>
  <div id="totaltime"></div>
  <ul class="videos">
    <li data-time="5:43">
      Video 1
    </li>
    <li data-time="2:33">
      Video 2
    </li>
    <li data-time="3:45">
      Video 3
    </li>
    <li data-time="0:47">
      Video 4
    </li>
    <li data-time="5:21">
      Video 5
    </li>
    <li data-time="6:56">
      Video 6
    </li>
    <li data-time="3:46">
      Video 7
    </li>
    <li data-time="5:25">
      Video 8
    </li>
    <li data-time="3:14">
      Video 9
    </li>
    <li data-time="3:31">
      Video 10
    </li>
    <li data-time="5:59">
      Video 11
    </li>
    <li data-time="3:07">
      Video 12
    </li>
    <li data-time="11:29">
      Video 13
    </li>
    <li data-time="8:57">
      Video 14
    </li>
    <li data-time="5:49">
      Video 15
    </li>
    <li data-time="5:52">
      Video 16
    </li>
    <li data-time="5:50">
      Video 17
    </li>
    <li data-time="9:13">
      Video 18
    </li>
    <li data-time="11:51">
      Video 19
    </li>
    <li data-time="7:58">
      Video 20
    </li>
    <li data-time="4:40">
      Video 21
    </li>
    <li data-time="4:45">
      Video 22
    </li>
    <li data-time="6:46">
      Video 23
    </li>
    <li data-time="7:24">
      Video 24
    </li>
    <li data-time="7:12">
      Video 25
    </li>
    <li data-time="5:23">
      Video 26
    </li>
    <li data-time="3:34">
      Video 27
    </li>
    <li data-time="8:22">
      Video 28
    </li>
    <li data-time="5:17">
      Video 29
    </li>
    <li data-time="3:10">
      Video 30
    </li>
    <li data-time="4:43">
      Video 31
    </li>
    <li data-time="19:43">
      Video 32
    </li>
    <li data-time="0:47">
      Video 33
    </li>
    <li data-time="0:47">
      Video 34
    </li>
    <li data-time="3:14">
      Video 35
    </li>
    <li data-time="3:59">
      Video 36
    </li>
    <li data-time="2:43">
      Video 37
    </li>
    <li data-time="4:17">
      Video 38
    </li>
    <li data-time="6:56">
      Video 39
    </li>
    <li data-time="3:05">
      Video 40
    </li>
    <li data-time="2:06">
      Video 41
    </li>
    <li data-time="1:59">
      Video 42
    </li>
    <li data-time="1:49">
      Video 43
    </li>
    <li data-time="3:36">
      Video 44
    </li>
    <li data-time="7:10">
      Video 45
    </li>
    <li data-time="3:44">
      Video 46
    </li>
    <li data-time="3:44">
      Video 47
    </li>
    <li data-time="4:36">
      Video 48
    </li>
    <li data-time="3:16">
      Video 49
    </li>
    <li data-time="1:10">
      Video 50
    </li>
    <li data-time="6:10">
      Video 51
    </li>
    <li data-time="2:14">
      Video 52
    </li>
    <li data-time="3:44">
      Video 53
    </li>
    <li data-time="5:05">
      Video 54
    </li>
    <li data-time="6:03">
      Video 55
    </li>
    <li data-time="12:39">
      Video 56
    </li>
    <li data-time="1:56">
      Video 57
    </li>
    <li data-time="4:04">
      Video 58
    </li>
  </ul>
 
  <script>
    var oLi = document.getElementsByTagName('li');
    var sum = Array.from(oLi).map(element => {
      var timeItem = element.dataset['time'].split(':');
      return parseInt(timeItem[0],10)*60+parseInt(timeItem[1],10);
    }).reduce(function (a, b) {
      return a + b;
    }, 0);
    let time  = new Date(sum*1000);
    // getHours() 方法根据本地时间,返回一个指定的日期对象的小时,这里自动加上了东八区的8个小时,故减去
    document.querySelector('#totaltime').innerHTML = `${time.getHours()-8}小时${time.getMinutes()}${time.getSeconds()}秒`;

  </script>
</body>

</html>
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,您的问题是如何在 spark-shell 中进行 SVD 分解、降维并进行商品推荐。下面是具体的实现步骤: 1. 加载数据集 首先,您需要加载包含用户购买记录的数据集。假设数据集中的每行表示一个用户和一个商品之间的购买记录,格式为:userID, itemID, rating。 您可以使用以下代码将数据集加载到 Spark 中: ``` val data = sc.textFile("path/to/dataset").map(line => { val fields = line.split(",") (fields(0).toInt, fields(1).toInt, fields(2).toDouble) }) ``` 其中,`sc` 是 SparkContext 的实例,`path/to/dataset` 是数据集文件的路径。 2. 对用户-商品矩阵进行 SVD 分解 接下来,您需要对用户-商品矩阵进行 SVD 分解。这里使用 Spark MLlib 中的 `ALS` 算法,它可以自动将用户-商品矩阵分解为三个矩阵:用户特征矩阵、商品特征矩阵和奇异值矩阵。 以下是对数据进行 SVD 分解的代码: ``` import org.apache.spark.ml.recommendation.ALS val rank = 5 val numIterations = 10 val als = new ALS() .setRank(rank) .setMaxIter(numIterations) .setRegParam(0.01) .setUserCol("user") .setItemCol("item") .setRatingCol("rating") val model = als.fit(data.toDF("user", "item", "rating")) val userFeatures = model.userFactors val itemFeatures = model.itemFactors ``` 其中,`rank` 是分解后的矩阵的秩(即保留的主题个数),`numIterations` 是 ALS 算法迭代的次数,`regParam` 是正则化参数,`user`、`item` 和 `rating` 分别是数据集中用户 ID、商品 ID 和评分的列名。 3. 对商品特征矩阵进行降维 接下来,您需要对商品特征矩阵进行降维,只保留前 5 个奇异值信息。这里使用 Spark MLlib 中的 `PCA` 算法,它可以对矩阵进行主成分分析并进行降维。 以下是对商品特征矩阵进行降维的代码: ``` import org.apache.spark.ml.feature.PCA val numComponents = 5 val pca = new PCA() .setInputCol("features") .setOutputCol("pcaFeatures") .setK(numComponents) val pcaModel = pca.fit(itemFeatures) val pcaFeatures = pcaModel.transform(itemFeatures) ``` 其中,`numComponents` 是保留的主成分个数,`features` 是商品特征矩阵的列名,`pcaFeatures` 是降维后的商品特征矩阵的列名。 4. 计算余弦相似度并进行推荐 最后,您需要使用降维后的商品特征矩阵计算用户购买商品与未购买商品之间的余弦相似度,并进行推荐。 以下是计算余弦相似度并进行推荐的代码: ``` import org.apache.spark.ml.feature.{VectorAssembler, Normalizer} val userItems = data.map { case(user, item, rating) => (user, item) }.distinct() val userItemFeatures = userItems.join(userFeatures, Seq("user")).join(pcaFeatures, Seq("item")) val assembler = new VectorAssembler() .setInputCols(Array("pcaFeatures")) .setOutputCol("features") val normalizer = new Normalizer() .setInputCol("features") .setOutputCol("normFeatures") val userItemNormFeatures = normalizer.transform(assembler.transform(userItemFeatures)) val userItemNormFeaturesBroadcast = sc.broadcast(userItemNormFeatures.collect()) val userRecommendations = userItemNormFeatures.map { case(userItem, features) => val userItemBroadcast = userItemNormFeaturesBroadcast.value.filter(_ != userItem) val similarities = userItemBroadcast.map { case(userItem2, features2) => val cosSim = features.dot(features2) (userItem2.getAs[Int]("item"), cosSim) } val topItems = similarities.sortBy(-_._2).take(5) (userItem.getAs[Int]("user"), topItems) }.reduceByKey(_ ++ _) val userTopItems = userRecommendations.map { case(user, items) => val itemsMap = items.toMap val userItems = userItems.filter(_._1 == user).map(_._2).toSet val nonUserItems = itemFeatures.filter(!userItems.contains(_.getAs[Int]("item"))).map { item => val itemID = item.getAs[Int]("item") val features = item.getAs[org.apache.spark.ml.linalg.DenseVector]("features") val cosSim = userItems.map { userItem => val itemFeatures = pcaFeatures.filter(s"item=${userItem}").select("features").head.getAs[org.apache.spark.ml.linalg.DenseVector](0) features.dot(itemFeatures) }.sum / userItems.size (itemID, cosSim) } val topItems = (items ++ nonUserItems).groupBy(_._1).mapValues(_.map(_._2).sum).toArray.sortBy(-_._2).take(5).map(_._1) (user, topItems) } userTopItems.foreach(println) ``` 其中,`userItems` 是数据集中的用户-商品记录,`userItemFeatures` 是用户-商品特征矩阵,`pcaFeatures` 是降维后的商品特征矩阵,`assembler` 和 `normalizer` 是用于将特征矩阵转换为向量并进行归一化的工具,`userItemNormFeaturesBroadcast` 是广播变量,用于将用户-商品特征矩阵广播到所有节点上,`userRecommendations` 是用户推荐列表,`userTopItems` 是最终的推荐结果。 注意,这里的推荐算法是基于余弦相似度的,它的计算复杂度较高,可能需要一定的计算资源和时间。如果数据集较大,可以考虑使用其他的推荐算法,例如基于矩阵分解的协同过滤算法。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值