pyspark
pyspark
宸兹
这个作者很懒,什么都没留下…
展开
-
pyspark训练模型demo(一)
pyspark训练模型demo 第一章:分类模型 文章目录pyspark训练模型demo一、逻辑回归模型 一、逻辑回归模型 第一步:通过pandas、createDataFrame创造模型原始数据: # spark version 3.0.1 from pyspark.ml.classification import LogisticRegression import pandas as pd # 模型数据 pandas_df = pd.DataFrame({ 'a': [1,1,0,1,原创 2021-12-08 00:50:12 · 1289 阅读 · 0 评论 -
【MLlib: Main Guide】Basic statistics
学习目标: 学习MLlib: Main Guide的Basic statistics。 学习内容: Basic statistics的主要内容: 1、Correlation 2、Hypothesis testing——ChiSquareTest 3、Summarizer Correlation Correlation:计算两个序列之间的相关性是统计学中的常见操作。在spark.ml模块中也提供了多个序列间的成对相关性的计算。目前支持计算Pearson相关性和Spearman相关性。 Hypot原创 2021-11-29 22:16:24 · 1555 阅读 · 0 评论