【pyspark速成专家】8_SparkSQL编程2

最新推荐文章于 2024-06-14 15:00:00 发布
最新推荐文章于 2024-06-14 15:00:00 发布
阅读量410 收藏 9
点赞数 16
分类专栏： pyspark 文章标签： 深度学习 神经网络 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32146369/article/details/138396053
版权

目录

​编辑

三，DataFrame保存成文件

四，DataFrame的API交互

五，DataFrame的SQL交互

三，DataFrame保存成文件

可以保存成csv文件，json文件，parquet文件或者保存成hive数据表

#保存成csv文件
df = spark.read.format("json").load("data/people.json")
df.write.format("csv").option("header","true").save("data/people_write.csv")

#先转换成rdd再保存成txt文件
df.rdd.saveAsTextFile("data/people_rdd.txt")

#保存成json文件
df.write.json("data/people_write.json")

#保存成parquet文件, 压缩格式, 占用存储小, 且是spark内存中存储格式，加载最快
df.write.partitionBy("age").format("parquet").save("data/namesAndAges.parquet")
df.write.parquet("data/people_write.parquet")

#保存成hive数据表
df.write.bucketBy(42, "name").sortBy("age").saveAsTable("people_bucketed")

四，DataFrame的API交互

from pyspark.sql import Row
from pyspark.sql.functions import * 

df = spark.createDataFrame(
    [("LiLei",15,"male"),
     ("HanMeiMei",16,"female"),
     ("DaChui",17,"male")]).toDF("name","age","gender")

df.show()
df.printSchema()

+---------+---+------+
|     name|age|gender|
+---------+---+------+
|    LiLei| 15|  male|
|HanMeiMei| 16|female|
|   DaChui| 17|  male|
+---------+---+------+

root
 |-- name: string (nullable = true)
 |-- age: long (nullable = true)
 |-- gender: string (nullable = true)

1，Action操作

DataFrame的Action操作包括show,count,collect,,describe,take,head,first等操作。

#show
df.show()

+---------+---+------+
|     name|age|gender|
+---------+---+------+
|    LiLei| 15|  male|
|HanMeiMei| 16|female|
|   DaChui| 17|  male|
+---------+---+------+

#show(numRows: Int, truncate: Boolean) 
#第二个参数设置是否当输出字段长度超过20时进行截取
df.show(2,False) 

+---------+---+------+
|name     |age|gender|
+---------+---+------+
|LiLei    |15 |male  |
|HanMeiMei|16 |female|
+---------+---+------+
only showing top 2 rows

#count
df.count()

3

#collect
df.collect()

[Row(name='LiLei', age=15, gender='male'),
 Row(name='HanMeiMei', age=16, gender='female'),
 Row(name='DaChui', age=17, gender='male')]

#first
df.first()

Row(name='LiLei', age=15, gender='male')

#take
df.take(2)

[Row(name='LiLei', age=15, gender='male'),
 Row(name='HanMeiMei', age=16, gender='female')]

#head
df.head(2)

[Row(name='LiLei', age=15, gender='male'),
 Row(name='HanMeiMei', age=16, gender='female')]

2，类RDD操作

DataFrame支持RDD中一些诸如distinct,cache,sample,foreach,intersect,except等操作。

可以把DataFrame当做数据类型为Row的RDD来进行操作，必要时可以将其转换成RDD来操作。

df = spark.createDataFrame([("Hello World",),("Hello China",),("Hello Spark",)]).toDF("value")
df.show()

+-----------+
|      value|
+-----------+
|Hello World|
|Hello China|
|Hello Spark|
+-----------+

#map操作，需要先转换成rdd
rdd = df.rdd.map(lambda x:Row(x[0].upper()))
dfmap = rdd.toDF(["value"]).show()

+-----------+
|      value|
+-----------+
|HELLO WORLD|
|HELLO CHINA|
|HELLO SPARK|
+-----------+

#flatMap，需要先转换成rdd
df_flat = df.rdd.flatMap(lambda x:x[0].split(" ")).map(lambda x:Row(x)).toDF(["value"])
df_flat.show()

+-----+
|value|
+-----+
|Hello|
|World|
|Hello|
|China|
|Hello|
|Spark|
+-----+

#filter过滤
df_filter = df.rdd.filter(lambda s:s[0].endswith("Spark")).toDF(["value"])

df_filter.show()

+-----------+
|      value|
+-----------+
|Hello Spark|
+-----------+

# filter和broadcast混合使用
broads = sc.broadcast(["Hello","World"])

df_filter_broad = df_flat.filter(~col("value").isin(broads.value))

df_filter_broad.show() 

+-----+
|value|
+-----+
|China|
|Spark|
+-----+

#distinct
df_distinct = df_flat.distinct()
df_distinct.show() 

+-----+
|value|
+-----+
|World|
|China|
|Hello|
|Spark|
+-----+

#cache缓存
df.cache()
df.unpersist()

#sample抽样
dfsample = df.sample(False,0.6,0)

dfsample.show()  

+-----------+
|      value|
+-----------+
|Hello China|
|Hello Spark|
+-----------+

df2 = spark.createDataFrame([["Hello World"],["Hello Scala"],["Hello Spark"]]).toDF("value")
df2.show()

+-----------+
|      value|
+-----------+
|Hello World|
|Hello Scala|
|Hello Spark|
+-----------+

#intersect交集
dfintersect = df.intersect(df2)

dfintersect.show()

+-----------+
|      value|
+-----------+
|Hello Spark|
|Hello World|
+-----------+

#exceptAll补集

dfexcept = df.exceptAll(df2)
dfexcept.show()

+-----------+
|      value|
+-----------+
|Hello China|
+-----------+

3，类Excel操作

可以对DataFrame进行增加列，删除列，重命名列，排序等操作，去除重复行，去除空行，就跟操作Excel表格一样。

df = spark.createDataFrame([
("LiLei",15,"male"),
("HanMeiMei",16,"female"),
("DaChui",17,"male"),
("RuHua",16,None)
]).toDF("name","age","gender")

df.show()
df.printSchema()

+---------+---+------+
|     name|age|gender|
+---------+---+------+
|    LiLei| 15|  male|
|HanMeiMei| 16|female|
|   DaChui| 17|  male|
|    RuHua| 16|  null|
+---------+---+------+

root
 |-- name: string (nullable = true)
 |-- age: long (nullable = true)
 |-- gender: string (nullable = true)

#增加列
dfnew = df.withColumn("birthyear",-df["age"]+2020)

dfnew.show() 

+---------+---+------+---------+
|     name|age|gender|birthyear|
+---------+---+------+---------+
|    LiLei| 15|  male|     2005|
|HanMeiMei| 16|female|     2004|
|   DaChui| 17|  male|     2003|
|    RuHua| 16|  null|     2004|
+---------+---+------+---------+

#置换列的顺序
dfupdate = dfnew.select("name","age","birthyear","gender")
dfupdate.show()
#删除列
dfdrop = df.drop("gender")
dfdrop.show() 

+---------+---+
|     name|age|
+---------+---+
|    LiLei| 15|
|HanMeiMei| 16|
|   DaChui| 17|
|    RuHua| 16|
+---------+---+

#重命名列
dfrename = df.withColumnRenamed("gender","sex")
dfrename.show() 


+---------+---+------+
|     name|age|   sex|
+---------+---+------+
|    LiLei| 15|  male|
|HanMeiMei| 16|female|
|   DaChui| 17|  male|
|    RuHua| 16|  null|
+---------+---+------+

#排序sort，可以指定升序降序
dfsorted = df.sort(df["age"].desc())
dfsorted.show()

+---------+---+------+
|     name|age|gender|
+---------+---+------+
|   DaChui| 17|  male|
|    RuHua| 16|  null|
|HanMeiMei| 16|female|
|    LiLei| 15|  male|
+---------+---+------+

#排序orderby,默认为升序,可以根据多个字段
dfordered = df.orderBy(df["age"].desc(),df["gender"].desc())

dfordered.show()

+---------+---+------+
|     name|age|gender|
+---------+---+------+
|   DaChui| 17|  male|
|HanMeiMei| 16|female|
|    RuHua| 16|  null|
|    LiLei| 15|  male|
+---------+---+------+

#去除nan值行
dfnotnan = df.na.drop()

dfnotnan.show()

+---------+---+------+
|     name|age|gender|
+---------+---+------+
|    LiLei| 15|  male|
|HanMeiMei| 16|female|
|   DaChui| 17|  male|
+---------+---+------+

#填充nan值
df_fill = df.na.fill("female")
df_fill.show()

+---------+---+------+
|     name|age|gender|
+---------+---+------+
|    LiLei| 15|  male|
|HanMeiMei| 16|female|
|   DaChui| 17|  male|
|    RuHua| 16|female|
+---------+---+------+

#替换某些值
df_replace = df.na.replace({"":"female","RuHua":"SiYu"})
df_replace.show()

+---------+---+------+
|     name|age|gender|
+---------+---+------+
|    LiLei| 15|  male|
|HanMeiMei| 16|female|
|   DaChui| 17|  male|
|     SiYu| 16|  null|
+---------+---+------+

#去重，默认根据全部字段
df2 = df.unionAll(df)
df2.show()
dfunique = df2.dropDuplicates()
dfunique.show()

+---------+---+------+
|     name|age|gender|
+---------+---+------+
|    LiLei| 15|  male|
|HanMeiMei| 16|female|
|   DaChui| 17|  male|
|    RuHua| 16|  null|
|    LiLei| 15|  male|
|HanMeiMei| 16|female|
|   DaChui| 17|  male|
|    RuHua| 16|  null|
+---------+---+------+

+---------+---+------+
|     name|age|gender|
+---------+---+------+
|    RuHua| 16|  null|
|   DaChui| 17|  male|
|HanMeiMei| 16|female|
|    LiLei| 15|  male|
+---------+---+------+

#去重,根据部分字段
dfunique_part = df.dropDuplicates(["age"])
dfunique_part.show()

+---------+---+------+
|     name|age|gender|
+---------+---+------+
|   DaChui| 17|  male|
|    LiLei| 15|  male|
|HanMeiMei| 16|female|
+---------+---+------+

#简单聚合操作
dfagg = df.agg({"name":"count","age":"max"})

dfagg.show()

+-----------+--------+
|count(name)|max(age)|
+-----------+--------+
|          4|      17|
+-----------+--------+

#汇总信息
df_desc = df.describe()
df_desc.show()

+-------+------+-----------------+------+
|summary|  name|              age|gender|
+-------+------+-----------------+------+
|  count|     4|                4|     3|
|   mean|  null|             16.0|  null|
| stddev|  null|0.816496580927726|  null|
|    min|DaChui|               15|female|
|    max| RuHua|               17|  male|
+-------+------+-----------------+------+

#频率超过0.5的年龄和性别
df_freq = df.stat.freqItems(("age","gender"),0.5)

df_freq.show()

+-------------+----------------+
|age_freqItems|gender_freqItems|
+-------------+----------------+
|         [16]|          [male]|
+-------------+----------------+

4，类SQL表操作

类SQL表操作主要包括表查询(select,selectExpr,where),表连接(join,union,unionAll),表分组(groupby,agg,pivot)等操作。

df = spark.createDataFrame([
("LiLei",15,"male"),
("HanMeiMei",16,"female"),
("DaChui",17,"male"),
("RuHua",16,None)]).toDF("name","age","gender")

df.show()

#表查询select
dftest = df.select("name").limit(2)
dftest.show()

dftest = df.select("name",df["age"] + 1)
dftest.show()

#表查询select
dftest = df.select("name",-df["age"]+2020).toDF("name","birth_year")
dftest.show()

#表查询selectExpr,可以使用UDF函数，指定别名等
import datetime
spark.udf.register("getBirthYear",lambda age:datetime.datetime.now().year-age)
dftest = df.selectExpr("name", "getBirthYear(age) as birth_year" , "UPPER(gender) as gender" )
dftest.show()

#表查询where, 指定SQL中的where字句表达式
dftest = df.where("gender='male' and age>15")
dftest.show()

#表查询filter
dftest = df.filter(df["age"]>16)
dftest.show()

#表查询filter
dftest = df.filter("gender ='male'")
dftest.show()

#表连接join
dfscore = spark.createDataFrame([("LiLei","male",88),("HanMeiMei","female",90),("DaChui","male",50)]) \
          .toDF("name","gender","score") 

dfscore.show()

#表连接join,根据单个字段
dfjoin = df.join(dfscore.select("name","score"),"name")
dfjoin.show()

#表连接join,根据多个字段
dfjoin = df.join(dfscore,["name","gender"])
dfjoin.show()

#表连接join,根据多个字段
#可以指定连接方式为"inner","left","right","outer","semi","full","leftanti","anti"等多种方式
dfjoin = df.join(dfscore,["name","gender"],"right")
dfjoin.show()

dfjoin = df.join(dfscore,["name","gender"],"outer")
dfjoin.show()

#表连接，灵活指定连接关系
dfmark = dfscore.withColumnRenamed("gender","sex")
dfmark.show()

dfjoin = df.join(dfmark,(df["name"] == dfmark["name"]) & (df["gender"]==dfmark["sex"]),
        "inner")
dfjoin.show()

#表合并union
dfstudent = spark.createDataFrame([("Jim",18,"male"),("Lily",16,"female")]).toDF("name","age","gender")
dfstudent.show()

dfunion = df.union(dfstudent)
dfunion.show()

#表分组 groupBy
from pyspark.sql import functions as F 
dfgroup = df.groupBy("gender").max("age")
dfgroup.show()

#表分组后聚合，groupBy,agg
dfagg = df.groupBy("gender").agg(F.mean("age").alias("mean_age"),
   F.collect_list("name").alias("names"))
dfagg.show()

#表分组聚合，groupBy,agg
dfagg = df.groupBy("gender").agg(F.expr("avg(age)"),F.expr("collect_list(name)"))
dfagg.show()

#表分组聚合，groupBy,agg
df.groupBy("gender","age").agg(F.collect_list(col("name"))).show()

#表分组后透视，groupBy,pivot
dfstudent = spark.createDataFrame([("LiLei",18,"male",1),("HanMeiMei",16,"female",1),
                    ("Jim",17,"male",2),("DaChui",20,"male",2)]).toDF("name","age","gender","class")
dfstudent.show()
dfstudent.groupBy("class").pivot("gender").max("age").show()

#窗口函数

df = spark.createDataFrame([("LiLei",78,"class1"),("HanMeiMei",87,"class1"),
                           ("DaChui",65,"class2"),("RuHua",55,"class2")]) \
    .toDF("name","score","class")

df.show()
dforder = df.selectExpr("name","score","class",
         "row_number() over (partition by class order by score desc) as order")

dforder.show()

五，DataFrame的SQL交互

将DataFrame注册为临时表视图或者全局表视图后，可以使用sql语句对DataFrame进行交互。

不仅如此，还可以通过SparkSQL对Hive表直接进行增删改查等操作。

1，注册视图后进行SQL交互

#注册为临时表视图, 其生命周期和SparkSession相关联
df = spark.createDataFrame([("LiLei",18,"male"),("HanMeiMei",17,"female"),("Jim",16,"male")],
                              ("name","age","gender"))

df.show()
df.createOrReplaceTempView("student")
dfmale = spark.sql("select * from student where gender='male'")
dfmale.show()


#注册为全局临时表视图,其生命周期和整个Spark应用程序关联

df.createOrReplaceGlobalTempView("student")
query = """
 select t.gender
 , collect_list(t.name) as names 
 from global_temp.student t 
 group by t.gender
""".strip("\n")

spark.sql(query).show()
#可以在新的Session中访问
spark.newSession().sql("select * from global_temp.student").show()

2，对Hive表进行增删改查操作

#删除hive表

query = "DROP TABLE IF EXISTS students" 
spark.sql(query) 

#建立hive分区表
#(注：不可以使用中文字段作为分区字段)

query = """CREATE TABLE IF NOT EXISTS `students`
(`name` STRING COMMENT '姓名',
`age` INT COMMENT '年龄'
)
PARTITIONED BY ( `class` STRING  COMMENT '班级', `gender` STRING  COMMENT '性别')
""".replace("\n"," ")
spark.sql(query) 

##动态写入数据到hive分区表
spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict") #注意此处有一个设置操作
dfstudents = spark.createDataFrame([("LiLei",18,"class1","male"),
                                    ("HanMeimei",17,"class2","female"),
                                    ("DaChui",19,"class2","male"),
                                    ("Lily",17,"class1","female")]).toDF("name","age","class","gender")
dfstudents.show()

#动态写入分区
dfstudents.write.mode("overwrite").format("hive")\
.partitionBy("class","gender").saveAsTable("students")

#写入到静态分区
dfstudents = spark.createDataFrame([("Jim",18,"class3","male"),
                                    ("Tom",19,"class3","male")]).toDF("name","age","class","gender")
dfstudents.createOrReplaceTempView("dfclass3")

#INSERT INTO 尾部追加, INSERT OVERWRITE TABLE 覆盖分区
query = """
INSERT OVERWRITE TABLE `students`
PARTITION(class='class3',gender='male') 
SELECT name,age from dfclass3
""".replace("\n"," ")
spark.sql(query)

#写入到混合分区
dfstudents = spark.createDataFrame([("David",18,"class4","male"),
                                    ("Amy",17,"class4","female"),
                                    ("Jerry",19,"class4","male"),
                                    ("Ann",17,"class4","female")]).toDF("name","age","class","gender")
dfstudents.createOrReplaceTempView("dfclass4")

query = """
INSERT OVERWRITE TABLE `students`
PARTITION(class='class4',gender) 
SELECT name,age,gender from dfclass4
""".replace("\n"," ")
spark.sql(query)

#读取全部数据

dfdata = spark.sql("select * from students")
dfdata.show()

水木流年追梦
关注
  • 16
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
ggplot2_可视化_速成
weixin_43528109的博客
11-08 3501
作者：Li_Yuhui 四川大学研究生在读 本文是R，ggplot2包学习的笔记，总结了大量优秀前辈的工作，对ggplot2进行结构性总结归纳，能够让新手快速上手，事实上，笔者是将其作为字典用的，忘记了，就翻一翻。 看完本文后，如果还是对ggplot2不清楚，欢迎来打脸。 文章目录作者：Li_Yuhui 四川大学研究生在读本文是R，ggplot2包学习的笔记，总结了大量优秀前辈的工作，对ggplo...
iOS_Apprentice_Swift_4_2_iOS_12_IOS编程初学者速成(带代码).zip
10-18
最新的IOS开发初学者教程，一步步掰着手指头教，带代码，只要一步步按照教程学下来，一定能学会。
【pyspark速成专家】7_SparkSQL编程1
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
05-26 589
本节将介绍SparkSQL编程基本概念和基本用法。不同于RDD编程的命令式编程范式，SparkSQL编程是一种声明式编程范式，我们可以通过SQL语句或者调用DataFrame的相关API描述我们想要实现的操作。然后Spark会将我们的描述进行语法解析，找到相应的执行计划并对其进行流程优化，然后调用相应基础命令进行执行。我们使用pyspark进行RDD编程时，在Excutor上跑的很多时候就是Python代码，当然，少数时候也会跑java字节码。
【pyspark速成专家】9_SparkSQL编程练习题
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
05-27 392
为强化SparkSQL编程基本功，现提供一些小练习题。
【pyspark速成专家】2_Spark的基本原理
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
05-03 1220
不同于MapReduce仅支持Map和Reduce两种编程算子，Spark提供了超过80种不同的Transformation和Action算子，如map,reduce,filter,groupByKey,sortByKey,foreach等，并且。Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。这对于企业应用来说，就可使用一个平台来进行不同的工程实现，减少了人力开发和平台部署成本。
【pyspark速成专家】11_Spark性能调优方法2
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
05-28 1273
Spark任务启动后，可以在浏览器中输入进入到spark web UI 监控界面。该界面中可以从多个维度以直观的方式非常细粒度地查看Spark任务的执行情况，包括任务进度，耗时分析，存储分析，shuffle数据量大小等。最常查看的页面是 Stages页面和Excutors页面。Jobs： 每一个Action操作对应一个Job，以Job粒度显示Application进度。有时间轴Timeline。： Job在遇到shuffle切开Stage，显示每个Stage进度，以及shuffle数据量。
【pyspark速成专家】1_pyspark环境安装与基础入门
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
05-03 589
对于Linux用户，和mac用户，建议像如下方式在~/.bashrc中设置环境变量，以便可以启动spark-submit和spark-shell。注意避免安装其它版本的jdk否则可能会有不兼容spark的情况。注意设置JAVA_HOME，并添加它到默认路径PATH中。注意：仅配置练习环境无需安装hadoop,无需安装scala.以下过程本地单机版pyspark练习编程环境的配置方法。安装成功后可以在jupyter中运行如下代码。windows用户可以忽略以下设置。
计算机组成原理速成课程【速成】
想找我?: 【编程张无忌的个人空间-哔哩哔哩】 https://b23.tv/0yjNTt2
11-08 5770
计算机组成原理速成课程【速成】 前言： 这里讲的是 期末 专升本 考研版本，按课本章节来， 抽取重点，翻译为人话！！！ 适用于所有 计组的 课本 哈 学习步骤： 每一章，都会先讲基础，然后下一节就是配套习题讲解， 坚持学完全部章即可 拿捏期末 同时在课程最后提供一个新的整套题的讲解，进行巩固拔高 学习本门课程，无需课本， 下载下这个文档，最后会解题即可！遇到不会的，翻看文档如何去破局！
安卓期末速成
想找我?: 【编程张无忌的个人空间-哔哩哔哩】 https://b23.tv/0yjNTt2
03-04 794
安卓期末速成 每一章，都会【讲会考的基础】，课程 最后【讲一套完整的期末题】 ,坚持学完全部章即可拿捏考试
python如何速成_怎样速成python？
weixin_34977617的博客
01-14 2376
Python速成，从0基础到实战高手，你也可以做到的！ 运营小伙伴和数据分析师着重看！1 首先，还是科普贴，什么是python ？这个就不过多解释，既然你来看这个题目了。自然是对这个语言是有一定了解，简单说python是一种计算机语言，类似java ，C＋＋，但是python是一种比java更简单易用的语言。2 为什么要学习python？关于为什么要学习Python这个问题？你可能是一个工程师又或...
计算机网络速成推荐（期末+考研+专升本均适用）
想找我?: 【编程张无忌的个人空间-哔哩哔哩】 https://b23.tv/0yjNTt2
10-31 5780
适用人群： 期末急速突击 / 期末/考研 / 学习操作系统打基础 / 考前复习操作系统,巩固计算机网络基础 的宝贝 学习步骤： 每一章，都会先讲基础，然后下一节就是配套习题讲解， 坚持学完全部章即可拿捏期末 同时在课程最后提供一个新的整套题的讲解，进行巩固拔高 计算机网络速成推荐（期末+考研+专升本均适用）
R速成笔记_部分2_r_速成笔记_
09-29
本人通过自学R语言，并进行了简单整理，希望对小白有一定的帮助。文章共有5部分，合计49页。第二部分
机器学习速成课程代码_机器学习；编程练习；Python_机器学习_
10-02
机器学习课程的编程实现，使用python语言。
电子工程师自学速成 设计篇 _设计篇_电子工程师自学速成_
10-03
电子工程师自学速成 设计篇 534页 58.3M 超清书签版
VBA宏编程速成宝典.pdf
08-14
VBA宏编程速成宝典
深度学习长文｜使用 JAX 进行 AI 模型训练
冷冻工厂
06-13 373
实际上，考虑到 PyTorch 背后庞大的开发者社区，以及 PyTorch 所原生支持而 JAX/FLAX 尚未涵盖的众多特性（例如自动混合精度、先进的注意力机制层，至少在本文撰写时），有人可能会强烈主张没有必要投入时间去掌握 JAX。在本文中，我们将使用 Flax，据本文撰写时的观察，它似乎是最受欢迎的选择。值得注意的是，每个机器学习开发框架都可能拥有其独到的特性（例如，截至本文撰写时，JAX 的 SPMD 自动分片和 PyTorch 的 SDPA 注意力机制），这些特性可能在性能比较中起到关键作用。
Python学习从0开始——Kaggle深度学习002
最新发布
哈哈哈哈
06-14 584
与所有机器学习任务一样，我们从一组训练数据开始。训练数据中的每个示例都由一些特征(输入)和预期目标(输出)组成。训练网络意味着调整其权重，使其能够将特征转化为目标。例如，在80种谷物的数据集中，我们想要一个网络，它可以获取每种谷物的“糖”、“纤维”和“蛋白质”含量，并对该谷物的“卡路里”进行预测。如果我们可以成功地训练一个网络来做到这一点，它的权重必须以某种方式表示这些特征和训练数据中表达的目标之间的关系。除了训练数据，我们还需要两个东西：一个衡量网络预测好坏的“损失函数”。
6.7.29 基于卷积神经网络的乳腺良恶性图像分类
qq_47896523的博客
06-10 598
本研究提出了一种基于 mini-MIAS 训练的 CNN 形式的新型深度学习模型，用于对良性和恶性异常进行分类。为了增强图像特征并提高分类性能，提出了一种预处理算法，该算法使用一系列预处理方法，例如裁剪、GCN、局部直方图均衡化和平衡预处理。CNN 模型以原始图像的 ROI 作为输入，实现异常的特征学习和分类。为了满足乳腺图像的要求，提出了一种数据增强方法来改善数据稀缺性并防止过度拟合。进行了特定的实验以探索 CNN 层结构和内核或激活函数对分类性能的影响。
【课程总结】Day8（上）：深度学习基本流程
Deadwalk的专栏
06-13 832
在上一篇课程《【课程总结】Day7：深度学习概述》模型训练过程→本质上是固定w和b参数的过程；让模型更好→本质上就是让模型的损失值loss变小；让loss变小→本质上就是求loss函数的最小值；本篇文章，我们将继续深入了解深度学习的项目流程，包括：批量化打包数据、模型定义、损失函数、优化器以及训练模型等内容。在深度学习中构建模型是指设计神经网络结构，确定网络的层数、每层的神经元数量、激活函数等参数，以实现特定的学习任务。
3天速成qgis_第7讲_练习数据
06-06
本次的练习数据是一组包含了地形高度等数据的tiff文件，我们需要利用qgis软件对其进行处理并实现可视化。 首先，我们需要将tiff文件导入到qgis软件中，通过“打开图层”功能即可完成，也可以通过拖拽文件至qgis界面...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

水木流年追梦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值