- 博客(127)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 paddle深度学习基础之数据处理以及优化
在这一系列基础课中，我将总结从数据处理到模型调参方方面面的基础知识的讲解。一方面作为自己学习的总结，另一方面给大家分享自己的一些想法和见解。这系列课程将以手写数字识别为基本例子，在此基础上，将这个例子由简到复杂一步一步的改进。
2020-04-01 20:35:54
1830
原创 paddle深度学习基础之快速搭建项目
作为本次系列博客的开头，先絮叨几句。这个paddle深度学习基础系列博客，是我之前参加百度深度学习基础的线上教学所学到的一些东西。打算使用比较简单的语言并夹杂着我自己的一些简介，给大家说一下深度学习入门的一些知识(基于paddle框架)
2020-04-01 20:33:28
1371
1
转载 (转载)百度架构师带你快速入门numpy--最好的入门资料
Numpy（Numerical Python的简称）是高性能科学计算和数据分析的基础包。使用飞桨构建神经网络模型时，通常会使用Numpy实现数据预处理和一些模型指标的计算，飞桨中的Tensor数据可以很方便的和ndarray数组进行相互转换。
2020-03-25 17:19:18
526
原创 python和numpy纯手写3层神经网络，干货满满
在上一篇百度架构师手写2层神经网络的基础上，我们对模型进行修改，实现了3层神经网络模型
2020-03-25 17:01:40
4704
4
原创 numpy中*乘和dot()乘在这种情况下居然相等
说明今天在实战手写神经网络的时候，遇到了两个numpy的数组相乘的 情况。发现* 和dot()点乘居然相同。当且仅当，数组1形状(x,1) 数组2形状(1,y)时，两者相等import numpy as npa = [[1],[2],[3]]a = np.array(a)print("a.shape:",a.shape)b=[[1,2,3]]b = np.array(b)prin...
2020-03-24 21:39:50
193
原创 还不是知道CV？这篇文章带你入门CV（计算机视觉）
本篇文章不讲解任何算法，只是针对CV的发展历程和当前应用算法进行简单介绍，希望不了解的或者想从事计算机视觉研究的小白们有个大概的认识
2020-03-19 10:56:43
4432
原创 CNN飞机识别-基于paddlepaddle高级API（附详细代码讲解）
在使用paddlepaddle实战完手写数字集识别后，开始了新的一轮实战-飞机识别。与之前不同的是，这次的项目使用更加高级的框架api接口，代码集成度更高，但是同样的也出现了一个问题，课程中并没有对这些api进行讲解。我花了两个多小时，通过查看源代码，终于搞清楚了这些api。下面，我们分享给大家！
2020-03-18 10:48:07
3081
1
原创 paddlepaddle 手写数据集mnist逆转化为图像
最近在实战paddlepaddle手写数字集识别。但是我发现，官方的数据是处理过了，这就意味着数据可以直接拿来训练，但是无法以图片的形式显示出来。看不见实实在在的图像是真的难受，没关系，我带大家还原图像。
2020-03-16 09:58:06
665
2
原创 秒懂-深度学习框架的中计算准确率accuracy()原理（基于paddlepaddle）
前言最近在实操号称人工智能中的’hello world‘–手写数字集识别。这里是使用的是paddlepaddle深度学习框架。其中我们在训练的时候，需要计算准确度。框架提供计算准确度的方法：fluid.layers.accuracy().它究竟是如何进行精确度的计算的？今天，我带大家一探究竟！文章目录前言accuracy方法介绍accuracy()部分源码解析总结概括accuracy方法介...
2020-03-15 13:50:25
8295
原创 一篇文章带你彻底搞清楚paddlepaddle框架中的DataFeeder()
在连续实战完paddlepaddle线性回归例子和波士顿房价预测后，对这个框架基本构成有了比较清楚的了解。但是，这两个例子的区别之一就在于后者使用的是框架自带的数据，传入数据时使用了内部一种数据类型转化器DataFeeder()。下面，我将带着大家一起去探究这个DataFeeder()。
2020-03-15 12:58:51
1905
原创 这可能是功能最少的Markdown编辑器了，但我仍然要推给大家---miu
前言Markdown 文件写作形式越来越受欢迎，特别是程序员。如果你是一个整天用记事本写东西的程序员，赶紧的！赶紧去学一学Markdown写作模式。上手特别简单，而且一但上手，就根本不想回归记事本了。下面给大家推荐一款小众的Markdown编辑器。这个编辑器叫miu
2020-03-14 16:47:49
717
原创 详文带你使用PaddlePaddle实战房屋信息预测（入门级）
最近在学习百度PaddlePaddle飞浆深度学习框架，做的第一个例子就是房屋价格预测。尽管官方在实例代码中做了些讲解，但是仍然有很多没有照顾到的地方。下面，我将通过这个例子，带大家掌握这个模型。
2020-03-13 18:38:41
650
原创 今天终于弄明白了python迭代器是什么（含paddlepaddle部分源码解析）
最近在学习paddlepaddle深度学习框架，在实战波士顿房价预测例子的时候，yield函数困扰到了我。索性，我就将python迭代器琢磨了一遍，终于弄清楚了！。一句话：迭代器是可以记住遍历位置的函数。（有C基础的可对比指针）
2020-03-12 21:54:03
1133
原创 paddlepaddle(飞浆)完美解决Matplotlib is currently using agg, which is a non-GUI backend
最近在入门百度的飞浆深度学习框架，百度上搜寻的结果虽不能直接解决这个问题，但是给予了我一定的启发。下面，我就告诉大家，如何快速解决这个问题。从英文提示来看，在执行次项目时，matplotlib正在使用agg，它不是一个GUI后端。我们平常使用的是‘Qt5Agg’这个后端，
2020-03-12 12:03:41
3137
3
原创 python数据分析-数据清洗流程（附脑图和代码实例）
无论是做机器学习还是做数据分析，都离不开获取数据后的第一步-数据清洗工作。据统计，数据清洗工作占据整个工作时间百分之50左右，有的甚至能达到百分之70。下面我将介绍我进行数据清洗得思路流程。
2020-03-11 16:11:28
10145
3
原创 使用facebook的fbprophet模型预测湖北新冠肺炎确诊人数(包含源码和具体分析过程)
同样是身为一名程序员，别人就能够在疫情期间做出贡献，而我就只能在家自我修炼了。就在昨天，一次偶然的机会学习了以下fbprophet时序预测模型，就决定使用这个框架来进行未来20天人数的预测。但是传染病模型通常比较复杂，此次使用此模型来预测，仅仅是用来练习，结果仅供参考。fbprophet模型简介这个模型（算法）是由facebook公司在2017年正式开源的，主要用于对时间序列进行预测。...
2020-03-04 18:46:32
3024
3
原创 谈谈自己对机器学习如何学习以及未来职业方向的理解（不断更新中）
背景：数据分析在读研究生，目前研一，对自己未来的学习方向和职业方向没有清晰的认知。疫情在家学习，突然顿悟，要给自己一个明确的学习方向和职业方向。以下是我通过查找多方面资料自己的一些简介。参考资料链接：如何看待「机器学习不需要数学，很多算法封装好了，调个包就行」这种说法？学习链接：更新于 2020年3月3日首先明确倾向于研究员还是工程师如果倾向于研究员，在学习已有机器算法的基...
2020-03-03 11:45:18
1708
2
原创 在分析了豆瓣Top250电影的数据后，我发现了这些不为人知的规律（附源代码和详情讲解）
这一段时间都在学习数据分析的相关知识，包括numpy、pandas、matplotlib、seaborn、ploty这些工具的使用和一些统计学的相关知识。有了这些基础，我就非常迫不及待的想操练操练。于是，我就打算使用豆瓣电影Top250进行数据分析。豆瓣Top250电影python数据分析使用python爬虫获取豆瓣电影数据清洗和处理数据使用方差、皮尔斯相关系数分析，plot进行数据...
2020-02-28 11:04:00
11547
4
原创 python数据分析实战-在线零售业务的交易-电商平台零售数据分析（附源代码）
电商平台零售数据分析前面的博客中已经有使用在线零售业务数据进行数据分析，但是在这一篇，我们以不同的角度重新对这些数据进行分析。数据来源及数据结构国外的在线零售业务的交易数据，数据下载地址现在以表格的形式解释一下里面的字段：字段说明InvoiceNo订单编号，含有6个整数，退货订单编号开头有字母CStockCode产品编号，由5个整数构成Descri...
2020-02-23 20:17:57
4602
4
原创 python数据分析-数据分析流程、方法以及实例实战-在线零售业务的交易数据分析实战
数据分析流程明确问题：明确问题是数据分析中的第一步，必须明确数据分析的真实需求理解数据：数据获取和数据探索数据清洗：一个数据分析项目大部分时间花在数据清洗上数据分析和可视化：对清洗后的数据进行分析，并且通过可视化展示出结果结论和建议:对结果进行解读，得出有价值的结论并且提出相关建议。数据分析方法常用统计方法，例如计算常用统计量和构建相关指标图表法，通过各种图形结合来展示数据里...
2020-02-23 09:39:41
1070
原创 python数据分析-相关分析
python数据分析-相关分析概念在现实中，事物与事物之间或多或少存在一定的关系，数据之间也不例外，数据与数据之间关系往往提醒安于互相依存的关系，而相关分析主要就是分析两个变量之间的相互影响程度，在数据分析中，相关分析就是度量的是两个连续型变量之间的相关型。常见的的度量指标如下：皮尔森相关系数Pearson斯皮尔曼相关系数Spearman相关型越强，说明两个变量之间的影响程度越...
2020-02-22 00:04:24
2144
原创 python统计分析-卡方分析和方差分析
python统计分析-卡方分析和方差分析卡方检验卡方检验主要是检验两个分类变量之间的关系，主要检验是否相关，不能表示强弱。 两个分类变量，其中有一个必须是二分类，不能都是多分类。下面代码实践，使用的是泰坦尼克号人员信息的数据。分析船舱等级与存活是否存在关系：titanic.csv数据下载import pandas as pdfrom scipy import statstitani...
2020-02-21 22:38:19
2744
原创 python统计分析-假设检验
假设检验一、假设概念假设总体均值为μ，那么实际抽样的均值离μ越近意味着假设越合理，相反，实际抽样均值离μ越远意味着假设越不合理。其中，实际抽样结果与假设的差异“程度”可以用概率值表示，概率值越大意味着越无差异。在实际中往往认为设定一个P-value的阈值将差异程度判断为有差异或者无差异，这就是显著性水平。二、假设检验基本步骤提出原假设和备择假设确定适当的检验统计量规定显著性水平计算...
2020-02-21 21:04:49
1711
原创 python统计分析常用基础知识总结（python数据分析师必备）
基本的统计学概念描述性统计分析统计量均值 --表示一种数据集中趋势的量数标准差 --反应数据的离散程度，数据平均值的分散度量中位数 --一种不受极大值极小值影响、衡量集中趋势的办法分位数-- 将一个随机变量的概率分布范围分为几个等份的数值点众数 – 统计分布上具有明显集中趋势点的数值极差 —数据的最大值-数据的最小值 反应变量分布的离散程度四分位差...
2020-02-21 14:35:37
1650
2
原创 matplotlib箱线图画法以及参数详情介绍
matplotlib箱线图的画法先看代码：import pandas as pdimport matplotlib.pyplot as plttips = pd.read_csv('tips.csv')plt.boxplot(x=tips['tip'],showcaps=True,patch_artist=True,showmeans=True,showfliers=True,\ ...
2020-02-19 22:39:24
2082
原创 matplotlib双y轴，共用同一x轴的画法图像的画法
matplotlib双y轴的画法在我们使用matplotlib画图的时候，有时候需要将两个折线图放在同一个图像中，但是由于这两个图形数值大小范围不一样，使用同一y轴，效果会大打折扣的，所以，这里介绍一种双y轴的画法。先上代码：import matplotlib.pyplot as pltimport pandas as pdtips = pd.read_csv('tips.csv'...
2020-02-19 18:56:27
7848
1
原创 matplotlib画图教程系列之-堆积柱状图
matplotlib堆积柱状图画法介绍堆积柱状图可以理解是两个柱状图显示在一个图形中，关键属性就在与bottom这个属性。
2020-02-19 13:53:50
4913
原创 matplotlib画图教程系列之-折线图
matplotlib折线图画法介绍折线图相较于散点图而言，x轴数据应是有序的，不然的话线条特别的乱，就表现不出来折线图的优势了。import pandas as pdimport matplotlib.pyplot as plttips = pd.read_csv('tips.csv')tips.sort_values(inplace=True,by='total_bill')to...
2020-02-19 12:42:02
1080
原创 matplotlib画图教程系列之-散点图
matplotlib散点图画法介绍散点图，通常把被使用在探索两个变量之间的关系。先上代码：import pandas as pdimport matplotlib.pyplot as plttips = pd.read_csv('tips.csv')total_bill = tips['total_bill'].valuestip = tips['tip'].valuesplt...
2020-02-19 12:23:17
2889
原创 matplotlib画图教程系列之-条形图
matplotlib条形图画法介绍先上代码：import pandas as pdimport matplotlib.pyplot as pltplanets = pd.read_csv('planets.csv')planets = planets.groupby('year').sum()['number'].tail(7)print(planets)plt.rcParams['...
2020-02-19 12:09:32
898
原创 matplotlib画图教程系列之-饼状图
matplotlib饼状图画法介绍先上代码：import pandas as pdimport matplotlib.pyplot as pltplanets = pd.read_csv('planets.csv')planets = planets.groupby('method').sum()['number'].head(4)print(planets)y = planets....
2020-02-19 11:45:29
1976
原创 通过源代码进行高效学习pandas，受益颇多
通过源代码学习pandas我不知道大家是怎么学习pandas这个包的，我是首先看了一遍教学视频，然后看了一遍文档，当我在使用的时候，两个感受，第一，我手中的文档是别人整理的，对于方法只有部分重要参数介绍。第二，视频教程不会给你也只会给你讲一些常用的参数。当然，如果你从官网整理了官方的文档，那是十分的详细了，也就不用看这篇文章了。但是，你没有这样的一篇完整的文档，下面的内容好好看看。举个获取...
2020-02-17 17:00:38
2342
原创 pandas数据离散化pandas.cut()和pandas.qcut()
pandas数据离散化什么叫数据离散化？也可以理解为数据分组。举个简单的例子，我们有一组学生成绩的数据，我们可以将数据按照成绩的最大值和最小值划分为几个相同的区间。假设最高分100分，最低分50分，我们可以划分为两个相同宽度的范围。分别是[50,74]、[75,100]。 统计这两个区间都有多少数据。第二种是根据人数对成绩区间进行划分，所划分的区间人数基本持平。接下来具体通过代码来实现看看。...
2020-02-17 16:36:58
811
6
原创 pandas数据的异常值判断、可视化以及异常值的处理
pandas数据的异常值判断、可视化、处理方式回想一下我们小时候参加唱歌比赛，最后算分的时候总会去掉一个最高分，去掉一个最低分，将剩下的分数进行去平均。这里面就有筛选异常值的思想。一个非常夸张的异常值可能会造成对最后统计结果产生比较大的影响。所以，在这里，我们介绍两种办法来判断异常值，并使用箱线图进行显示。异常值的判断1、使用均值和标准差进行判断mean 为数据的均值std 为数据的...
2020-02-17 15:42:10
21324
4
原创 pandas如何去除重复值
pandas如何去除重复值在我们做数据分析时，我们所要处理的数据中难免会出现重复的数据，有些是我们需要的，有些是我们不需要的，甚至还会影响我们接下来数据分析的准确度。接下来，给大家介绍去除重复值的方法。planets = pd.read_csv('planets.csv')print(planets.head(10))planets.drop_duplicates(subset=['m...
2020-02-17 10:16:06
28027
2
原创 pandas填补缺失值的方法
pandas填补缺失值的方法在处理数据的过程中，经常会遇到原数据部分内容的缺失，为了保证我们最终数据统计结果的正确性，通常我们有两种处理方式，第一种就是删除掉这些部分缺失的数据；第二种就是填补这些缺失的数据。接下来，我们主要介绍填补缺失值的方法。填充法咱们所用到的数据：import pandas as pdimport numpy as npplanets = pd.read_...
2020-02-17 09:12:50
12443
原创 pandas去除掉一列数的单位并转换数据类型
背景：咱们使用pandas处理数据时，通常会遇到带有时间单位的数，此时该列数的数据类型为字符串型，如果需要对该列数字进行相关操作，就必须去掉单位，并转换成整型或者浮点型。咱们先读取一段数据来具体看看：pdata = pd.read_csv('exercise.csv')print(pdata.head(10))获取的数如下图：咱们再看一下数据类型：print(pdata.dty...
2020-02-15 19:17:52
9840
3
原创 pandas将数据保存到csv或者xlsx 中的最基本操作
Pandas保存数据到csv和xlsx中pandas提供了非常方便的函数，能够将数据保存到cvs或者xlsx中。import pandas as pdimport numpy as npimport pymysqlfrom sqlalchemy import create_engineimport openpyxlpdata = pd.read_csv('tips.csv')df...
2020-02-15 18:50:12
35441
4
原创 pandas连接数据库，从数据库读取数据，将数据保存到数据库
pandas连接数据库import pymysqlfrom sqlalchemy import create_enginesql = 'select * from data'conn = create_engine('mysql+pymysql://root:159951@127.0.0.1:3306/test')pdata = pd.read_sql(sql,conn)print(...
2020-02-15 18:15:20
6399
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人