附录1-kaggle的使用

已于 2023-02-06 09:44:24 修改
阅读量5.6k 收藏 64
点赞数 6
分类专栏： tensorflow笔记 一些常用软件的操作 文章标签： tensorflow 人工智能 python
于 2021-11-24 09:54:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/potato123232/article/details/121508743
版权

kaggle是一个可以下载数据集的网站，除了可以下载数据集以外，我们还可以使用kaggle的免费GPU资源，我们可以在kaggle上训练模型

这个是kaggle的网址Kaggle: Your Machine Learning and Data Science Community

如果没注册的朋友可以注册一个账号，在注册账号中验证码环节会出现过不了墙无法看到验证码的问题，我们在谷歌浏览器中安装一个插件可以解决这个问题

目录

1  安装插件

2  下载规则文件

3  使用Header Editor

4  登陆kaggle

5  添加数据集

5.1  添加kaggle中的数据集

5.2  上传数据集

6  使用GPU或连接网络(使用requests库等)

1  安装插件

参考文章链接 Google 人机验证(reCaptcha)无法显示解决方案(可解决大多数 CSP 问题) – Azure Zeng's Blog

  • 这个插件只能在谷歌浏览器中使用

谷歌浏览器也有其他好用的插件，我们可以在这里进行下载 https://chrome.pictureknow.com

我们先下载一个Header Editor.crx这个文件，这个文件网上可以搜到

下面是这个文件的百度云链接

链接：百度网盘 请输入提取码 提取码：mpj1

点击浏览器右上角的三个点，之后选择更多工具，之后点击扩展程序

进入页面后，打开右上角的开发者模式，下图的状态是打开的状态，打开之后把Header Editor.crx文件拖到画红框的区域

点击添加扩展程序

  • 图标一定要和我上面的一样，要不不对

这样就添加完毕了

2  下载规则文件

我们需要下载规则文件，在github中GitHub - AzureZeng/azurezeng.github.io: My main page on github

我们需要这里的json文件

我们整体把它下载下来，然后解压，得到这个json文件

3  使用Header Editor

之后我们点击详细信息

然后在下面找到扩展程序选项，之后点击它

点击导入与导出

之后我们点击导入

找到json文件，然后点击打开

此时在下方会出现这些，我们点击保存

保存后，浏览器下方会显示导入成功,此时我们就已成功使用插件，kaggle上的人机验证我们就都可以看到了

4  登陆kaggle

kaggle登陆之后的页面是这样的

我们最常用的功能是左侧的datasets与code,datasets是找数据集的，code是写代码的，我们在这里就要详细介绍code

点进code之后，我们可以点击Your work 来查看过往的代码

我当前的账号之前没有创建项目，所以我们这里没有显示

我们点击 New Notebook创建新的notebook文件

点开之后是这样的，这个和我们的jupyter notebook的界面就很相似了,jupyter notebook的基本用法可以看一下这个 Jupyter notebook 基本用法_potato123232的博客-CSDN博客_notebook的markdown

我们看一下在这个notebook中都安装了什么库

我们发现安装了很多的库，往下面看可以看到tensorflow也已经在这个notebook中安装好了

5  添加数据集

在界面的右侧又Data这一栏，我们可以添加kaggle网站中的数据集，或者我们可以自己上传数据集

5.1  添加kaggle中的数据集

我们现在点击 Add data,点开后我们可以在右上角搜索数据集，之后选择添加

添加之后我们就在input中看到了该数据集

我们现在使用左侧的代码块读取一下这个数据集,首先我们先导入库

然后我们找到数据集的位置

之后我们使用pandas进行读取

然后我们看一下这个数据集的头部

这样就证明我们的数据集读取进来了，后面我们就要根据每个人不同的需求进行使用了

5.2  上传数据集

  • 在kaggle中上传数据集需要翻墙才能上传

如果要添加kaggle中没有的数据集，我们选择upload

输出数据集名称，然后点击Brose Files

我们可以选择猫狗数据集_2000.zip然后选择打开

之后我们等待传输就可以了，上传完毕之后点击create就可以了

6  使用GPU或连接网络(使用requests库等)

这个时候我们需要使用这里的Settings,然后点击Get phone verified

点击之后我们进入了这个界面，之后选择+86,然后输出手机号

进行人机验证后点击send code，进入下面这个界面

输入验证码后点击verify，之后我们的settings会变成这样

我们可以把Internet开启，然后在Accelerator中选择GPU

点击后弹出提示，每一周都有固定的免费GPU使用时长，我们在这里点击Turn on GPU

在settings中我们可以看到GPU的时长

我们使用code验证一下是否使用了gpu

Internet这个选项在我们下载预训练模型，或者内置数据集中需要用到，这个没有时长限制，我们开着就行

GPU的使用时间是无论你代码是否使用GPU，它都会计算时长，所以我们这个GPU如果长时间不用我们需要给它关上，关闭的时候在Accelerator中选择None就可以了

Suyuoa
关注
  • 6
    点赞
  • 踩
  • 64
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
1_petal-flower-classification-kaggle.ipynb
06-14
1_petal-flower-classification-kaggle.ipynb
Titanic-Competition-Kaggle
07-05
Titanic-Competition-Kaggle 遵循 trevorstephens 的入门入门教程： ://trevorstephens.com/post/72916401642/titanic-getting-started-with-r 本教程包括： 第 1 部分：启动 R 第 2 部分：性别类模型第 3 部分：决策树第 4 部分：特征工程第 5 部分：随机森林 它介绍了决策树和随机森林机器学习算法，几天后我需要深入研究。 特征工程是一种需要涉及对实际数据集的直觉的方法。 需要查看原始数据集和变量并从中生成一组新的特征。 我猜这就是数据科学中所谓的“艺术的一部分，科学的一部分”技能 这个项目仍在进行中。
从kaggle平台下载数据（不翻墙，很简单，5分钟）
Aa13598935401的博客
01-23 1164
kaggle平台注册，有QQ邮箱就能成功注册。
【Kaggle】Kaggle数据集如何使用命令语句下载？
wzk4869的博客
07-29 4340
【Kaggle】Kaggle数据集如何使用命令语句下载？
聚类分析——基于Kaggle数据集实战
weixin_50249953的博客
02-19 1118
聚类算法在实际中的应用主要侧重在以下几个方面：一、目标划分、特征画像，将目标数据按照特征的相似性，将目标划分为不同的类别，然后再对不同的类别进行特征描述，最后做出与研究目标相关的建议，这一块的话在论文和竞赛中使用比较常见，尤其是竞赛中做客户的特征画像，分析不同群体特征，从而给出针对性的建议；本次使用的聚类算法是kmeans++算法和层次聚类两种聚类算法进行演示，其中K-means++是对传统Kmenas算法的改进，旨在改善初始质心的选择，以提高算法的性能和结果的稳定性。
Kaggle踩坑指南--1. 数据集的读取和图像预处理
qq_25738937的博客
02-26 1万+
新建的kaggle如下图所示，点击上方的 add data, 即可搜索并添加想使用的数据集，新添加的数据集会放入input文件夹下。 在kaggle训练的数据集都是在线添加，如果想要训练自己的数据集，需要上传数据集，但是这需要翻（你懂的。。。）。此处以猫狗数据集为例。 需要特别注意的是，添加到input ...
Header Editor-crx插件
04-02
语言:English,polski,português (Brasil),中文 (简体),中文 (繁體) 管理浏览器请求，包括修改请求头和响应头、重定向请求、取消请求 修改请求头、响应头、重定向请求、取消请求如果此扩展名没有包含您想要的语言，您可以在Transifex上帮助我们将其翻译成其他语言：https://www.transifex.com/sytec/header-editor/您可以从Redirector导入规则：http://redirector.team.firefoxcn.net/
初入Kaggle之数据集的使用及预测结果生成
qq_43765576的博客
11-07 3519
初入Kaggle之数据集的使用及预测结果生成
使用Kaggle免费GPU训练自己的数据集——以YOLOv5分类模型示例
qq_53229073的博客
06-07 4830
Kaggle每周可以免费使用30个小时的GPU，并且GPU是16G起步的，还可以选用多个GPU进行训练，相比自己的电脑和一些付费的云GPU速度非常快，并且省去了很多配置深度学习环境的步骤，因为用的是国外的服务器，下载库和工具的速度也非常的快。在国内如果不用梯子注册kaggle是不能通过人机验证的，但是可以通过Microsoft Edge浏览器安装一个插件解决，不用梯子。下载安装Microsoft Edge，一般电脑都自带的有打开Microsoft Edge，点击右上角的…-——扩展——管理扩展点击获取Mis
kaggle注册以及数据集下载全流程
热门推荐
Arriteey的博客
08-04 1万+
kaggle注册，数据集下载及常见问题
kaggle最全基础入门（大数据）
m0_56022510的博客
04-26 1816
Kaggle是一个数据科学竞赛平台，旨在连接数据科学家和机器学习工程师，提供一个共同解决实际问题的平台。Kaggle的任务通常由公司、学术机构、政府机构等提交，这些任务涵盖了各种问题领域，例如自然语言处理、计算机视觉、数据挖掘等。竞赛参与者可以下载数据集、提交代码和模型，并与其他参赛者交流和竞争。Kaggle还提供了一系列的教程和社区资源，帮助人们学习和分享数据科学的最佳实践。
Python数据分析--Kaggle共享单车项目实战
01-27
添加正则化项,是指在损失函数上添加正则化项,而正则化项可分为两种: 一种是L1正则化项,另一种是L2正则化.我们把带有L2正则化项的回归模型称为岭回归,带有L1正则化项的回归称为Lasso回归.1.岭回归引用百度百科定义.岭回归(英文名：ridgeregression,Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得
avazu-ctr-kaggle
02-12
avazu-ctr-kaggle 使用来自数据 安装： （为简单起见，我将重点放在Mac设置上） # Make sure the following is installed brew install pyenv readline xz # Install pyenv-virtualenv by following the instructions from # https://github.com/pyenv/pyenv-virtualenv#installing-with-homebrew-for-macos-users # Install Python 3.8.1 with fix for Mojave SDKROOT=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/S
Keras-Kaggle-VGG.txt
03-05
件太大（1.05G）需要百度网盘下载。 所有代码用Keras实现，覆盖猫狗识别的基础网络、数据增强、VGG网络特征提取以及模型微调。 data文件夹是要用到的Kaggle数据集 1.DATA.py 用于Kaggle准备数据集，输出结果在data文件夹下 2.data_augmentation.py 用于展示数据增强的效果 3.Model.py 是个简单的识别猫狗的卷积+全连接的网络 4.Model_Aug.py 在 Model.py 的基础上加了数据增强 5.Model_VGG.py 使用VGG作为基础网络，只训练分类器 6.Model_VGG_Aug.py 在 Model_VGG.py 上加了数据增强 7.Model_VGG_fine_tuning.py 在 Model_VGG_Aug 的基础上对VGG网络的block5进行微调。 从3-4-5-6-7可以发现，网络的精度不断提升
Home Credit 违约风险 - Kaggle 竞赛
01-26
Home Credit 违约风险 - Kaggle 竞赛 https://www.kaggle.com/c/home-credit-default-risk/code 背景 在Kaggle Home Credit 违约风险竞赛中，参与者试图从应用程序、人口统计和历史信用行为数据中预测客户未来的支付行为。由于我在金融方面的学术背景，我想尝试一下信用风险数据集，这似乎是一个有趣的挑战。 0.8 的 ROC AUC 足以跻身本次比赛的获胜者之列，所以这就是我的目标。我想在这个数据集上尝试一些新方法，例如使用自动编码器进行特征缩减。 当前状态 主数据集包含 120 个特征和一个二进制目标变量。使用补充数据集，我能够将独立特征数增加到 1400 多个。我进行手动特征选择以将维度降低到 290 个最重要的特征。我目前正在使用自动编码器来替代手动特征选择。 使用 LightGBM，我能够获得超过 0.78 的 ROC AUC。现在我将不得不进行超参数调整以改进这个结果。
Header Editor.crx
02-20
google Header editor扩展程序 Kaggle注册用
sw-kaggle:kaggle https的代码
05-10
sw-kaggle关于 kaggle 问题的解答与优化主要工作：可视化分析不同特征与存活率的关系， 类别特征one-hot编码，数值特征分段处理，pipeline预处理数据, 使用LR， RF等进行投票分类，最终排名top10%主要工作：多分类...
digit-recognizer-kaggle
01-20
digit-recognizer-kaggle竞赛金牌代码
Tensorflow2.0笔记 - 使用卷积神经网络层做CIFA100数据集训练（类VGG13）
最新发布
vivo01的专栏
04-19 208
本笔记记录CNN做CIFAR100数据集的训练相关内容，代码中使用了类似VGG13的网络结构，做了两个Sequetial（CNN和全连接层），没有用Flatten层而是用reshape操作做CNN和全连接层的中转操作。由于网络层次较深，参数量相比之前的网络多了不少，因此只做了10次epoch（RTX4090），没有继续跑了，最终准确率大概在33.8%左右。
kaggle使用教程
09-02
Kaggle 是一个数据科学和机器学习社区平台，提供了丰富的数据集、竞赛和教程资源。下面是一个简单的 Kaggle 使用教程： 1. 注册一个 Kaggle 账号：访问 Kaggle 官网（https://www.kaggle.com/）并点击右上角的 "Sign Up" 进行注册。 2. 探索数据集：在 Kaggle 上有数千个开放的数据集可供使用。你可以通过搜索或浏览不同的领域和主题来找到感兴趣的数据集。 3. 下载数据集：一旦你找到了想要使用的数据集，你可以点击数据集页面上的 "Download" 进行下载。 4. 参加竞赛：Kaggle 上有举办各种机器学习竞赛，你可以选择参加感兴趣的竞赛。竞赛页面会提供详细的问题描述、数据集和评估指标等信息。 5. 提交结果：在竞赛页面上，你可以下载竞赛提供的训练和测试数据集。你需要使用训练数据集建立模型，并在测试数据集上进行预测。最后，你将提交你的预测结果，Kaggle 会根据评估指标对你的结果进行评估。 6. 加入讨论和社区：Kaggle 是一个活跃的社区平台，你可以加入不同的讨论组、论坛或组织，并与其他数据科学家、机器学习工程师交流和分享经验。 此外，Kaggle 还提供了大量的教程和内置的笔记本资源，用于学习和实践机器学习算法和数据分析技术。你可以在 Kaggle 上搜索并浏览相关的教程资源，以提升你的数据科学技能。 希望这个简单的教程能帮助你开始使用 Kaggle！如有更多问题，请继续提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Suyuoa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值