- 博客(45)
- 收藏
- 关注
RSS订阅原创 Datawhale 零基础入门数据挖掘-Task4 建模与调参
Datawhale 零基础入门数据挖掘-Task4 建模与调参内容相关逻辑回归模型：树模型：集成模型模型对比与性能评估：模型调参：代码示例导入相关关和相关设置读取数据简单建模内容相关逻辑回归模型：理解逻辑回归模型；逻辑回归模型的应用；逻辑回归的优缺点；树模型：理解树模型；树模型的应用；树模型的优缺点；集成模型基于bagging思想的集成模型随机森林模型基于boosting思想的集成模型XGBoost模型LightGBM模型CatBoost模型模型对比
2021-03-21 01:55:16
191
原创 Datawhale 零基础入门数据挖掘-Task 2 数据分析
Datawhale 零基础入门数据挖掘-Task 2 数据分析EDA分析EDA步骤其他工作EDA分析探索性数据分析（Exploratory Data Analysis，简称EDA）是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。特别是党我们对面对大数据时代到来的时候，各种杂乱的“脏数据”，往往不知所措，不知道从哪里开始了解目前拿到手上的数据时候，探索性数据分析就非常有效。探索性数据分析是上世
2021-03-21 01:39:08
251
原创 Datawhale 零基础入门数据挖掘-Task1 赛题理解
Mon 22已完成 进行中 计划中 现有任务 Adding GANTT diagram functionality to mermaidDatawhale 零基础入门数据挖掘-Task1 赛题理解学习目标数据概况train.csvtestA.csvbaseline微调读取数据提交结果又来参加打卡啦~这次选择的是一个相对而言比较简单的项目学习目标简单来说就是通过理解和分析数据，生成一个excel的结果，然后提交查看分数
2021-03-16 23:57:55
267
原创 AP问题的一些源码，待优化2
AP问题的一些源码，待优化2画图的codedemo case1在进一步调试完代码之后，选取了一些可以跑得通的代码做remark画图的code这一段是用来画示意图的 具体案例可以参照import numpy as npfrom scipy.sparse import csr_matriximport pandas as pdimport networkx as nximport matplotlib.pyplot as pltclass MatchingProblem: alg
2021-03-05 00:06:21
274
2
原创 AP问题的一些源码，待调试1
这里记录几个源码，回去调试首先安利一个超重要的知识点：edge-weighted-online-bipartite-matching简述Improved Analysis of RANKING for Online Vertex-Weighted Bipartite MatchingDiverse Weighted Bipartite b-Matching这唯一跑通的代码首先安利一个超重要的知识点：在md代码段里如果有注释符号，之前的时候都是一行一行敲回去现在不需要了喂！1:is all you ne
2021-02-28 23:20:10
638
1
原创 2021 “AI Earth”人工智能创新挑战赛 Task2
2021 “AI Earth”人工智能创新挑战赛 Task 2数据读取数据格式转化SODA_train处理baseline修改数据读取数据格式转化SODA_train处理SODA_train.nc中[0,0:36,:,:]为第1-第3年逐月的历史观测数据；SODA_train.nc中[1,0:36,:,:]为第2-第4年逐月的历史观测数据；…,SODA_train.nc中[99,0:36,:,:]为第100-102年逐月的历史观测数据。SODA_path = './data/SOD
2021-02-23 23:40:02
488
原创 CV实践-异常检测 Task2
Baseline学习及改进关于DockerBaseline改进思路我的一些感想关于Docker可以查看这一篇Baseline改进思路数据扩增：训练样本扩增随机竖直/水平翻折，色彩空间增强，使缺陷样本均匀 自适应anchor策略 适当减少回归框损失的权重 正负样本类别多尺度训练 空洞卷积替换FPN最后一层 FPN改进尝试：NAS-FPN、AC-PFN Anchor 匹配策略以上是datawhale给出来的我的一些感想因为这段时间在忙论文相关的事，所以没有全身心投入这次的组队学习中现在的情
2021-02-23 21:03:22
81
原创 CUDA 11.2安装血泪史
CUDA 11.2安装血泪史我的硬件配置实验室的电脑之前的时候装过CUDA但是后来硬盘崩了就没了因为要跑代码所以重新装 没想到出了各种问题简单来说就是网上的教程都不靠谱我的硬件配置实验室电脑配备的是XPS 8700+1070然后实际在使用过程中是支持CUDA11.2的但是安装了6次都是报错后来尝试自定义在安装过程中发现，如果第N次安装，最好不要选择CUDA下面的nsight system两个选项，不然后续安装会报错。然后终于，在一次重启之后然后 在系统的环境变量里，已经显示..
2021-02-23 20:51:45
15895
1
原创 Ubuntu试水问题集锦
这里我用的是Hyper-V 如果不能在Win10安装，考虑下是不是家庭版的原因https://blog.csdn.net/qq_44231797/article/details/105413894这个帖子里写了一个解决方法 因为我一开始的时候并不能用sudo安装然后就一直遇到到这个错误查了下 是因为在阿里云里没有设置密码导致的试了十来遍终于ok了密码是19q还有 小马哥教了下退回到命令行格式的方法：ctrl+c...
2021-02-23 20:43:14
64
原创 零基础入门语义分割-Task2 数据扩增
零基础入门语义分割-Task2 数据扩增目的常用方法基于几何变换FlippingCroppingRotationTranslationNoise Injection颜色变换Kernel filtersMixingRandom ErasingOpenCV的数据扩增albumentations数据扩增Pytorch 处理目的顾名思义，数据扩增的原因是原始数据量不足，希望通过扩增达到增加训练样本有效缓解过拟合赋予模型更强的泛化能力其根本目的是使得训练数据尽可能地接近测试数据，从而提高预测精度，增加鲁
2021-02-23 14:54:07
194
原创 CV实践-异常检测 Task 1
CV实践-异常检测 Task 1谈谈问题吧那该咋办复现docker获取镜像库公网网址制作镜像并推送至镜像库1.login docker（请将tianchi替换成自己的账号）2.在文件需要copy至镜像内的目录下新建Dockerfile文件，如：Base Images从天池基础镜像构建 FROM registry.cn-shanghai.aliyuncs.com/tcc-public/keras:latest-cuda10.0-py3把当前文件夹里的文件构建到镜像的根目录下 ADD . /指定默认工作目录为根
2021-02-22 02:52:52
166
原创 阿里中文预训练模型泛化能力挑战赛 Task1
阿里中文预训练模型泛化能力挑战赛 Task 1 背景背景赛题以自然语言处理为背景，要求选手通过算法实现泛化能力强的中文预训练模型。通过这道赛题可以引导大家更好地理解预训练模型的运作机制，探索深层次的模型构建和模型训练，而不仅仅是针对特定任务进行简单微调。...
2021-02-22 02:18:46
313
1
原创 2021 “AI Earth”人工智能创新挑战赛 Task 1
这里写目录标题赛题背景我的初衷数据说明Baselinebaseline衍生 模型预测赛题背景作为一个时间序列预测问题，需要基于历史气候观测和模式模拟数据具体包括利用T时刻过去12个月(包含T时刻)的时空序列（气象因子）构建预测ENSO的深度学习模型预测未来1-24个月的Nino3.4指数我的初衷简单来说就是根据给定时间段内的相关数据（示意是12个连续自然月），预测未来1-24个月的趋势。前老板还在的时候曾经试图做过这个相关的research，但是师姐没有做出比较好的结果，所以这次跟着大家
2021-02-21 21:29:12
815
原创 零基础入门语义分割-Task1 赛题理解
零基础入门语义分割-Task1 赛题理解赛题理解学习目标赛题数据评价指标读取数据解题思路本章小结课后作业赛题理解赛题名称：零基础入门语义分割-地表建筑物识别赛题目标：通过本次赛题可以引导大家熟练掌握语义分割任务的定义，具体的解题流程和相应的模型，并掌握语义分割任务的发展。赛题任务：赛题以计算机视觉为背景，要求选手使用给定的航拍图像训练模型并完成地表建筑物识别任务。学习目标在理解背景的前提下，对cv语义分割流程有所了解赛题数据将航拍图像素划分为有建筑物和无建筑物两类数据来源： In
2021-02-20 19:58:01
261
原创 DCIC2021-Task 1 赛题任务解析
系列文章目录Task 1 赛题任务解析Task 2 共享单车潮汐点分析Task 3 共享单车潮汐点建议Task 4 共享单车调度方案Task 5 单车畅行友好度方案文章目录系列文章目录任务分析赛题数据数据读取和理解数据解读baseline任务分析识别出工作日早高峰07:00-09:00潮汐现象最突出的40个区域针对Top40区域计算结果进一步设计高峰期共享单车潮汐点优化方案赛题数据共享单车轨迹数据共享单车停车点位（电子围栏）数据共享单车订单数据数据读取和理解这里直接套
2021-02-20 00:26:59
313
原创 Task 8 包管理
包管理是Go一直被诟病做得不好的功能之一。先前版本（go 1.11之前）的主要缺点之一是go get是缺乏对依赖包版本的管理和对可复制构建(reproducible build)的支持。Go社区已经开发了一些包管理器和工具作为版本化包依赖的事实标准解决方案，如glide，dep以及一些辅助工具等。“我在生产构建中使用go get。” – 没有人这么说过。Go语言的包管理实现可追溯到Google公司内的代码依赖管理（Google将内部所有源代码都存放在一个巨大的单体存储库中）。我们来分析一下在”Go mo
2020-12-22 23:40:36
65
原创 Task8 接口
接口Go 语言提供了另外一种数据类型即接口，它把所有的具有共性的方法定义在一起，任何其他类型只要实现了这些方法就是实现了这个接口。
2020-12-21 23:44:21
360
原创 Task 6切片
切片与数组的关系对于任何一个切片来说，其都有一个底层数组与之对应，我们可以将切片看作是一个窗口，透过这个窗口可以看到底层数组的一部分元素。Go 语言切片是对数组的抽象。Go 数组的长度不可改变，在特定场景中这样的集合就不太适用，Go中提供了一种灵活，功能强悍的内置类型切片(“动态数组”),与数组相比切片的长度是不固定的，可以追加元素，在追加时可能使切片的容量增大。...
2020-12-19 23:58:35
112
1
原创 Task 4 运算符、控制语句
Task 4 运算符、控制语句运算符优先级条件语句if语句switch语句select语句循环语句for循环循环嵌套循环控制语句break语句：continue语句：goto语句：运算符算术运算符和关系运算符与其他语言通用 这里总结一下逻辑运算符（主要是怕记不住）运算符 描述&& 逻辑 AND 运算符。 如果两边的操作数都是 True，则条件 True，否则为 False。| | 逻辑 OR 运算符。 如果两边的操作数有一个 True，则条件 True，否则为 False。! 逻
2020-12-16 13:25:48
119
原创 Task03: 变量、常量、枚举
Task03: 变量、常量、枚举变量常量枚举普通枚举自增枚举变量var：声明变量多变量声明原则//类型相同多个变量, 非全局变量var vname1, vname2, vname3 typevname1, vname2, vname3 = v1, v2, v3var vname1, vname2, vname3 = v1, v2, v3 // 和 python 很像,不需要显示声明类型，自动推断vname1, vname2, vname3 := v1, v2, v3 // 出现在 := 左
2020-12-15 22:15:32
147
原创 Task2.数据类型、关键字、标识符
Task2.数据类型、关键字、标识符数据类型关键字标识符数据类型bool:True or Falseint vs. floatcomplex 复数好像暂时还没有用到，就姑且跳过关键字25个关键字或保留字break default func interface select case defer go map struct chan else goto package switch const fallthrough if range type continue for import re
2020-12-15 22:03:29
102
原创 Go初探
Go初探环境配置Go语言特色环境配置Go语言特色只有一种正确方法解决问题的语言官网上有playground可以玩# 写入 envexport GOPATH=~/workspace# cd 到工作区目录\cd ~/workspaceGo 中的工作空间由环境变量「GOPATH」定义。你写的任何代码都将写在工作区内。Go 将搜索 GOPATH 目录中的任何包，或者在安装 Go 时默认设置的 GOROOT 目录。 GOROOT 是安装 go 的路径。将 GOPATH 设置为你想要的目录。 现
2020-12-14 21:22:04
80
原创 关于pip和conda安装的一些小问题 part 1
@关于pip和conda安装的一些小问题ImportErrorSolve pip’s ImportError: cannot import name’PackageFinder’ from’pip._internal.index’ (xxxx)参考这个link文章给出了两种解决方案，我用了后一种curl https://bootstrap.pypa.io/get-pip.py -o get-pip.pypython get-pip.pyfolium在一开始安装的时候，我用的pip$ p
2020-11-17 21:51:59
207
原创 无人驾驶 Tutorial 1
Environment Setup环境搭建无责任吐槽环境搭建对运营环境的要求RequirementsSystem specificsx64 system. The simulator should run in any 64 bits Windows system.30GB disk space. Installing all the software needed and CARLA will require quite a lot of space. Make sure to have a
2020-10-20 11:55:17
136
原创 推荐系统 task 1 @datawhale
发布帮助关闭推荐系统组队学习推荐系统（RS）本质简介分类DL方法未来发展方向推荐系统（RS）本质是实现商品利益最大化的一种工具作为一种信息过滤系统，用于预测用户对商品的“评分”或者“偏好”简介主要是指应用协同智能（collaborative intelligence）做推荐的技术个性化推荐系统可以有效解决信息过载问题，可以根据用户历史偏好和约束为用户提供排序的个性化物品分类协同过滤（仅使用用户与商品的交互信息生成推荐）系统、基于内容（利用用户偏好和／或商品偏好）的系统和混
2020-10-20 10:23:00
194
1
原创 2020-09-11
任务1：数据读取学习目标下载好数据集，并理解赛题具体的背景；理解并梳理清楚赛题的任务；完成赛题数据读取；赛题介绍赛题名称：A城市巡游车与网约车运营特征对比分析赛题说明：出租车作为城市客运交通系统的重要组成部分，以高效、便捷、灵活等优点深受居民青睐。出租车每天的运营中会产生大量的上下车点位相关信息，对这些数据进行科学合理的关联和挖掘，对比在工作日以及休息日、节假日的出租车数据的空间分布及其动态变化，对出租车候车泊位、管理调度和居民通勤特征的研究具有重要意义。出租车/网约车：上下车地点挖掘；出
2020-09-11 22:10:43
103
原创 Task 0 DCIC初探
学习主题比赛链接：https://data.xm.gov.cn/opendata-competition/index.html#/算法分析真实场景：A城市巡游⻋与网约⻋运营特征对比分析＃＃问题陈述因为在境外，没有及时收到验证码，直到今晚才解决目前的情况是大致过了一眼数据集，预处理的时候需要注意下空字符串...
2020-09-07 23:42:13
173
原创 Task3 基于机器学习的文本分类
基于机器学习的文本分类在本章我们将开始使用机器学习模型来解决文本分类。机器学习发展比较广，且包括多个分支，本章侧重使用传统机器学习，从下一章开始是基于深度学习的文本分类。学习目标学会TF-IDF的原理和使用使用sklearn的机器学习模型完成文本分类机器学习模型机器学习是对能通过经验自动改进的计算机算法的研究。机器学习通过历史数据训练出模型对应于人类对经验进行归纳的过程，机器学习利用模型对新数据进行预测对应于人类利用总结的规律对新问题进行预测的过程。机器学习有很多种分支，对于学习者来说应该优先
2020-07-25 22:12:33
101
原创 Datawhale零基础入门NLP赛事 - Task1 赛题理解
**赛题理解**赛题名称：零基础入门NLP之新闻文本分类赛题目标：通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建和模型训练等知识点。赛题任务：赛题以自然语言处理为背景，要求选手对新闻文本进行分类，这是一个典型的字符识别问题。学习目标理解赛题背景与赛题数据完成赛题报名和数据下载，理解赛题的解题思路赛题数据赛题以匿名处理后的新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出14个候选分类类别：财经、彩票、房产、股
2020-07-21 23:09:09
71
原创 零基础入门CV赛事-Task5 模型集成
零基础入门CV赛事-Task5 模型集成知识点常用集成学习方法注意事项心得体会知识点集成学习方法深度学习中的集成学习结果后处理思路常用集成学习方法bagging VS random forest（随机森林）boosting、adaboost 、GBDTstacking集成学习的目的是通过构建并结合多个分类器来完成学习任务，通过多个学习器的结合，以期获得比单一学习期更好的泛化性能注意事项集成学习只能在一定程度上提高精度，并需要耗费较大的训练时间，因此建议先使用提高单个模型的精度
2020-05-25 21:24:20
143
原创 零基础入门CV赛事-Task4 模型训练与验证
零基础入门CV赛事-Task4 模型训练与验证学习目标数据集划分模型训练与验证学习目标理解验证集的作用，并使用训练集和验证集完成训练学会使用Pytorch环境下的模型读取和加载，并了解调参流程数据集划分训练集用来训练模型内参数的数据集，Classfier直接根据训练集来调整自身获得更好的分类效果验证集用于在训练过程中检验模型的状态，收敛情况。验证集通常用于调整超参数，根据几组模型验证集上的表现决定哪组超参数拥有最好的性能。同时验证集在训练过程中还可以用来监控模型是否发生过拟合
2020-05-25 16:42:48
213
原创 零基础入门CV赛事-Task3 字符识别模型
零基础入门CV赛事-Task3 字符识别模型一级目录二级目录三级目录CNN 概述Pytorch构建CNN模型一级目录二级目录三级目录CNN 概述略（卷积神经网络）Pytorch构建CNN模型方法1 根据baseline调参在Pytorch中构建CNN模型非常简单，只需要定义好模型的参数和正向传播即可，Pytorch会根据正向传播自动计算反向传播。在本章我们会构建一个非常简单的CNN，然后进行训练。这个CNN模型包括两个卷积层，最后并联6个全连接层进行分类。import torchtor
2020-05-24 17:02:03
185
原创 零基础入门CV赛事-Task2 数据读取与数据扩增
零基础入门CV赛事-Task2 数据读取与数据扩增数据读取与数据扩增学习目标图像读取报错归纳常用扩增方法数据读取与数据扩增学习目标学习Python和Pytorch中图像读取学会扩增方法和Pytorch读取赛题数据图像读取报错归纳Pillow根据baseline给出的步骤，安装pillow，但是报错，查了下是因为pillow在7.0以后的版本对相关组件不支持，但是忘记截图，就找了我在CSDN上看到的帖子，并试着用该方法，结果出现了跟评论区一样的问题。报错解释：torchvisio
2020-05-22 18:15:35
219
原创 Task01：赛题理解
计算机视觉实践（街景字符编码识别）Task01：赛题理解学习目标了解赛题赛题小结步骤归纳Step 1 搭环境（参考[Baseline](https://github.com/datawhalechina/team-learning/blob/f68dc9a6e749976978a86b09d4a44fbfd40c70c7/03%20%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%
2020-05-20 23:29:28
305
原创 Task3 Session Cookie ip代理 selenium
Task 3 session和cookie的区别Selenium 爬虫入门hello world输入和输出输入输出使用代理服务器通过命令行参数指定代理使用插件控制代理session和cookie的区别1，session 在服务器端，cookie 在客户端（浏览器）2，session 默认被存在在服务器的一个文件里（不是内存）3，session 的运行依赖 session id，而 sess...
2020-04-25 00:47:46
250
原创 Task2 bs4 xpath和正则表达式
Task2 bs4 xpath和正则表达式Beautiful Soup简介与安装简介安装：导入：创建BeautifulSoup对象：遍历HTML节点的方式：XpathXPath概览XPath常用规则所有节点子节点父节点属性匹配文本获取属性获取属性多值匹配按序选择节点轴选择Beautiful Soup简介与安装简介 简单来说，Beautiful Soup是python的一个库，最主要的功...
2020-04-23 22:25:05
489
Task01：html等有关知识，api使用，request-get使用
Task01：html等有关知识，api使用，request-get使用request 库安装使用发送http请求构造urlHTTP响应正文响应正文固定的结构request 库安装pip install requests使用发送http请求首先将requests库import进来：import requests然后，可以使用requests来发送get请求：r = req...
2020-04-21 22:06:20
125
原创 Datawhale 零基础入门数据挖掘-Task5 模型融合
Datawhale 零基础入门数据挖掘-Task5 模型融合一级目录二级目录三级目录模态处理一级目录二级目录三级目录神图镇楼模态处理
2020-04-02 15:10:12
867
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人