weixin_43954971的博客

原创 docker提交天池-修改再次提交

一、配置docker环境下载docker desktop确保电脑版本和软件版本的一致性配置Docker Desktop在系统右下角托盘图标内右键菜单选择 Settings，使用镜像加速器：选择 Daemon。旧版本在Registry mirrors里直接添加https://5w5jh673.mirror.aliyuncs.com 网址 ；新版本选择 Docker Daemon。编辑窗口内的JSON串，填写下方加速器地址：{“registry-mirrors”: [“https://5w5

原创 搭建TensorFlow+pytorch环境：jupyternotebook使用

1. tensorflow安装1.1 安装Anaconda从官网下载：https://www.anaconda.com/download/官网下载起来很慢，国内清华镜像网站：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/1.2 安装Tensorflow打开安装好的Anaconda中的 Anaconda Prompt添加镜像conda config --add channels https://mirrors.tuna.tsinghu

原创 【知识图谱】基本认识

目录为什么需要知识图谱？什么是知识图谱？—KG的前世今生一、 为什么需要KG二、 相关概念及形式化表示语义网络，语义网，链接数据，知识图谱一、语义网络（Semantic Network）二、 语义网（Semantic Web）和链接数据（Linked Data）三、 知识图谱知识图谱基础之RDF，RDFS与OWL一、 知识图谱的基石：RDF二、 RDF的“衣服”——RDFS/OWL为什么需要知识图谱？什么是知识图谱？—KG的前世今生一、 为什么需要KG计算机无法获取网络文本的语义信息，实现看到的不仅是

原创 【datawhale】Task5 模型融合

原创 【datawhale】Task4 建模与调参

模型比较线性模型和嵌入式特征选择在过滤式和包裹式特征选择方法中，特征选择过程与学习器训练过程有明显的分别。嵌入式特征选择在学习器训练过程中自动地进行特征选择。嵌入式选择最常用的是L1正则化与L2正则化。在对线性回归模型加入两种正则化方法后，他们分别变成了岭回归与Lasso回归。L2正则化在拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。 因为一般认为参数...

原创 【datawhale】Task3 特征工程

常见的特征工程包括：异常处理：通过箱线图（或 3-Sigma）分析删除异常值；BOX-COX 转换（处理有偏分布）；长尾截断；特征归一化/标准化：标准化（转换为标准正态分布）；归一化（抓换到 [0,1] 区间）；针对幂律分布，可以采用公式：数据分桶：等频分桶；等距分桶；Best-KS 分桶（类似利用基尼指数进行二分类）；卡方分桶；缺失值处理：...

原创 【datawhale】Task2 数据分析

目标了解，验证数据集了解变量关系，与预测值之间关系数据处理、特征工程数据探索性分析EDA探索性数据分析观察数据结构，类型，每个属性的数据分布情况，为接下来的特征提取铺垫，在建立模型和修正模型的同时，不断进行数据分析。通过制图指标方式拟合等可视化方法：pandas_profiling生成一个较为全面的可视化和数据报告；missing no；预测值频数；对类别特征查看unique分...

原创 【datawhale】Task1 赛题理解

二手车交易价格预测分析二手车交易记录，预测二手车交易价格，得准确率。其中15万条作为训练集，5万条作为测试集A，5万条作为测试集B。评测标准MAE，平均绝对值误差：预测值与实际值之差除以个数解题思路典型回归问题，应用xgb、lgb、catboost，以及pandas、numpy、matplotlib、seabon、sklearn、keras等等数据挖掘常用库或者框架来进行数据挖掘任务。...

原创 python机器学习指南-KNN算法的回归预测优缺点总结

给定输入输出对的示例，根据所给输入预测结果，都应该使用监督学习1分类与回归分类问题目标：预测类别便签（class label）回归问题目标：预测连续值，例如：根据教育水平、年龄、居住地预测一个人年收入，可以在给定范围内任意取值；根据上一年产量、天气和员工数预测玉米农场今年产量输出是否具有某种连续性2泛化、过拟合、欠拟合训练集训练出的模型能够精确的应用到测试集，则称这个模型能够从训练集泛...

原创 python机器学习指南-鸢尾花分类

我们的目标是构建一个机器学习模型，可以从已知品种的鸢尾花测量数据中进行学习，从而能够预测新鸢尾花的品种。在这个问题中，我们要在多个选项中预测其中一个（鸢尾花的品种）。这是一个分类（classification）问题的示例。可能的输出（鸢尾花的不同品种）叫作类别（class）。数据集中的每朵鸢尾花都属于三个类别之一，所以这是一个三分类问题。初识数据鸢尾花（Iris）数据集，这是机器学习和统计学中...

原创 python机器学习指南-库和工具

numpyimport numpy as npx = np.array([[1, 2, 3], [4, 5, 6]])print("x:\n{}".format(x))SciPySciPy 是 Python 中用于科学计算的函数集合。最重要的是 scipy.sparse：它可以给出稀疏矩阵（sparse matrice）from scipy import sparse# 创建一个二...

原创 anaconda使用笔记

包管理condaconda list 列举当前环境下的所有包conda list -n packagename 列举某个特定名称包conda install packagename 为当前环境安装某包conda install -n envname packagename 为某环境安装某包conda search packagename 搜索某包conda updata package...

原创 PAT：基础编程题目集-函数题6-9,6-10,6-11

6-9 统计个位数字int Count_Digit ( const int N, const int D )//返回N中D出现的次数{ if(N==0&&D==0) return 1; int ans[10]={0}; int m=abs(N);//取绝对值 int x; while(m!=0) { x=m...

原创 19保研：计算机网络复习-网络层

第四章 网络层IP层功能（1）异构网络的互联由路由器实现；计算机网络使用相同的网际协议IP，多网络连接成一个虚拟互联网络（2）路由选择与分组转发（3）拥塞控制确保网络能够正常传输数据，是一个全局性的问题判断网络是否拥塞：网络吞吐量和网络负载之间的关系流量控制：发送端发送的数据接收端来得及接收，点对点的信息量控制路由算法静态路由算法（手动修改）动态路由算法（自适应路由...

原创 19保研：计算机网络复习-数据链路层

第三章 数据链路层功能封装成帧：帧定界、帧同步透明传输差错控制、流量控制差错控制自动重传请求检测出差错时，通知发送端重发，知道接收正确为止前向纠错不仅能发现错误，能确定错误位置，加以纠正检错编码奇偶校验码 2. 循环冗余码crc流量控制由接收方控制发送方发送数据的速率，两种方式：停止-等待协议：发送方每发一帧，接收方须发应答滑动窗口协议发送方，发送窗口...