- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 过拟合解决方法——样本不平衡解决方式
1.样本不平衡导致。这个是重中之重 ，非常非常非常非常重要2.训练集和测试集样本分布不同。3.模型太过于复杂。4.过度训练。随着本身实验的进行，对于代码实验做得较多的同学，基本上最终都能发现基本上过拟合问题都来源于数据源的问题。现代的算法序列挖掘算法，分类回归等深度学习算法发展至今已经较为成熟。无论是torch还是tensor 默认参数就已经能达到较好的效果。因此 对数据本源的研究是重中之重。chatgpt的出现，能看出来现在大模型的应用得到了较好的应用。
2023-06-26 11:25:22
382
原创 深度学习高阶篇----学习率调度
深度学习高阶篇----学习率调度交流学术思想，加入Q群 号：815783932找到一个好的学习率非常重要，设置过高，会导致训练发散，设置过低，会导致收敛到最优解，但是花费时间刚长，更新较慢。1、幂调度将学习率设置为迭代次数t的函数，公式如下：其中初始学习率是η0，幂c一般设置为1，步骤s为超参数。根据迭代次数t可知，每一次epoch都会下降，下降为一开始迅速下降，最后越来越慢。利用keras 实现 幂调度十分简单。##幂调度optimizer=keras.optimizers.SGD(le
2022-05-06 18:36:22
1027
1
原创 python XGboost回归预测 算法实现和原理讲解（比赛青睐）
对经典问题 波士顿房价进行回归预测一、加载波士顿数据集并观察数据的shape。from sklearn.model_selection import train_test_splitdef del_data(): #建立处理数据集的方法，便于直接带入xgboost算法 (train_data, train_targets), (test_data, test_targets) = boston_housing.load_data() print(train_data.shape)
2021-10-18 10:57:01
39806
3
原创 C++容器操作集合。vector、set、string、map、queue、stack、pair
vector 数组vector<vector<int>> name ###这样定义的数组是可变长度的vector<int> Arrayname[arraysize] ###这样是固定长度的数组容器vector 数组通过迭代器访问vecrtor<int>::iterator it;vecrtor<int>::iterator it=vi.begin(); //通过调用函数访问第一个元素的地址赋给迭代器cout&l
2021-07-08 17:09:33
276
原创 python 爬虫进阶教学selenium保存到CSV
python 爬虫进阶教学selenium保存到CSV1.首先你要下载selenium的驱动，具体驱动可以到我主页找资源，各个版本我都有各个操作系统。import requests,bs4,re,selenium.webdriver,time,csv,threading,osCHROME_DRIVER ="G:\Download\chromedriver.exe"BASE_URL = "https://movie.douban.com"CHART_URL = BASE_URL+"/chart"
2021-04-03 15:24:28
1668
1
原创 python 爬虫 几句话学会爬虫
python 爬虫可以基于requests，和urlib3来进行爬取，想要写一个普通的爬虫，只需要对你要爬取页面进行简单的分析。例如 ：我们爬取豆瓣的电影信息。https://movie.douban.com/chart通过f12 访问console 输入 document.charset 访问这个网页用什么编码方式。下面就开始写代码定位到你要爬取的地方。import requests,bs4,re,selenium.webdriver,time,csv,threading,osBASE_
2021-04-03 14:56:39
171
原创 KNN k近邻算法（聚类算法），一篇文章搞懂（通俗解释）
KNN 聚类算法通俗定义，物以类聚，人以群分。将数据代入算法，距离较近的就是同一类，对真实的数据进行聚类。KNN的算法原理：欧几里得原理其实就是多维数据之间的绝对距离计算公式，距离近的话就会被划分为一个类别。 k值是可变的，表示投票权重，就是概率问题，算法根据概率做选择。 KNN 算法优缺点 缺点： 时间和空间复杂度太高了， 不适合训练数据过大的。 优点：理解起来很简单，入门就能学会使用。代码实现简单一点的。举一个简单的电影多分类问题根据特征。import numpy as
2021-03-30 21:49:31
2515
原创 特征筛选，归一化操作（SelectKBest，随机森林）PCA降维
特征筛选，归一化操作（SelectKBest，随机森林）SelectKBest和卡方检验，随机森林算法降维，归一化操作。（1）读取数据，分为特征和label值。from sklearn.feature_selection import SelectKBestfrom sklearn.feature_selection import chi2import pandas as pdcontent=pd.read_csv('dynamic.csv')x=content.iloc[:,0:-1]
2021-03-28 23:38:35
6225
原创 python对文档的操作 异常处理，os读取选定文件夹目录内容。
python对文档的操作 异常处理，os读取选定文件夹目录内容。def read_file_name(): file_path=r'D:\Program Files\untitled3' file_name=[] for i in os.listdir(file_path): file_name.append(i) return file_namefile_name 返回当前文件夹的内部文件形成list列表。工程中读取文件夹许多文件会出
2021-03-28 22:59:24
244
10
原创 WEB开发 访问计数规则django， set_cookie
WEB开发 访问计数规则django， set_cookie您的赞赏是我不断学习的动力。 model = get_object_or_404(MODELS, pk=blog_pk) if not request.COOKIES.get('model_%s_readed' % model_pk): model.readed_num += 1 model.save()##若cookies中没有浏览到这个'model_%s_readed' % model_pk
2021-03-28 20:44:10
149
原创 python如何循环创建多个列表
python如何循环创建多个列表list = []for i in range(10): list.append([])print(list)print(list[0])循环创建出了十个列表通过list[],list[1]…访问列表
2021-03-28 17:31:28
9766
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人