Ducunyu的博客

Baseline模型1.数据归一化二级目录三级目录开始Baseline模型训练之前，还需要做数据归一化。数据标准化就是:数据按最小值中心化后,再按极差(最大值-最小值)缩放，数据会被收敛到[0,1]之间，目的是让特征大小变换到统一风格。使用sklearn.preprocessing的MinMaxScaler来实现这个功能1.数据归一化form sklearn.preprocessing import MinMaxScalerlabels_train=df_train['TARGET']fe

在业界广泛流传这么一句话，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而异。实际中，构造一个有效的特征带来的回报要比构造复杂模型和调参来的大，由此可见特征工程的重要性。

文章目录1.数据集1.1 数据集介绍1.2 导入必要的工具包1.3 数据读取2.数据探索2.1 查看标签的分布情况2.2 查看缺失值2.3 查看特征数据类型2.4 异常点检测2.5 相关性检验2.6 年龄对还款的影响(探索)2.7 外部数据源文章正文1.1 数据集介绍本次使用的数据集来源于Kaggle平台，由home credict提供，该公司的服务致力于向无银行账户的人群提供信贷。我们只用到以下数据集：application_train/application_t.

本节内容包括：树模型的sklearn使用：Decision TreeRandom ForestGBDT分类评价指标说明：AccuracyTPR和FPRROC曲线PR曲线APF1 score交叉验证：k折交叉验证留一交叉验证超参搜索：网格搜索随机搜索hyperopt自动化搜索...

欠拟合与过拟合解释实例–多项式拟合1.导入必要的模块import numpy as npimport pandas as pdimport matplotlib.pyplot as plt2.生成数据2.1构建数据生成函数def data_generator(samples,random_seed=0): np.random.seed(random_seed)# 设置随机种子 X=np.random.uniform(-5,5,size=samples)# 从-5到5中随机抽取100个实数

@[TOC]Logistic回归的sklearn实现导入必要的模块生成数据模型搭建模型训练模型预测查看logistic回归模型画出预测曲线计算评价指标accuracy1.导入必要的模块import numpy as npimport pandas as pdimport matplotlib.pyplot as plt2.生成数据2.1定义数据生成函数def create_data(data_num=100): np.random.seed(21) x1=

线性回归sklearn实现1.导入必要的模块2.构建数据集3.数据划分4.模型搭建5.模型训练6.模型预测7.查看线性回归模型8.计算评价指标MSE线性回归sklearn的实现# 安装sklearn!pip3 install sklearn# 1.导入必要的模块import numpy as npimport pandas as pdimport matplotlib.pyplot as plt2.构建数据集x=np.array([50,30,15,40,55,20,45,

项目目标：完成一个在线学员信息管理系统数据临时存放在变量列表中实现学生信息的添加，删除和查询操作通过案例实战，锻炼和巩固Python基础知识如下图所示：学员信息管理系统界面1.初始界面2.添加学员信息3.添加后需要查看学员信息4.删除指定的学员信息5.退出学员信息管理系统拿到一个项目后，先建立分析思路：先分析项目有哪些功能需要实现项目的核心功能有哪些界面展示是什么界面如何和用户交互'''1.学员信息数据源2.实现的功能： 1查看学员信息 2添

函数的本质就是对功能的封装和对代码的抽象函数的作用：1.避免开发重复性相同的代码2.便于程序的理解和维护3.对底层代码的抽象基本的函数格式def 函数名():函数功能代码…函数功能代码…return(没有return,默认返回None)调用函数：函数名()特征：函数定义之后不会自动执行，必须在调用后才会执行函数名的命名规则：驼峰+动词开头带有参数的函数格式def 函数名(参数，参数…)形参：形式上的参数，声明函数时()中的参数就是形参实参：实际上..

遍历就是将每一个元素单独取出。可以遍历比如：字符串、列表、元组、字典、以及嵌套数据结构，代码实现如下：# 遍历listnames=['xh','xj','xm']for name in names: print(name,end=' ')# 在for...in 循环用于遍历容器类的数据(字符串，列表，元组，字典，集合)# 遍历字符串for i in 'abcd': print(i,end=' ')# 遍历列表for n in [10,20,30]: print(n)

for循环的一般格式：for<variable>in<sequence>: <statements>else: <statements>代码操作如下：# for...in循环#1到10求和sum=0for x in [1,2,3,4,5,6,7,8,9,10]: sum=sum+xprint(sum)# 遍历listnames=['xh','xj','xm']for name in names: print(na.

while循环执行的流程图：实际操作代码：# while 循环和breakn=1while n<=100: if n>10: # 当n=11时，条件满足，执行break语句，跳出while循环体 break print(n,end=',') n=n+1print('END')# while循环，只有条件满足，就不断循环，条件不满足时退出循环# 在循环中，break语句可以提前退出循环# 死循环就是循环不会终止的循环类型i=1sum

代码执行操作：# 单项分支age=22if age>=18: # 对输入的信息进行条件判断，返回true执行该条件下的代码块，返回false不执行代码块 print('your age is',age) print('adult')print('ok')# 双项分支age=15 #初始化一个年龄if age>=18: print('your age is',age) print('adult')else: print('your ...

Set是一个无序不重复的序列可以使用大括号{}，或set()函数来创建注意：创建一个空集合必须使用set()而不是{},因为{}是用来创建空字典的创建格式：{value1，value2，value3，value4…}或者set(value)集合之间可以进行-（差集）&（交集）|（并集）^（反交集）Set（集合）运行代码如下：s=set([1,2,3]) print(s)s=set([1,1,2,2,2,3,3]) #自动去重print(s)s1=set([1,2,3]).

Dictionary(字典)Dictionary 是无序集合对象，元素是通过key-value健值对来存取的Dictionary是一种映射类型，用{}来标识，它是一个无序的key:value对集合key必须使用不可变类型，在同一个字典中，key必须是唯一的dictionary也有一些内置的函数，clear(),keys(),values()等dictionary方便我们使用查找和搜索功能创建空的dictionary使用{}具体看代码操作：d={'yh':90,'xh':79,'xm'

Tuple(元组)Tuple(元组)与列表相似，不同之处在于元组的元素不能修改Tuple(元组)中的元素用小括号括起来，并用逗号隔开Tuple(元组)中的元素类型也可以不同同样支持切片操作索引值从0开始，以-1结束如果Tuple(元素)只有一个，写成(1,)具体的代码运行过程：# 元组t=('a','b','c')t[1]=1 # 元组中的元素不能被修改TypeError Traceback (most recent.

List(列表)是一种有序集合，可以随时添加和删除其中的元素；列表的元素可以不同；列表同样支持切片，截取语法如下：.变量[起始下标：结束下标：步进].列表格式[‘yh’,‘micheal’,‘jack’] []之间，元素用逗号隔开.索引值从0开始，-1代表末尾.使用(+)可以连接两个列表，(*)是重复操作classmates=['yh','xiaobai','xiaoming']type(classmates)listlen(classmates)3classmates[1]x.

Python3中只有一种整型类型int内置的type()函数可以查询变量所指的对象类型也可以使用内置的instance()函数来判断Python中的True值是1，False值是0浮点只有单精度float,没有double双精度In [1]: a=100In [2]: type(a)Out[2]: intIn [3]: b=aIn [4]: bOut[4]: 100In [5]: a='abc'In [6]: b=aIn [7]: type(b)Out[7]: .

print('hello python')# 用空格来分割输出数字print(1,end=' ')print(2,end=' ')print(3,end=' ')print(4,end=' ')print(5)'''''''print(500)print(500+800) # 先进行运算，输出运算的结果print('500+800=',500+800)# input('请输入一个数字') #一直等待用户输入# print('我输入的是',input('请输入一个数字'))

本篇文章从初识数据库对常用的MySQL做个简单的介绍，MySQL的组成结构MySQL基础操作和指令上述基础的操作指令，我们在pycharm中演示下：show databases;create database recommend2 charset utf8;drop database recommend2;create database test2 charset utf8;show variables like 'character_set_database';drop data

pycharm 中创建好数据库，操作数据库指令时比如：show databases;报错：Server returns invalid timezone.Need to set’server Timezone’ property截图如下：根据错误提示，点击set time zone设置serverTimezone为： Asia/Shanghai重新运行后，显示OK：...

先声明本次涉及到的内容：根据组合框设置条件格式. row()函数动态的图表使用动态的一行，这行数据可以使用名称来定义offset函数可以得到一行的四个数据，选中显示额区域offse()函数，需要得到数值，需要ctrl+shift+enter得到数组定义一个名称(名称里面取的就是这些数据)最终的显示效果：组合框中选择不同的外卖，表格中的颜色和图表也会同步显示。需要注意的：组合框的条件设置动态图表中的数据来源通过offset截取到一个数组对截取到的数值定义名称动态图表的数据源选择刚

本文章涉及内容：1.反选2.使用控件，完成动态图表开发者模式显示控件使用组合框+offset+名称构造动态图表使用列表框+辅助表格构造动态图表使用复选框构建动态图表如图所示：最终实现的效果是选择不同的渠道:美团、饿了么、糯米、smartchef,右侧的表格数据和柱形图同步发生变化，展现的是动态图表，具体的实现步骤如下：添加控件，路径为：开发工具>>插入>>组合框(窗体控件)设置控件格式，右击组合框>>设置控件格式>>分别设置数据源区域

项目场景：爬取招标网站必联网，出现KeyERROR问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget

先贴上项目的背景信息：如上表格即为需要爬取到的信息，根据提取要求，先分析需要提取的内容都分布在目标网站哪里，先打开目标网站，这里以必联网为例，假设搜索的关键字为：路由器此网站打开：https://ss.ebnew.com/tradingSearch/index.htm可以看到的内容包括：信息类型、标题、产品范畴、招标方式、招标截止时间，招标截止时间打开其中一个项目详情，进入到二级页面：可以看到项目编号(这里为空)，所属行业页面继续往下滑动，可以看到项目编号，确认清楚自己需要的内容在页面何处，

文章目录前言一、Scrapy框架是什么？二、Scrapy异步框架原理1.同步与异步的概念2.Scrapy异步框架原理总结前言Scrapy框架实现异步爬虫，提高效率一、Scrapy框架是什么？Scrapy 的一种异步爬虫工具，该工具是为了解决爬取多个url地址实现异步爬取而创建的。二、Scrapy异步框架原理1.同步与异步的概念2.Scrapy异步框架原理ScrapyEngine:Scrapy引擎Spiders:创建的爬虫文件Scheduler:调度器，接收到spider的reques

项目需求：下载CSDN博客上有关python的热门文章老规矩在开始上手代码前，先对需求进行分析和梳理将思路先整理出来如何定义该博客为热门博客需要下载多少篇博客下载的博客应该如何命名既然是去CSDN博客上下载，那么首先打开CSDN博客首页：网址：blog.csdn.net[CSDN博客首页]这里有3个关键点：1.如何定义该博客为热门博客–>我们发现有些博客有浏览量，有些没有，先定义有浏览量的为热门博客2.下载的数量–>可以定下载多少页，比如从第一页到第十页3.博客的名称

需求背景：提取CSDN学院首页左侧的课程栏目先声明一点:提取的CSDN学员首页是一个html对象，并且是下载到本地的静态html页面如下为提取的代码实现整个过程，import lxml.etree as le # 在python中如果需要运用xpath,那么就要调用python中的lxml中的etree模块### 要思考一件事，你当前处理的问题在哪个领域范围内的，先定位到所需知识领域，再定位需要解决的问题，在此基本上考虑需要调用哪到的模块## 读取本地保存的一个静态html,读取的路径，以

项目需求：需要提取到微课商城里面所有的课程种类和课程名称，如下图所示：拿到一个需求后，先别着急上手直接写代码，先思考背后的逻辑：该微课商城的网页结构是什么，组成部分有哪些该微课商城的网页结构层次关系实现该需求使用到的函数会涉及到哪些，比如re模块的， findall提取实现该需求的先后步骤是什么接下来再代码中去实现上述需求：## 本次目标是分析商城的分类结构，提取到课程名称和种类import rewith open('static/html/index.html','r',encod

写在前面的话：re模块当中有很多函数，但是以下三种：re.sub, re.findall, re.match 这三个命令是爬虫当中经常使用到的爬虫当中经常使用到re.sub,re.findall,re.match 进行数据清洗，提取，请务必掌握好这3个命令。接下来就是一些小案例，训练并掌握下对re.sub,re.finadll,re.match的运用以及对应输出的结果有一定的认知。findall：提取 ——>核心在于，要提取什么(定义个正则表达式，在哪里进行)sub：替换 ——>核

需求简述：电脑上下载了大量的以.xlsx文件，需要将.xlsx合并在一张.xlsx中，如果手动去合并太浪费时间而且容易出错当前存在的问题：1、xlsx存放在同一个文件夹，但文件夹中也存在其他类型的文件，比如.txt，以及pdf，而需求是只合并xlsx类型的文件2、各个xlsx表头可能会不一致import xlrdimport pandas as pdimport os```python指定存放文件的地址,也就是要去读哪个文件夹下的文件,这是一个绝对路径dir_str=r’D:\米家业务

本教程特别适合刚入门，简单易懂整体框架流程分三个步骤原料、工具、制作工序1.原料：可供制作词云的原始词汇库2.工具：pycharm，jupyter notebook等选择其一(本案例中选用的是jupyter notebook3.制作工序：编写的代码块按照上述步骤依次操作：PC本地存有TXT文本，本次教程利用的是PC的D盘上用户评论内容，打开jupyter notebook，选择新建（如尚未使用过jupyter nook可以切换pycharm 或者其他使用过的编译器）按照惯例需要先进行导包操作

错误显示：File "<ipython-input-3-2ed086dff244>", line 1 X，y = mnist['data'], mnist['target'] ^SyntaxError: invalid character in identifier原因分析：根据箭头指向，定位错误X，y之间invalid character 字符方面，应该是中英文输入导致，重新在英文状态下输入后，运行OK...

源代码如下：C:\Users\86258>pip listTraceback (most recent call last): File "d:\python3.8.5\lib\runpy.py", line 194, in _run_module_as_main return _run_code(code, main_globals, None, File "d:\python3.8.5\lib\runpy.py", line 87, in _run_code exec(

老规矩，先上源代码：from sklearn.model_selection import GridSearchCVparam_grid =[ {'n_eatimatiors':[3,10,30],'max_features':[2,4,6,8]}, {'bootstrap':[False],'n_estimators':[3,10],'max_features':[2,3,4]},]forest_reg=RandomForestRegressor(random_state=42)

先看源代码的构建：这里有3个步骤，第一步：先获取到housing_num的列名，通过list方法# 对housing_num取list得到列名、对housing_num通过list()方法，得到列名num_attribs=list(housing_num)num_attribs第二步：将DataFrame转换为ndarray，需要构建class# dataFrame->series->ndarrayclass DataFrameSelector(BaseEstimator,Tra

AttributeError: ‘numpy.ndarray’ object has no attribute ‘fit’源代码运行如下：from sklearn.pipeline import Pipelinefrom sklearn.preprocessing import StandardScalernum_pipeline = Pipeline([ ('imputer',SimpleImputer(strategy="median")), ('attribs_adder',

创建一个imputer实例, 指定你要用属性中的中位数替代该属性的缺失值，再使用fit()方法将imputer实例适配到训练集，实现代码如下：from sklearn.impute import SimpleImputerimputer = SimpleImputer(strategy='median')imputer.fit(housing)运行结果如下：ValueError: Cannot use median strategy with non-numeric data:could n

创建一个imputer实例，指定要用属性中的XXX(中位数,平均数等)替代该属性中的缺失值，在sklearn中调用imputer方法，调用操作如下：from sklearn.preprocessing import Imputer as SimpleImputerimputer = SimpleImputer(strategy='median')运行后的结果：ImportError: cannot import name 'Imputer' from 'sklearn.preprocessing

首先配置好一个爬虫文件，经过测试配置的URL接口OK，接下来需要通过xpath来提取数据（提取的数据根据自身需要）先看下要爬取的网站页面信息：再看下编写的代码信息：import scrapyimport reclass BilianSpider(scrapy.Spider): name = 'bilian' allowed_domains = ['ebnew.com'] # start_urls = ['http://ebnew.com/'] # 存储的数据

通过运行如下代码，返回的是一个空列表# 模拟用户登录csdn学院，查看到该用户购买的课程，并拿到已经购买的课程名称# 对已登录用户的已购买课程的request url进行分析# 然后创建一个request，向该网站发送request请求# request请求得到响应url，# response的内容是一个url对象# 将url对象转换为python对象# 本地操作该python对象，并存储到本地，以HTML形式# 将response的内容存放在本地、存放为一个静态的HTML文件impor

DEBUG: Redirecting (301) to <GET https://edu.csdn.net/> from <GET http://edu.csdn.net>import scrapyclass S1Spider(scrapy.Spider): name = 's1' # 爬虫的名字 allowed_domains = ['blog.csdn.net'] # 如果URL地址的HOST不属于allowed_domains,则过滤掉该请求

调用Google控制台name中不显示sug,如图所示换了IE浏览器能够出现，问了群里的大佬，大佬给出：当初逆向了js，后来就发现，谷歌浏览器确实没有，语言逆向js解析破解反扒。但是换成电脑自带的ie浏览器就有，因此换成ie的useragent就可以直接爬，更换IE后，确实出现，感谢...

AttributeError: lxml.etree._Element object has no attribute xpthimport lxml.etree as le# 分析 xpath 语句，提取1级分类# xpath1=xpth('//div[@class="floor-container popular_recommend"]/text()')# 继续分析 HTML结构，提取2级分类# xpath2=xpath('//div[@class="floor-container popu

FileNotFoundError: [Errno 2] No such file or directory: ‘blog/Java学习的正确打开方式.html’import urllib.request as urimport lxml.etree as leurl = 'https://so.csdn.net/so/search/s.do?q={keyword}&t=all&platform=pc&p={page}&s=&tm=&v=&l=

import rewith open('index.html', 'r', encoding='utf-8')as f: html = f.read() print(html) pattern_1 = '<div class="email">(.*?)</div>' ret_1 = re.findall(pattern_1,html) print(ret_1)pyCharm中敲入上述代码，运行后的错误提示：AttributeError

正则表达式案例1：定义密码的正则表达式规则：英文字母开头，可以包括数字大小写英文字母下划线，6-16位^[a-zA-Z][a-zA-Z0-9_]{5,15}案例2：匹配div标签，匹配class="class1"中的文本内容: 要匹配的内容 div_pattern1 = '(.*)'...

No webpage was found for the web address:http://127/0/1/course/4提示非常明确，这个页面找不到，页面找不到，首先想到的是不是HTML的代码书写，是否遗漏接着路径配置的问题，于是返回到配置的urls检查，对比仔细查看代码是否由于大小写没区分，前后反复排查后，url这块也检查不出啥问题，接着又去检查数据和配置的model类，前期觉得错误肯定是出现书写不规范导致的路径获取不到信息，因为错误提示是NO FOUND GET/course/5

django.db.utils.DataError: (1406, “Data too long for column ‘username’ at row 1”)用户首页配置好，输入用户名点击修改错误提示：DataError1406“Data too long for column ‘username’ at row 1”返回用户首页配置，重新输入用户名，点击修改，未报错，这里的长度限制在model底层开发的时候限定的，可以看到username的最大长度为16...

登录后看到右上角显示这里控制web的显示，发现有个小细节错误，session_user.acount,修改为session_user.account原因是这个html的接口文件是之前由其他人写好的，所以这些小细节特别要留意的

ValueError: The view user.views.login_handler didn’t return an HttpResponse object.It returned None instead.重定向到course_views视图，return redirect(reverse(‘course_index’)) ，登录成功

NameError: name ‘context’ is not defined如下为登录接口的处理器运行后直接报错，原因也很清晰，NameError：name’context’ is not defined在一开始先定义好context后，这里定义，context=request.context

127.0.0.1访问web首页，图片始终获取不到，遇到问题首先是具有清晰的思路：定位问题分析问题查找与收集信息选择解决方案并立即实施验证解决方案以上思路具体的实施过程：图片显示不出来，第一步先看Django中的日志，日志提示在index.html, course.imgname定义不清晰，更改为course.imgName后，日志不再显示定义的问题了，刷新web页面，图片却依旧无法显示，于是继续查阅日志找不到图片的地址图片是上传到数据库中的，打开数据库看到后台也显示了filenam

TemplateSyntaxError: Invalid block tag1.运行：127.0.0.1浏览器报错，仔细看了下错误提示，根据提示快速定位到错误地点发现了错误，但是具体是什么原因导致的，在运行日志中分析出来了，大意是url’course_course’没有空格，于是快速将url 与’course_course’之间敲入空格后，重新运行目前访问是OK的，但是出现了另外一个问题，课程的图片不显示，继续分析问题…# 敲代码可能就是如此，很多时候出现问题更多的还是细节层面的#...

AttributeErrorAttributeError: module ‘user.views’ has no attribute ‘flush_session_handler’

视图函数中设置好 return HTTPResponse，运行一下manage运行也OK，点击如下显示的http://127.0.0.1:8000浏览器中运行也OK运行set_session，这里设置key=username,value=name1等待浏览器返回“设置成功”的提示，但是却显示空白回去检查了下视图，编码没问题，那么跟视图函数强相关的是子路由映射，于是进入user APP中的路由映射去检查了下这里没有任何的错误提示，但是仔细一看，发现问题了，修改如下，重新运行下manage，再次

错误现象：terminal终端中执行：python manage.py makemigrations报错，应该是连接到数据的用户名和密码错误，在网上查了下去检查settings.py中的DATABASE中设置的用户名和密码，name和password，然后创新下数据库这里检查到USER和PASSWORD可以删除之前的数据库再重新创建数据库：注意这里的User和Password需要与刚刚再settings中设置的保持一致但是悲剧的发现，告诉我密码有问题，尝试输入了好几次也不行继续上网上查询，这

前言：数据库配置需要用到两个安装包：pip install pymysqlpip install mysqlclientpymysql大部分安装成功，但是mysqlclient就出现各种失败，报错，接下来一步一步的教你如何解决此问题：在报错的提示中，ERROR: Faild building wheel for mysqlclient查了网站内各种解决方法，其中提到需要选择源码安装，于是进入到源码下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#m

大家访问搭建好的Django项目中，涉及到模板层语法调用时，HTML中码好浏览器要显示的内容，访问路径时报了如图所示的错误，有错误不怕，那就从源头开始，追根溯源，先看对应app设置的路径是否有问题：检查后，格式和符号都没问题再进入到路由映射的主路径检查包含了APP路径，namespace书写也没问题，那就再去视图函数中看看视图函数也没啥问题，参数项也没少，再回过头看看刚刚的错误提示：思考了一下，视图函数跟HTML之间的链接应该是出错了，点击左侧的HTML链接进行跳转：跳转到对应的HT

是否有其他人遇到pycharm新建Django项目，templates函数的配置有错误，如图所示修改templates的配置如下图所示

django框架中，对于namespace需要注意，如果按照如下格式填写，运行后直接报错，我们可以看到错误提示是：配置错误，具体原因namespace在include函数中不支持的这里有提个醒namespace在Django中配置格式如下：include((app.urls,‘appname)’,namespace=‘appname’)appname为Django中app的名称，修改上述格式后，重新运行OK。...

django 环境下配置urls，如下代码include(‘user’.urls)在user这个APP中应该要有一个urls.py这个文件，这个文件用于定义你的url地址对应返回哪些适度函数为我返回什么样的结果重新运行manage.py在terminal中输入python manage.py runserver 出现如图所示的错误：出错的代码行是line21 ，错误的原因是：NameError具体原因是：name’include’ is not defined快速定位到line21，打开imp

最近再学习Django 框架，首次尝试运行127.0.0.1:8000各种报错，图示：听说要换个浏览器，从火狐换到Google，觉得有点道理，换了Google，不行，还听说是端口的问题，将8000换成了9000打开浏览器后：输入127.0.0.1:9000报错依旧，此时受到提点，因为terminal终端报错了，各种尝试，各种搜索，试过很多方法，有种碰运气，哪种方案试成功了算哪种，多次返回terminal中输入：python manage.py runserver出现出错了，想想还是需要有点