![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
总结
JerryZengZ
这个作者很懒,什么都没留下…
展开
-
爬虫前行中(datawhale task4)
腾讯新闻爬取from selenium import webdriverfrom lxml import etreeimport timeurl = 'https://news.qq.com/'bro = webdriver.Chrome()bro.get(url)for i in range(5): bro.execute_script('window.scrollTo(0...原创 2020-04-27 15:09:15 · 213 阅读 · 0 评论 -
爬虫进行中(datawhale task3)
本次目标:了解session和cookie,ip代理知识,selenium的使用,拔高:实现丁香园的模拟登录爬取留言板session和cookie因为http是无状态的,就是说这一次请求和上一次请求是没有任何关系的,互不认识的,没有关联的。这种无状态的的好处是快速。坏处是假如我们想要把www.zhihu.com/login.html和www.zhihu.com/index.html关联起来,...原创 2020-04-24 15:46:06 · 254 阅读 · 0 评论 -
爬虫前行中(datawhale task1)
了解http基础http协议方法:GET 请求指定的页面信息,并返回实体主体。 HEAD 类似于get请求,只不过返回的响应中没有具体的内容,用于获取报头POST 向指定资源提交数据进行处理请求(例如提交表单或者上传文件)。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。PUT 从客户端向服务器传送的数据取代指定的文档的内容...原创 2020-04-20 10:25:36 · 277 阅读 · 0 评论 -
DataWhale数据挖掘(二手车价格预测)第五次打卡
模型融合目标1、对于多种调参完成的模型进行模型融合。2、完成对于多种模型的融合,提交融合结果。导入库和数据import itertoolsimport matplotlib.gridspec as gridspecfrom sklearn import datasetsfrom sklearn.linear_model import LogisticRegressionfrom s...原创 2020-04-04 11:59:19 · 254 阅读 · 0 评论 -
DataWhale数据挖掘(二手车价格预测)第四次打卡
建模调参特征工程目标1、了解常用的机器学习模型,2、掌握机器学习模型的建模与调参流程(主要通过模型的效果来调参)线性回归模型sample_feature=sample_feature.dropna().replace('-',0).reset_index(drop=True)sample_feature['notRepairedDamage']=sample_feature['not...原创 2020-04-01 18:26:52 · 233 阅读 · 0 评论 -
DataWhale数据挖掘(二手车价格预测)第三次打卡
特征工程目的1、对于特征进行进一步分析,并对于数据进行处理2、完成对于特征工程的分析,并对于数据进行一些图表分析删除异常值通过用3/4分为数和1/4分为数划分异常范围,之间删除异常值#删除异常值函数def outliers_proc(data,col_name,scale=3): ''' 用于清洗数据 :param data : pandas格式数据 ...原创 2020-03-27 13:37:26 · 274 阅读 · 0 评论 -
DataWhale数据挖掘(二手车价格预测)第二次打卡
数据分析前言:EDA的价值主要在于熟悉数据集,了解数据集,对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。载入各种数据科学以及可视化库(都是使用常用的库)载入数据#se...原创 2020-03-24 13:50:11 · 361 阅读 · 0 评论 -
牛客三月份考试(三道代码题)
昨天参加牛客的全国模拟考试(三月场),感受了一下考试的紧张,也知道了自己有多菜,本想着刷了不少的代码题,写代码应该没有问题,但是三道题,没有一题写出来,也知道了自己还要继续努力了。备注:对于选择题,考察的知识点有:数据结构、计算机网络(滑动窗口)、hadoop启动、机器学习、概率论(其他的忘记了)第一题题目:开锁问题,给定一个锁密码和一个目前状态,问最少需要几步可以开锁。分析:通过比较...原创 2019-03-15 13:55:10 · 192 阅读 · 0 评论 -
五大常用算法之二:动态规划算法
基本概念动态规划过程是:每次决策依赖于当前状态,又随即引起状态的转移,一个决策序列就是在变化的状态中产生的,所以这种多阶段最优化决策解决问题的过程就称为动态规划(dynamic programming)基本思想与分治法类似,将待求解问题分割成若干子问题,按顺序求解子问题,前一个子问题的解,为后一个子问题的求解提供了有用的信息。由于动态规划解决的问题多数存在重叠的子问题,为了减少重复计算,...转载 2019-03-18 21:05:18 · 208 阅读 · 0 评论