数据分析与挖掘
加油啊DuXY
better and better
展开
-
数据分析笔记-岭回归与Lasso回归
岭回归:1、定义及原理岭回归(英文名:ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法在线性回归那里提到,如果我们的X矩阵存在不满秩或者几列数据相关性过强时,就会导致误差偏大。因此为解决上述问题在原函数后加一个正则项来将不适定问题转化为适定问题。即:j原创 2020-07-12 11:03:29 · 1857 阅读 · 1 评论 -
数据分析笔记-线性回归模型
**线性回归模型**1、一元线性回归核心:y = a +bx + ε1.1、借助散点图:相关性分析这里可以直接用pandas里面的corr来求:或者1.2、思路与方法:具体求解其实比较简单,就是使得后面的误差项ε最小这里,对a,b求偏导= 0,取误差时最小时的a,b1.3、Python实现2、多元线性回归2.1、核心理解:类似一元线性,这里写一下推导,也挺简单的:这里需要注意的是我们在做多元线性回归的时候一般要求xa 与xb的相关性不能太强,这在行列式运算中就表原创 2020-07-11 23:03:57 · 792 阅读 · 0 评论 -
win10 64位配置JAVA JDK环境变量
主要针对于,公众号科研sci绘图提供的SQL Sever 2016安装教程的补充。原文可查找公众号环境配置先将公众号原环境配置教程步骤粘贴如下:存在的问题:根据教程出现的问题是javc没有找到主要的原因是:1、教程采用了相对路径的配置方法去设置了path:即:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;所以它在cmd寻找时可能查找错文件夹,可用的方法是:把path设置成绝对路径(在bin下找到javac然后复制他的绝对路径,添加到path中)2、其次由于c原创 2020-06-10 12:16:18 · 317 阅读 · 0 评论 -
IPython常用魔法函数和魔术命令的用法
在学习数据分析时,大家都会用到Ipython这样一个交互式计算和开发环境。但是对于初学者来说,怎么用还是需要花点心思学习的。尤其是各种各样的magic method,既让人觉得哇,可以这样,也让人初次看来一头雾水,只是不明觉厉。人人为我,我为人人,为了大家更好的用上这个工具,数据分析之路走得更顺畅一下,就给大家介绍一下常见一些很好的功能,大家觉得有用的话收藏起来,忘了的时候打开看一看.原创 2020-06-01 11:17:31 · 501 阅读 · 0 评论 -
jupyter notebook 插件nbextensions该怎么用?
好不容易安装了nbextensions却不知道该用啥拓展?安装nbextensions教程:[https://blog.csdn.net/weixin_42808887/article/details/106455797](https://blog.csdn.net/weixin_42808887/article/details/106455797)下面给大家介绍一下吧:安装完成后你首先会看到是这样的。那么这密密麻麻的拓展功能该选哪些捏?介绍下我常用的:Code prettify:用来美化原创 2020-05-31 16:24:38 · 1533 阅读 · 0 评论 -
python爬取华工就业指导中心实习招聘信息
正值毕业求职季,大家都比较关心各大企业的招聘信息,加了各种各样的求职群但是还是怕漏掉,其实大家完全可以关注学校的就业指导中心发布的信息,还是比较全面和及时的。为了更加方便大家去检索这些信息,我用爬虫收集了窝工近两个月就业指导中心发布的实习招聘信息。大家感兴趣也可修改一下去爬一下其他栏目的就业信息。大家觉有有用的话,可以点个赞,鼓励一下哈。import pandas as pdfrom bs4 import BeautifulSoupimport reimport requestslink = []原创 2020-05-30 17:54:11 · 426 阅读 · 0 评论