Yif_Zhou

引言一般做机器学习任务，以预测某一个类别为原则来评价原则。常用的术语。以病人为例， 分为 癌症患者， 非癌症患者， 确诊的癌症患者， 误诊的癌症患者positive ：正样本 – 癌症患者negtive ： 负样本 – 非癌症患者true ：正确分类 – 明确确诊,也就是模型判断的正负false ： 错误分类 – 误诊NonePositiveNegtive...

Overview在笔记2中，我们抓取了页面的文章内容，问题来了，如何将撸下来的文章保存呢？其实方法很多，既然抓取到了，就可以把抓到的内容写入本地，或者记录下来之后，传入数据库，等等。这里，我们要看一下Scrapy 框架Item 是如何保存的。框架结构看一眼 bole/ scrapy.cfg bole/ __init__.py items.py ...

这次，我们抓取这个网站的所有文章内容。大致思路：Loop获得本页所有文章的链接，得到链接后进入链接页面，在新的页面中获取文章内容获得下一页 url神器 scrapy shell使用方法上次已经说明，我们直接看效果 In [9]: response.xpath('//div[@class="grid-8"]//div[@class="post-meta&

在第一个笔记中，我们在 https://news.qq.com/ 中看到了，进入浏览器中，按住F12 之后出现的网页结构和网页源码并不一致，这样会导致我们的网页内容无法抓取。原因是我们看到的网页是由JS 动态生成，解决这个的方法有很多，其中谷歌公司的 selenium 可以很轻松的帮助我们获取到想要的数据。这里我们重点说一下，如何把selenium 嵌入 scrapy , 从而使我们的功能更加强大...

安装请查看： Scrapy 官网PipeLine整体架构xpath/ css 筛选初级使用Item() 使用IP proxy poolselenium + scrapy架构![scrapy frame](https://img-blog.csdnimg.cn/20181221095241764.png?x-oss-process=image/watermark,type_Z...

python2 ,python3 在一起真的很烦，看一下他们的运行机理吧可见输入命令时是软连接到一个目录，所以有几个思路，把原链接地址改成自己想要的包，或者可以创建新的连接，取一个自己喜欢的名字ln -s 源地址 目的地址...

知乎面试官的问题，慢慢更，直到回答了所有问题 过拟合欠拟合（举几个例子让判断下，顺便问问交叉验证的目的、超参数搜索方法、EarlyStopping）L1正则和L2正则的做法、正则化背后的思想（顺便问问BatchNorm、Covariance Shift）L1正则产生稀疏解原理逻辑回归为何线性模型（顺便问问LR如何解决低维不可分、从图模型角度看LR和朴素贝叶斯和无监督）几种参数估...

%sstring="hello" #%s打印时结果是hello print "string=%s" % string # output: string=hello #%2s意思是字符串长度为2，当原字符串的长度超过2时，按原长度打印，所以%2s的打印结果还是hello print "string=%2s" % string # output: s...

# encoding: UTF-8import csvimport cx_Oracleimport pandas as pdimport osimport wrmodelimport pymysqlclass Oracleor(object): def __init__(self): self.username= 'traffic_db' s