- 博客(26)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 爬虫python框架--Scrapy学习笔记
scrapy框架的运行流程：首先启用爬虫里面的starturl获取响应response。再通过xpath提取数据，提取的数据通过创建的item对象暂存到item.py（数据中转站）里面的item里面，item数据通过yield返回给管道，管道给写入文件保存起来。item. py pipeline.py区别items.pyItem 可以理解为数据的中转类，因为我们爬取网页后需要将进行解析，并...
2019-05-24 20:53:58
201
转载 windows常见DOS命令
dir (directory) ：列出当前目录下的文件以及文件夹md (make directory)： 创建目录rd (remove directory)：删除目录cd (change directory)：进入指定目录cd.. : 退回到上一级目...
2019-05-21 20:11:24
177
转载 Windows更改显示dir命令为ls命令
脚本内容如下：@echo offdir将脚本保存为“ls.bat”，存放到“C:\WINDOWS\system32\”（当然你也可以存放到其他path变量指向的目录），这时候你在Windows下就可以使用“ls”命令来。...
2019-05-21 17:06:19
1166
1
转载 Scikit中使用Grid_Search来获取模型的最佳参数
1. grid search是用来寻找模型的最佳参数先导入一些依赖包from sklearn.ensemble import GradientBoostingClassifierfrom sklearn.grid_search import GridSearc...
2019-05-16 10:26:19
1275
2
转载 sklearn dataset模块学习
原 sklearn dataset模块学习 2017年06月25日 14:05:51 每天进步一点点2017 阅读数：8740 ...
2019-05-14 17:08:25
375
转载 sklearn学习笔记3——pipeline
sklearn学习笔记3——pipeline 2016年12月28日 16:24:16 wateryouyouyou 阅读数：7031 ...
2019-05-14 11:23:30
279
转载 scikit-learn中PCA的使用方法
scikit-learn中PCA的使用方法在前一篇文章 主成分分析(PCA) 中，我基于python和numpy实现了PCA算法，主要是为了加深对算法的理解，算法的实现很粗糙，实际应用中我们一般调用成熟的包，本文就结束scikit-learn中PCA使用的方法和需要注意的细节，参考：sklearn.decomposition.PCA1、函数原型及参数说明sklearn...
2019-05-14 11:00:17
325
转载 SVM中为何间隔边界的值为±1
在WB二面中，问到让讲一下SVM算法。我回答的时候，直接答道线性分隔面将样本分为正负两类，取平行于线性分割面的两个面作为间隔边界，分别为：wx+b=1和wx+ b = -1。面试官就问，为什么是正负1？当时没有答上来，看来还是对模型不够理解。回来查资料和ppt等，解答如下：线性分割面是f(x...
2019-05-07 19:51:11
1043
转载 Python for-in循环前面有一个变量
展开全部1ls2 =[str(i) for i in ls1]等价于123ls2 = []for i in ls1: ls2.append(str(i))[str(i) for i in ls1]这是列表生成式顾名思义，列表生成式就是一个用来...
2019-05-06 19:40:56
8992
转载 基于Sklearn的KNN算法代码步骤
原理：简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定。缺点：时间复杂度高、空间复杂度高。适用数据范围：数值型和标称型。导入库：- 分类问题：from sklearn.neighbors import KNeighbo...
2019-04-29 16:51:58
977
转载 pycharm更改打开默认文件夹
更改打开目录的默认路径：PyCharm——>Preferences——>Appearance&Behavior——>System Setting——>Project Opening——>Default directory指定自己想要的路径就可以了！...
2019-04-23 09:49:36
8886
3
转载 数组、列向量和行向量区别
Numpy库学习——向量表示在机器学习和深度学习的编程过程中，为了提高程序的运行速度，通常将模型表达式转换为向量表达式（向量化），即利用矩阵运算思想提高运行效率。那么，在Python中究竟如何利用Numpy库定义一个向量，以及如何判断否为向量呢？（一）Python中向量的特征通常情况下，Python中向量和数组之间界限比较模糊，很多时候是通用的...
2019-04-07 11:01:15
10636
5
转载 Hadoop2.7下载安装
1下载hadoop2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 &
2018-11-27 21:58:11
2749
转载 准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC、AUC
下面简单列举几种常用的推荐系统评测指标：1、准确率与召回率（Precision & Recall）准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡...
2018-11-15 11:44:31
407
原创 VMware Station pro15虚拟机的下载与安装
一、虚拟机的下载1.进入VMware官网https://www.vmware.com/cn.html，点击左侧导航栏中的下载，再点击图中标记的Workstation Pro，如下图所示2.根据操作系统选择windows的产品，，点击转至下载，然后选择立即下载。如下图所示。3.需要注册，注册完成回来下载就行二、虚拟机的安装.打开.exe文件， 即可开始安装。（除了路径需要改一下，其他...
2018-11-11 16:36:29
2886
转载 pandas（合并concat和merge）
pandas处理多组数据的时候往往会要用到数据的合并处理，其中有三种方式，concat、append和merge。1、concat用concat是一种基本的合并方式。而且concat中有很多参数可以调整，合并成你想要的数据形式。axis来指明合并方向。axis=0是预设值，因此未设定任何参数时，函数默认axis=0。（0表示上下合并，1表示左右合并）impo...
2018-11-02 21:42:00
9097
1
转载 python数据处理之numpy和pandas（下）
python数据处理之numpy和pandas（下）2.三种数据筛选方式pandas筛选数据是比较好用的，至少比Excel要好一些，再加上可视化的数据模块，简直是大数据中的一把处理利器。值得一提的是曾经pandas中又一个很好用的.ix数据筛选方法，但是会在实际使用的过程中出现歧义，就被新版本的弃用了，所以现在是永不了.ix去筛选数据的。下面我们就开始介绍着四种数据筛选方式，...
2018-10-30 20:41:07
238
转载 python数据处理之numpy和pandas（中）
接着进行上篇开始讲，上篇主要介绍了numpy的一些基本数据操作，接下来我们进行的是numpy的矩阵合并和分割，索引等一些高级的东西。4.索引首先我们先将代码奉上，然后一一解读：import numpy as npa = np.arange(3,15)print(a)print(a[3])#索引b = np.arange(3,15).reshape(3,4)print(b)print(b[2...
2018-10-30 20:38:31
343
转载 python数据处理之numpy和pandas（上）
python数据处理之numpy和pandas（上）前言：学习python的基本语法已经半月了，对基本的语句操作也有所熟悉，在学习中主要参考的是廖雪峰老师的python教程，感觉受益很多，文章下面各方前辈的评论也是很好的学习教程，能让我知道错误的原因和解决方法。网址为：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f44...
2018-10-30 20:36:37
371
转载 How To Read a Paper译文及笔记
如何阅读科研论文【译文】S. Keshav滑铁卢大学大卫·切瑞顿计算机科学学院加拿大安大略省滑铁卢市keshav@uwaterloo.ca1.引言科研人员必须阅读论文的几个理由：为了会议或者学生审稿、为了在本领域中保持消息灵通、为了解新领域进行文献调研。一个典型的科研人员每年可能要花费几百小时去阅读论文。学会有效地阅读论文是一项非常重要但是很少会有机会学到的技能。正因...
2018-10-14 19:56:23
1238
原创 修改 eclipse 新建下的文件面板
window->perspective->customise perspective->点击右上角的shortcuts，建议选中java全部，general的fiel和folder，web 不选最后两个和选择一个xml文件
2018-09-24 10:37:02
379
原创 将eclipse/myeclipse编辑器背景颜色改为黑色及xml、file代码及选中框颜色改变
点击window-》preferences-》general-》appearance-》theme选择dark
2018-09-24 10:31:13
938
转载 Tomcat配置任意目录下的Web应用程序
原 Tomcat配置任意目录下的Web应用程序 2011年01月28日 21:16:00 zhenyusoso 阅读数：20406 <span class="tags-box artic-tag-box"> <span ..
2018-09-23 17:52:53
768
原创 在doc界面输入startup（在新界面运行）/catalina run（在当前界面运行） 就能运行 tomcat 配置方式：
新建系统变量-变量名：catalina_home 变量值：D:\java\Tomcat (“tomcat安装目录”，注意：tomcat目录，不加bin)找到Path变量-编辑-将D:\java\Tomcat*bin*
2018-09-23 17:36:53
2420
在线考试系统
2018-04-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人