- 博客(19)
- 收藏
- 关注
RSS订阅原创 Xshell连接远程VMware中的Linux虚拟机
Xshell连接远程VMware中的Linux虚拟机相关资源设置虚拟机功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入相关资源你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown
2021-12-29 22:48:58
1316
原创 升级PyYAML
使用平常的pip 更新版本命令出现错误ERROR: Cannot uninstall 'PyYAML'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.大致意思不能卸载，这是一个 distutils 安装的项目，因此我们无法准确确定哪些文件属于它，这只会导
2021-07-16 15:52:22
2214
原创 ubuntu 安装cuda 与 cuDNN
0. 准备工作 禁用BIOS中的secure boot，因为此方法使用第三方源安装显卡驱动，不禁止secure boot会导致安装的驱动不能使用，禁用也不会有多大安全隐患。 禁用nouveau，这是ubuntu默认使用的开源显卡驱动，和nvidia驱动一起使用可能导致黑屏，所以禁掉。sudo gedit /etc/modprobe.d/blacklist.conf在文本的最后一行添加blacklist nouveauoptions nouveau mode...
2021-07-13 10:54:29
377
原创 二分查找的两个模板
根据check(mid) 函数为True时，需要调整的是 left 指针 还是 right 指针分为两种当 check(num) == Ture 时移动的是 right 指针时 mid = left + right >> 1while(left < right){ long mid = left + right >> 1; if(check(mid)) right = mid; else left = mid +
2021-06-15 16:25:01
221
原创 求两个正序数组的中位数(求第K小的数字)
给定两个大小为 m 和 n 的正序（从小到大）数组 nums1 和 nums2。请你找出并返回这两个正序数组的中位数。进阶：你能设计一个时间复杂度为 O(log (m+n)) 的算法解决此问题方法一：使用归并方式，合并两个有序数组，得到一个大的有序数组class Solution { public double findMedianSortedArrays(int[] nums1, int[] nums2) { int m = nums1.length;
2020-11-19 19:48:50
353
原创 统计学中三大相关系数
三大相关系数分别是pearson[皮尔森]、spearman[斯皮尔曼] 和 kendall[肯德尔]反应的都是两个变量之间变化趋势的方向以及程度，其值范围为-1到+1，0表示两个变量不相关，正值表示正相关，负值表示负相关，值越大表示相关性越强。1.Pearson两个变量(X, Y)的皮尔森相关性系数(ρX,Y)等于它们之间的协方差cov(X,Y)除以它们各自标准差的乘积(σX, σY)。Tips:方差是表示一个变量的波动情况，方差越小表示数据越集中，越大表示数据越离散；标准差：等于（或近似等
2020-08-16 16:36:11
12160
1
原创 数据分析笔记
问题：利用pandas对数据进行简要分析时，输出存在省略号，如图：import pandas as pdTrain_data = pd.read_csv('C:/Users/Echo/Desktop/PredictCar/used_car_train_20200313.csv', sep=' ')print(Train_data.describe())解决办法：pd.set_option('display.width', None)pd.set_option('display.max_ro
2020-07-28 11:46:38
258
1
原创 评估分类器的性能的指标
评价二分类分类器的性能指标:[Evaluation Metric]ACC [accuracy] 准确度Precision 精确度Recall 召回率F1-scoreAUC分类器在测试数据集上进行预测正确或者不正确，可以分为4种情况，分别是：TP : 将正类预测为正类数FN : 将正类预测为负类数FP : 将负类预测为正类数TN: 将负类预测为负类数1. ACC对于给定的测试集，分类器正确分类样本数与总样本数之比。ACC = 正确分类数 / 样本总数但在b
2020-07-25 12:06:38
2252
1
原创 十大排序算法学习笔记
引言：十大排序算法包括：A 内部排序：插入排序【1.直接插入排序、2.希尔排序】选择排序【3.简单选择排序、4.堆排序】交换排序【5.冒泡排序、6.快速排序】7.归并排序8.基数排序B 外部排序：9.桶排序10.计数排序1.直接插入排序public static void insertionSort(int[] a){}...
2020-07-15 22:32:17
168
1
原创 Scrapy安装步骤
花了半天时间安装Scrapy，踩了不少坑。包括：有人推荐安装VS,没有尝试（这东西大的，而且难卸载）有人推荐安装Anaconda安装，结果Anaconda目前只支持Python3.7，安装后直接把Python环境改成3.7。具体步骤：1.安装wheel,命令行输入 pip install wheel2.下载Twisted, 找到合适的版本。3.安装Twisted,进入其下载目录，执行pip install Twisted-20.3.0-cp38-cp38-win_amd64.whl.4
2020-06-26 10:53:37
391
原创 Python爬取腾讯视频评论
通过简单的爬虫，爬取腾讯视频中的评论进入腾讯视频首页，随机点进一个视频，在视频页复制一个评论，查看网页源码，ctrl + f 查找该评论，发现并没有该评论。打开Fiddler进行抓包分析，刷新当前页面，找到相应的json文件，如下图：复制该链接的URL,在浏览器中打开，可以看到具体的文本内容，可通过正则表达式提取评论。该页面只显示了一部分评论，我们点击查看更多评论，在Fiddler中找到更多评论的URL,然后对其进行分析：我们可以观察链接只有一串数字不同，确定下一页评论的数字就可以获取更多的评论
2020-06-23 18:34:13
718
1
原创 正则表达式匹配多行HTML
爬虫中正则表达式匹配多行HTML在利用Python抓取CSDN博客时，需要利用正则表达式匹配多行HTML，HTML如下：使用\s*匹配换行，div与class之间也需要使用通用字符正则如下：<div.?class="title">\s*<h2>\s*<a.?href="(.*?)"...
2020-06-18 16:51:21
2073
1
原创 Python爬虫服务器代理
从新浪新闻中提取网页的URL,抓取至本地import urllib.requestimport urllib.errorimport redata = urllib.request.urlopen("https://news.sina.com.cn").read()data2 = data.decode("utf-8", "ignore")pat = 'href="(https://news.sina.com.cn.*?)"'allUrl = re.compile(pat).findall(d
2020-06-18 11:31:52
304
原创 SVM 中数学推导
计算点到超平面的距离方法1.图为清华大学Dr.Bo.Yuan老师在数据挖掘课程中支持向量机的PPT中截图，我在理解时存在问题。对此做以下几点解释：w是垂直于分离超平面的权重向量。g(x) 为点 x 所在超平面的表达式。x’ 为x在分离超平面上的投影，所以x = x’ + λw( λw的模刚好为距离)w x’ + b = 0 （ x’ 所在分离超平面的表达式）方法2.转自博客：https://blog.csdn.net/yutao03081/article/details/76
2020-06-14 22:12:19
415
1
原创 Python爬虫模拟浏览器示例
Python简单爬虫示例抓取 https://read.douban.com/provider/all 网页中的所有出版社的名称。网页如图：import reimport urllib.requestfrom urllib.request import urlopen, Requestpattern = '<div class="name">(.*?)</div>' # 输出的东西在（）之中headers = {'User-Agent':'Mozilla/5.0 (
2020-06-08 21:34:34
423
转载 Python合并多个Excel表
合并多个Excel表，表中可含有多个Sheet环境配置Windows控制台输入 pip xlrd pip xlswriter检查安装是否成功， 输入 pip list代码实现`import xlrd # 读取Excel的包import xlsxwriter # 写入的包打开一个Excel表def open_xls(file):try:fh = xlrd.open_workbook(file)return fhexcept Exception as e:print(
2020-06-07 20:08:12
481
原创 删除MySQL中字段中括号以及括号之内的内容
在做爬虫时抓取的数据有的存在括号，导致匹配出现问题，字段页很不规整。MYSQL版本：处理前：// 括号有中英文之分，本例中为英文UPDATE se_job_details SET j_name = REVERSE (SUBSTRING(REVERSE(j_name),INSTR(REVERSE(j_name),'(')+1,LENGTH(j_name)))执行后 （语...
2020-04-24 15:46:15
4211
原创 MySQL 删除表中重复数据
在表中删除某一项的重复值，只保存其中一项eg : 去除表中重复的URL,只保留一项Mysql版本：a 和 b 是两个临时表，这是MySQL的一些问题，其他数据库不需要创建新表DELETE FROM se_job_detailsWHERE j_url IN (SELECT j_url FROM(select j_url from se_job_details GROUP BY j_...
2020-04-23 18:53:18
234
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人