- 博客(96)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 忆17级信管杨友大三学年个人风雨兼程岁月
前言：不平静的2020年，在2019年9月到2020年9月期间也发生了很多值得回忆的事，现在已经开始了大四的生活，不得不感叹时间的流逝，就简单的记录一下大三的时光吧。文章目录1 编程学习篇1.1 数据挖掘1.1.1 科研项目爬虫开发1.1.2 16级毕业论文爬虫1.1.3 战疫情爬虫1.2、数据分析1.2.1 学习数据分析1.2.2 帮毕业生分析论文数据1.3、图像处理2 讲课篇2.1 教室为研究生院研究生讲解爬虫2.2 网课带17信管班学习爬虫项目2.3 网课为18级电商班讲解数据分析2.4 网课为.
2020-10-04 22:07:39
2617
7
原创 风华才气，春华秋实———忆信管学子杨友岁月如歌
2018～2019这个学期马上结束了，新学期马上开始。正所谓不总结，不结束，不开始。很长时间没有写作了，不知道说点啥好，就简单的盘点一下这个学期的经历吧！
2019-09-01 01:45:26
1129
2
原创 python PDF解密打印文件
前言：我们在打印一些PDF文件的时候可能会遇见加密不能打印的情况，需要提供密码才能打印。如果直接在浏览器中浏览PDF文件，它不能调取打印功能。但是我们可以换一个思路转换一下解密文件，就可以正常打印了，方向如下
2020-10-22 13:30:45
1417
1
原创 学习python爬虫看一篇就足够了之爬取《太平洋汽车》论坛及点评实战爬虫大全
前言： 这也是一篇毕业论文的数据爬虫，我第一次看见《太平洋汽车》的点评信息时，检查它的网页元素，发现并没有像《汽车之家》那样的字体反爬技术，所有就初步判断它没有很强的反爬虫技术，大不了就使用selenium库自动化实现爬虫呗。但是我确因为这样一个网页写了6种爬虫手段，一直在与它的反爬虫技术对抗，虽然最后我完成了任务，但是感觉并不是很完美，和其他网站的爬虫相比起来，它的运行速度有点慢，也不敢快。就这样收手吧，通过它也学到了很多的知识，如果你也想学习爬虫，这篇文章可以帮你解决90%以上的网页，简单的梳理一下吧
2020-09-28 09:18:10
8627
8
原创 python数据分析之《太平洋汽车》点评数据及论坛文本分析
前言：这是我学数据分析以来，第一次用python进行数据分析实战，一边做，一遍看我平时做的笔记，查看别人的博客，同时也新加了很多我重来没有学过的新功能，幸不辱命，协助完成了一篇上档次的纯python毕业论文，以上所用到的数据均来自我爬取的《太平洋汽车》点评和论坛。学习编程真的是这样，如果自己不进行实战操作，永远不知道自己会遇见什么问题，也无从提升自己的能力，这是一个好的开始，简单的梳理一下自己所做的数据分析模块吧！
2020-09-28 09:16:45
5869
7
原创 python完成文件夹批量word转pdf文件及pdf文件合并+word文件合并
前言：有同学问我，如何把文件夹中的文件一次性完成打印，由于文件太多，单个打印着实麻烦。这些文件主要有三种类型，分别为PDF，word(.doc和.docx)，我决定把他们全部变为PDF文件，然后再合并所有的pdf文件为一个PDF文件，分两个步骤完成！1.把所有word转化为PDFfrom win32com.client import Dispatchimport ospdfRoot = "D:\Desktop\wordToPDF\pdf" #保存pdf结果的文件夹wordRoot = "D:.
2020-08-28 17:48:16
5457
3
原创 python爬虫之爬取《书趣阁》小说教学
前言： 这次的爬虫难度系数不大，相对于我上次讲解的课程了来说有很好的验证和过度的效果，但是却有几个较新的知识点。包含文本解码，封装方法，写入txt，链接拼接等等，这也是我选择《书趣阁小说》来教学的原因。特别是实现它的逻辑，可以用到很多的地方，这些都是可以带来的收获！文章目录1、请求服务器1.1、分析网页1.2、获取html文件1.3、解码2、提取并保存信息2.1、提取内容2.2、写入txt2...
2020-04-16 23:41:55
1744
原创 python爬虫之爬取微博《肺炎患者求助》超话信息
学校有个老师想研究微博《肺炎患者求助》的文本信息，他给了我一个PC端的链接，找我帮忙写爬虫，把链接上所有求助信息全部爬下来，我查看一共有21页，日期为2020年2月1日~2020年3月13日；经过一番检查后，我决定自己从移动端网页入手，其一：因为我上个月爬取过微博的《战疫情》，可以节约很多时间去分析网页结构；其二：移动端使用的是ajax加载，请求得到json数据，速度快得很多。在这里我就不去详细...
2020-04-08 19:32:28
2688
2
原创 机器学习之K均值算法（K-means）聚类
K均值算法（K-means）聚类【关键词】K个种子，均值一、K-means算法原理聚类的概念：一种无监督的学习，事先不知道类别，自动将相似的对象归到同一个簇中。K-Means算法是一种聚类分析（cluster analysis）的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。K-Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些点，我们用肉眼可以看出来有四个点群，但是我们怎么通过计算机程序找出这几个点群来呢？于是就出现了我们的K-Means算法
2020-03-24 01:05:38
1815
原创 机器学习之SVM人脸识别
操作平台： windows10, python37, jupyter任务目标： 使用SVC算法，识别人脸，姓名文章目录1、导入图片数据2、随机查看图片3、建模评估4、PCA数据处理4.1、数据脱敏处理4.2、建模评估5、过采样技术处理5.1、查看原始数据5.2、过采量5.3、建模评估5.4、批量展示预测图片
2020-03-23 14:51:29
1474
原创 机器学习之SVM线性与非线性问题学习
文章目录第一部分：线性问题部分1.1、生成随机散点1.2、建模1.3、数据可视化第二部分：非线性问题部分2.1、随机生成数据2.2、属性组合分隔数据2.3、建模2.3.1、测试范围2.3.2、预测分隔2.3.3、求它的距离第三部分：SVM回归实战3.1、准备数据3.2、建立模型3.3、预测数据及可视化第一部分：线性问题部分import numpy as npimport matplot...
2020-03-23 00:20:02
1273
原创 机器学习之支持向量机SVM（Support Vector Machine）
文章目录一、支持向量机的原理解决的问题：线性分类及其约束条件:2、实战2.1、线性回归2.2、支持向量机SVM2.3、多项式特征一、支持向量机的原理Support Vector Machine。支持向量机，其含义是通过支持向量运算的分类器。其中“机”的意思是机器，可以理解为分类器。那么什么是支持向量呢？在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。见下图...
2020-03-22 01:55:25
620
原创 机器学习之短信、邮件、新闻分类实战学习
文章目录1、导入数据1.1、读取数据“SMSSpamCollection”1.2、确定研究对象2、统计词频2.1、文本向量化处理2.2、查看词频3、建模与评估3.1、训练模型3.2、模型评估3.2.1、高斯分布正太分布3.2.2、多项式分布朴素贝叶斯3.2.3、二项式分布3.2.4、KNN3.2.5、决策树操作平台： windows10, python37, jupyter数据下载： htt...
2020-03-20 14:28:34
865
原创 机器学习之KNN-手写数字识别
1、读取数据1.1、导入相关库1.2、读取一张图片测试1.3、读取所有图片2、数据预处理2.1、list转numpy2.2、添加对应数字3、随机抽取训练集与测试集4、训练模型并预测4.1、训练模型4.2、预测4.3、计算准确率4.4、精确度调整5、识别某张图片5.1、读取图片5.2、识别数字 这些数据全部都是图片，从0~9，一个数字共500张，并且每个数字图片都在对应的文件夹下，以 `自身值_序号.bmp` 的方式进行命名
2020-03-18 17:48:20
1755
原创 数据分析入门之KNN-预测年收入
文章目录1、导入数据2、数据预处理2.1、选择数据2.2、数据转化2.2.1、转化字典2.2.2、数据映射3、训练数据3.1、切分训练集和测试集3.2、训练并预测数据4、归一化处理4.1、最大值最小值归一化4.2、方差标准化5、保存模型与调用5.1、保存模型5.2、加载模型5.3、使用预测操作平台： win10, python37, jupyter数据下载： https://www.lanz...
2020-03-17 01:22:34
4098
6
原创 高考英语词频统计
前言：受我表哥要求，帮忙统计历年的高考英语词频，并保存到表格中，这样方便发给学生学习，重点注意的单词，正好他也对python感兴趣，我就简单的给他写了一个小运用，每次把要统计的word文档放入data文件中就双击写好的程序可以给到Excel的单词的词频，非常的方便对于不熟悉编程的人士运用它！操作环境： window10， python37， jupyter数据样式：1、读取文件夹中的每...
2020-03-14 11:33:06
1644
2
原创 报表做得让人难受可能是你不了解 Python pyecharts 数据可视化操作
该文章覆盖了pyecharts的大部分用法，可以直接复制粘贴使用，功能齐全；当python 遇见 Echarts , 就产生了pyecharts，pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化 JS 库。用 Echarts 生成的图可视化效果非常好， 是为了与 Python 进行对接，方便在 Python 中直接使用数据生成图。
2020-03-06 22:08:12
1647
2
原创 python scipy库基础学习(图片消噪, 求解圆周率, Scipy文件输入/输出, scipy矩阵)
文章目录1、登月图片消噪1.1、导入图片1.2、查看图片信息1.3、进行傅里叶变换1.4、计算平均值并过滤大的值1.5、反转变换1.6、显示该图片1.7、把图片变白2、数值积分，求解圆周率2.1、首先画一个圆2.2、求圆的面积3、Scipy文件输入/输出3.1、使用io.savemat保存数据3.2、使用io.loadmat()读取数据3.3、读写图片3.4、图片处理3.5、图片进行过滤4、sci...
2020-03-06 01:17:49
862
1
原创 疫情期间，我用python辅助统计班级打卡信息
前言：由于全国受到新型冠状病毒的影响，我们学校在已有的学工系统开发了 “每日一报”和“i签到” 两个功能来记录学生的身体状况状况和位置信息，确保并监督学生无误填写，每天辅导员都要多次从系统中导出今日打卡记录，并让班长提醒未打卡同学打卡或者有信息异常的同学重新确认信息。文章目录1、初步打卡情况简介2、pandas导入数据2.1、导入数据并查看2.2、查看数据形状3、每日一报未打卡人数3.1、查...
2020-03-05 01:57:36
2625
7
原创 python爬虫项目之携程网、大众点评和马蜂窝贵州景点差评实战汇总
这是帮忙工商学院研究生院旅游管理专业的舒老师弄的一个爬虫项目，简单的说算是三个网站一起的爬虫，分别爬取携程网、大众点评和马蜂窝马蜂窝的差评信息，仅限于差评，用于论文研究；上次曾有幸受他邀请，教研究生学长学姐们怎么用python做爬虫，但是爬虫的很多反爬和信息处理能力不是一两天的时间就可以让小白入门的。比如fa这三个网站，都有一些反爬虫，特别是大众点评，字体反爬，爬虫软件几乎拿它没辙，最多拿到缺失...
2020-02-17 01:56:16
5768
2
原创 数据分析入门之2012美国大选政治献金项目
操作环境： window10，Python3.7，Jupyter notebook数据资料： https://www.lanzous.com/i98lfra文章目录1、数据载入与总览1.1、数据加载1.2、数据合并1.3、数据预览和基本统计分析1.3.1、查看数据形状1.3.2、查看是否有空值1.3.3、查看描述性的信息2、数据清洗2.1、缺失值处理2.1.1、查看带有缺失值的列2.1.2、空...
2020-02-11 17:50:27
2472
1
原创 数据分析入门之好莱坞百万级评论数据分析
1. 数据的加载与集成2. 平均分较高的电影3. 不同性别对电影平均评分4. 不同性别争议最大电影5. 评分次数最多热门的电影6. 不同年龄段争议最大的电影7、优化数据，真实可靠
2020-02-09 18:54:04
2597
原创 数据分析入门之KNN影片类型和癌症预测
1、预测电影类型1.1、导入相关库1.2、导入数据1.3、切分出 x 和 y1.4、声明算法1.5、进行训练1.6、生成数据(导入预测值)1.7、使用算法进行预测2、预测是否患癌症2.1、获取数据2.1.1、导入数据2.1.2、切分出 x数据 和 y目标值2.1.3、分出训练集和测试集2.3、声明算法并学习2.4、结果预测2.5、概率预测2.6、预测值与真实值对比2.7、计算预测的准确率方法一：均值法方法二：knn.score()
2020-02-08 16:53:51
2686
1
原创 《汽车之家》字体反爬之论坛、问答、文章(新闻、车家号）及其评论爬取
1、汽车之家论坛1.1、分析网页构造1.2、获取网页源代码1.3、用户随机代理1.4、字体替换1.5、爬取论坛链接主题链接1.5.1、构造论坛首页翻页链接1.5.2、爬取论点链接1.6、实现评论内容翻页1.7、大功告成，附上源码2、汽车之家问答3、汽车之家新闻3.1、新闻内容3.1、新闻评论4、汽车之家文章4.1、爬取所有文章的链接4.2、判断新闻和车家号4.3、车家号文章4.4、代码汇总5、结果汇总截图
2020-02-07 16:55:24
4821
1
原创 图像处理之视频分解合成及Haar+Adaboost人脸识别
文章目录1、视频分解为图片2、图片合并为视频3、基于Haar + Adaboost人脸识别这是我在网上找的两个视频，我把它下载到本地，作为学习使用：小屁猪视频1链接：https://www.ixigua.com/i6788075908059103744小屁猪视频2链接：https://www.ixigua.com/i6754249888495567373
2020-02-02 23:50:30
729
原创 图像处理之KNN+CNN数字识别
OpenCV-TensorFlow 入门人工智能图像处理1、KNN数字识别1.1、load Data1.2、knn test train distance 5*500=2500距离1.3、knn k个最近的5张测试图片和500张训练图片做差，找到4张最近的图片1.4、k个最近的图片 ————> parse centent label1.5、统计监测数据的概率1.6、源码汇总2、CNN实现手写数字识别2.1、导入安装包2.2、加载数据2.3、定义tf.placeholder()
2020-02-02 22:37:44
2418
2
原创 图像处理之opencv图像美化
1、绘制图片RGB直方图1.1、彩色图片1.1.1、cv2.calcHist()方法1.1.2、数组法1.2、灰色图片2、直方图均衡化2.1、灰度图片均衡化2.2、彩色图片均衡化2.3、YUV均衡化3、图片修补3.1、图片损坏3.2、图片修复4、亮度增强5、磨皮美白6、高斯滤波7、均值滤波8、中值滤波
2020-01-31 19:28:36
2130
原创 图像处理之opencv图像特效大全
1、特效1：灰度处理1.1、cv2.imread()方法1.2、cv2.cvtColor()方法1.3、GRB均值法1.4、心理学汇总计算法1.5、优化灰度算法2、特效2：地板效果2.1、灰色图片颜色反转2.2、彩色图片颜色反转3、特效3：马赛克4、特效4：毛玻璃效果5、特效5：图像融合6、特效6：边缘检测7、特效7：浮雕效果8、特效8：颜色映射9、特效9：油画特效
2020-01-30 22:06:44
3984
原创 图像处理之opencv图片几何变化操作大全
1、opencv读取图片2、opencv保存图片3、图像质量压缩4、像素操作5、图片缩放6、图片剪切7、图片位移8、图片镜像9、仿射变换
2020-01-30 00:46:54
820
原创 Python删除指定文件夹内指定文件
上次在bilibili上爬了一百多个视频来当教程，但是它也带了很多空的弹幕，完全是占空间，影响视觉，一个一个的删除是不可能的，还是万能的代码好用！图例：1、读取文件夹中的所有文件import osrootdir="F:\数据分析\OpenCV+TensorFlow入门人工智能图像处理"filelist=os.listdir(rootdir)for f in filelist: ...
2020-01-29 00:35:56
10404
原创 图像处理之opencv保存视频+wave保存音频+ffmpeg合并
1、opencv保存视频1.1、读取并展示视频1.2、灰色处理1.3、调整视频大小——分辨率1.3.1、查看视频的分辨率1.3.2、调整视频的分辨率1.3、保存视频1.3.1、设置保存对象参数1.3.2、调用写入函数保存1.4、获取视频自身的宽高1.5、保存视频源码汇总2、wave保存音频2.1、读入音频2.2、ffmpeg转换格式2.3、重新读入音频2.4、获取音频参数2.5、音频切片2.6、将音频写入文件夹3、音频和无声视频合并
2020-01-28 19:03:04
8815
1
原创 图像处理之opencv识别图片和视频中人脸
1、opencv识别单张人脸1.1、读取图片1.2、识别人脸1.2.1、下载人脸识别算法1.2.2、人脸检测2、opencv识别多张人脸2.1、导入计算机视觉库opencv和人脸识别算法2.2、读入并展示图片2.3、图片灰色处理2.4、检测人脸2.5、画出人脸的范围2.6、调节显示窗口大小2.7、识别图像3、识别视频中的人脸、导入人脸识别算法和视频、读取视频中的数据、灰色处理、人脸像素检测识别、圈出人脸、设置视频展示频度4、opencv识别电脑摄像头中的人脸
2020-01-27 13:10:59
7137
4
原创 图像处理之opencv保存视频图片
文章目录1、读取视频1.1、从本地捕获视频1.2、展示图片1.3、释放资源2、展示整个视频3、保存视频图片4、把视频变为黑白色图片
2020-01-27 01:18:24
2951
原创 selenium+opencv干掉滑动验证码
文章目录操作流程：1、找到目标2、下载验证码图片3、识别图像戳口3.1、读取本地图片并展示3.2、图片灰度处理3.3、去掉滑块黑色部分3.4、识别图像位置4、拖动滑块4.1、控制滑块滑动4.2、验证是否滑动成功v代码汇总：
2020-01-26 23:29:53
2352
3
原创 数据分析入门之使用scikit-learn构建模型
1、使用sklearn转换器处理数据2、构建并评价聚类模型3、构建并评价分类模型4、构建并评价回归模型将数据集划分为训练集和测试集，使用sklearn转换器进行数据预处理与降维，使用sklearn估计器构建聚类模型，cluster提供的聚类算法及其适用范围，sklearn库常用回归算法函数
2020-01-24 16:44:44
3562
2
原创 数据分析入门之pandas数据预处理
合并数据、横向表堆叠纵向堆叠concat函数append方法主键合并数据merge函数join方法重叠合并数据清洗数据检测与处理重复值记录重复利用列表（list）去重利用集合（set）的元素是唯一的特性去重drop_duplicates去重方法特征重复corr函数检测与处理缺失值检测与处理异常值标准化数据转换数据
2020-01-22 21:13:53
2085
1
原创 数据分析入门之python读写不同数据源的数据
1、读写数据库数据1.1、数据库链接设置1.2、数据库数据读取1.2.1、read_sql_table1.2.2、read_sql_query1.2.3、read_sql1.2.4、读取数据库结果1.2.5、三者区别1.3、数据库数据存储2、读写csv文件2.1、读取csv数据2.1.1、使用read_table来读取文本文件2.1.2、使用read_csv函数来读取csv文件2.2、文本文件储存3、读写Excel文件3.1、Excel文件读取3.2、Excel文件储存
2020-01-21 17:29:39
1655
原创 数据分析入门之Matplotlib数据可视化基础(散点图、折线图、直方图、饼图、箱线图)
1、掌握pyplot基础语法1.1、基本绘图流程1.2、创建画布与创建子图1.2.1、设置画布大小1.2.2、添加图列1.2.3、解决中文乱码1.3、添加画布内容1.4、保存与展示图形1.5、查看本地文件夹2、绘制散点图2.1、导入数据2.2、解决"Object arrays cannot be loaded when allow_pickle=False"错误2.3、绘制散点图3、绘制折线图4、绘制直方图5、绘制饼图6、绘制箱线图6.1、绘制单个箱线图6.2、绘制多个箱
2020-01-15 15:46:02
5078
1
原创 数据分析入门之Numpy读写与统计分析
1、读写二进制文件1.1、创建两个随机数组1.2、使用save保存单个数据1.3、使用savez保存多个数据1.4、使用load读取数据2、读取文本格式的数据2.1、savetxt函数2.2、loadtxt函数2.3、genfromtxt函数3、对数组进行排序3.1、直接排序3.2、间接排序4、去重与重复数据4.1、重复数据4.2、数据去重5、常用的统计函数5.1、案例实战5.1.1、数据初始化5.1.2、统计运算
2020-01-14 13:40:36
1976
义务劳动管理系统——UML设计与分析.zip
2020-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人