- 博客(23)
- 收藏
- 关注
RSS订阅原创 一个例子看懂Dubbo SPI
分别获取extension和AdaptiveExtension，以及AdaptiveExtension代理类的代码。代码生成：createAdaptiveExtensionClass。
2023-11-15 16:36:29
83
原创 Spark submit 配置executor参数无效
Spark submit的参数可以看这个网站Spark-Submit参数设置说明 - 开源大数据平台E-MapReduce - 阿里云但在Spark submit提交任务时，发现不管怎么设置参数，最后分区结果都固定为2，说明参数没生效。研究半天发现，需要把参数放在任务之前，也就是py文件需要放在最后，才能使参数生效。./spark-submit --master yarn --deploy-mode client --py-files /tmp/dmodpso/dmodpso_cd.zip
2022-05-07 01:07:18
1156
原创 爬虫Python报403或data为空问题
在爬取B站数据时，部分API是需要cookie才能获取数据的，没有携带则结果可能是code:403或{"code":0,"message":"0","ttl":1,"data":{}}比如upstat，需要将标头中的cookie放在爬虫中。headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758...
2022-03-05 21:50:49
1841
原创 scrapy爬取报HTTP status code is not handled or not allowed的可能解决方法
今天写爬虫时遇到了如题的问题，网上的解决方法都是修改get或post请求。但对我都没有用，因为我用postman测了下，get、post请求都能访问到。网上找了很久，终于找到解决方法——在settings.py中关闭代理，如下即可DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.useragent.UserAgent...
2020-03-19 19:33:38
2172
1
原创 PyPDF2库使用
简介这是Python提供的操作PDF文件的库。提取文档信息（标题，作者，…）按页拆分文档逐页合并文档裁剪页面合并多个页面到一个页对pdf文档进行加密解密等等安装和导入pip install PyPDF2import PyPDF2从PDF中提取文字import PyPDF2#打开文件pdfFile = open('example.pdf','rb')#读取PDFp...
2020-03-07 10:14:34
635
原创 python为QT程序添加图标
设置图标最好使用.gif图标，且不能是由其它格式（如.png）强行更改格式过来的图标文件作为程序图标，否则均有可能导致显示不出来在开发中使用图标from PyQt5.QtGui import QIconself.setWindowIcon(QIcon('images/squirrel.gif'))此时，我们只要在主函数模块的同级目录下有images文件夹，且里面包含squirrel.g...
2020-03-07 10:08:01
1597
原创 西南交大信院研一上期末考试
研一上我选的课有这几门需要考试：数据仓库、算法、计网、面向对象、矩阵分析、数理统计。数据仓库半开卷（可以带一张双面A4纸小抄）一共九道题1.过拟合概念和原因2.列存场合，优点3.根据星型模型，画出实例，分析ROLLUP和Dicing4.画出SQL、OLAP、report tool的整个工作流程。5.分析某个数据挖掘是Decriptive还是Perdict，并给出具体算法...
2019-12-31 16:19:04
1016
原创 垃圾邮件分类器的评价指标及ROC曲线Java实现
上一篇博客讲到基于贝叶斯算法的垃圾邮件分类Java实现，最后得到每一封测试邮件为垃圾邮件的概率probability数组，最后的分类步骤和指标评价任务留到了这篇博客进行讲解。因为联合概率法和贝叶斯法最后的正确率相仿，本文只对联合概率法的结果进行评价。首先，我们需要明确我们所需要的评价指标：混淆矩阵、各种指标率、ROC曲线。对评价指标不了解的小伙伴先阅读这篇博客，非常好懂！https://blo...
2019-09-14 16:06:29
1652
原创 基于朴素贝叶斯的垃圾邮件分类器Java实现和讲解
朴素贝叶斯算法最典型的应用就是垃圾邮件的识别，在数据量非常大的情况下，识别的正确率可以达到接近100%，同时实现起来思路并不复杂。本文介绍的就是基于朴素贝叶斯算法的垃圾邮件识别的实现。如果之前对贝叶斯算法不了解的同学可以先阅读这篇文章，非常好懂！https://blog.csdn.net/fisherming/article/details/79509025这篇文章最后得到一个非常通俗的公式:...
2019-09-12 17:26:20
5193
4
原创 WEKA进行Apriori、FP-Tree、K-means算法测试
1.Apriori算法(1)数据动作 战争喜剧 爱情剧情 动作 犯罪剧情 动作 战争科幻 灾难喜剧 爱情 奇幻动作 战争喜剧 奇幻剧情剧情Weka能识别的文件类型是.arff文件，我们需要将已有数据转为.arff格式数据。@relation movie@attribute 动作 {False, True}@attribute 战争 {Fal...
2019-08-28 15:21:17
2259
4
原创 FP-Tree题材关联规则Java实现
FP-Tree算法和Apriori算法都属于基于关联规则的分类算法，前者在实现时采用树形结构，避免了产生候选集的过程，使算法效率得到提升。1.题材数据动作 战争 喜剧 爱情 剧情 动作 犯罪 剧情 动作 战争 科幻 灾难 喜剧 爱情 奇幻 动作 战争 喜剧 奇幻 剧情 剧情 2.事务存储对于1中的数据，需要使用List<List<String>...
2019-08-28 14:12:14
352
原创 k-means算法得到最“相似”的演员Java实现
今天在编写项目时，遇到这样一个需求： 选择多个特征，用特征表达演员。采用合理的相似性计算方法，找到同性别演员中主演电影类型、表演风格最相似的两位演员。当某位导演选角，A演员因故不能参加，可以推荐风格相似的演员B。最先想到的就是聚类算法，再想到k-means算法。1.手头的数据k-means算法最重要的是选好特征。在以上数据中，我选取了年龄（birthday）、...
2019-08-14 15:31:17
601
2
原创 Apriori算法得到演员最频繁的电影题材搭配Java实现
今天在编写项目时，需要得到“某演员所擅长的电影题材搭配”，最先想到的就是关联算法，再想到Apriori算法中的支持度指标很符合这一要求。支持度（Support）：support（{X -> Y}） = 集合X与集合Y中的项在一条记录中同时出现的次数 / 数据记录的个数只要找到满足“最低支持度指标”的电影题材搭配，就满足了项目需求。1.先查看手头的数据每个演员有多部...
2019-08-14 13:32:12
824
1
原创 AJAX不能在success中return返回值
今天在写js函数时，调用了一个自己写的带返回值的js函数，但是得到的返回值actor却是undefinedvar actor = getActorAjax(datas[i].actorId);于是到getActorAjax（）这个函数中寻找错误//获取演员信息function getActorAjax(id){ var res = { "id": id, }; ...
2019-08-14 12:29:04
812
1
原创 html不打开控制台点击事件失效
我在做文件上传时，希望通过a标签时文件选择按钮变得美观，所以讲a标签与input标签重叠。<div class="hand_file" style="width:500px;"> <a href="javascript:;" id="upload" class="a-upload mr10 hand_a"> <input type="fi...
2019-04-25 20:07:42
860
1
原创 localStorage取不出JSON对象
背景：今天做ajax访问接口，接口返回一个对象集合。我希望页面在显示对象集合列表时，为每个列表增加点击事件，点击后将对象数据传入下个页面，故需要使用localStorage存放对象。首先是回调函数中拼接表格，并为每一列增加点击事件，传参为经过JSON.stringify串化的对象<tr onclick='getDetailList(" + JSON.stringify(dataOb...
2019-04-20 23:09:08
1248
原创 SpringBoot中的html页面访问不到js，css等静态资源问题解决方案
首先贴上项目目录结构当我在index.html中访问css中的index.css时，发现报404，路径是http://localhost:8080/static/css/index.css <link rel="stylesheet" href="/static/css/index.css" />网上的解释是在SpringBoot中，默认配置的/**映射到/stati...
2019-04-12 14:23:28
31046
20
原创 JPA使用HQL语句查询为空时空指针异常
今天在写项目的JPA查询遇到的一个坑，分享一下。之前我直接返回Users对象，代码：@Query("select Users from Users as u , Students as s " + "where u.password = ?2 and s.studentId = ?1 and s.userId = u.userId")Users findByStude...
2019-04-11 14:36:26
4608
原创 postman解决session验证问题，试用验证码校验，带登录状态的请求
在测试后端接口时，我们经常会遇到某个接口是需要权限才能访问，如登录后才能访问，那postman如何模拟已登录的状态呢？再者，如果我们在做注册模块时，后端验证码生成并通过邮箱或短信发送给用户后，必然会将验证码存入session，这是一个接口；当用户点击注册时，我们需要验证用户输入的验证码是否正确，这是另一个接口。那如何通过postman时在测试两个接口时用的是同一个验证码？以上都是se...
2019-04-08 16:50:12
8572
原创 2019年西南交大计算机专硕
2019年西南交大计算机专硕初试、复试经验写篇经验贴记录下一年来的考研之路，为想考西南交大计专的同学们提供一份参考。本文不讨论择校问题，写给已经准备报考本专业的同学。文笔糟糕，从小就只会写叙述文，这篇文章也是按时间线记录，各位随意看看。初试本人二本计算机出身，去年4月份开始准备考研，考研目标定在考211。初试政治66分，英二66分，数二133分，数据结构（959）131分。数学我准备数学...
2019-04-05 21:52:27
10723
12
原创 eclipse集成lombok插件
之前用idea开发时发现一个很好用的插件lombok，后面在使用eclipse时也想集成lombok插件，发现eclipse里面并没有提供。只能手动安装，在研究了一天之后终于安装成功。下面就介绍一下安装流程。1.下载lombok.jar,百度lombok，进入官网下载最新版本，版本太低的话，eclipse时不支持的。我使用的是1.16.18，eclipse最新版本支持。2.双击lombok
2017-12-23 14:34:23
6914
原创 使用javaMail进行腾讯，新浪，网易网上邮箱验证
最近本人在开发web项目中，使用到了javaMail来进行邮箱验证。最初刚接触javaMail开发的时候，本人搜索很多有关这方面的知识和案例，比如慕课网上的课程，但那些都只是针对本地邮箱服务器或者单个网上邮箱服务器的案例，不能解决向多种格式的邮箱账号发送邮件的功能。在一番琢磨之后，本人终于实验成功，在这里也分享给各位，希望对没有接触过javaMail开发的小伙伴们提供一点帮助。javaMail
2017-08-05 11:26:46
12449
原创 java后台如何实现页面分页功能
在做购物平台或者考试系统等数据量很多的开发项目时，分页是个必不可少的功能。分页也有很多种实现方法，如何才能做到又简单，又不占用太多资源的分页功能呢？最近，本人在编写购物平台时用到的分页实现自认为还不错，适合初学者借鉴。好，闲话不多说，上代码：先创建一个javaBean，里面定义分页中用到的变量和方法：package entity;public class Pages {publ
2017-06-27 15:20:36
12036
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人