- 博客(23)
- 收藏
- 关注
原创 一个例子看懂Dubbo SPI
分别获取extension和AdaptiveExtension,以及AdaptiveExtension代理类的代码。代码生成:createAdaptiveExtensionClass。
2023-11-15 16:36:29
103
原创 Spark submit 配置executor参数无效
Spark submit的参数可以看这个网站Spark-Submit参数设置说明 - 开源大数据平台E-MapReduce - 阿里云但在Spark submit提交任务时,发现不管怎么设置参数,最后分区结果都固定为2,说明参数没生效。研究半天发现,需要把参数放在任务之前,也就是py文件需要放在最后,才能使参数生效。./spark-submit --master yarn --deploy-mode client --py-files /tmp/dmodpso/dmodpso_cd.zip
2022-05-07 01:07:18
1216
原创 爬虫Python报403或data为空问题
在爬取B站数据时,部分API是需要cookie才能获取数据的,没有携带则结果可能是code:403或{"code":0,"message":"0","ttl":1,"data":{}}比如upstat,需要将标头中的cookie放在爬虫中。headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758...
2022-03-05 21:50:49
2008
原创 scrapy爬取报HTTP status code is not handled or not allowed的可能解决方法
今天写爬虫时遇到了如题的问题,网上的解决方法都是修改get或post请求。但对我都没有用,因为我用postman测了下,get、post请求都能访问到。网上找了很久,终于找到解决方法——在settings.py中关闭代理,如下即可DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.useragent.UserAgent...
2020-03-19 19:33:38
2294
1
原创 PyPDF2库使用
简介这是Python提供的操作PDF文件的库。提取文档信息(标题,作者,…)按页拆分文档逐页合并文档裁剪页面合并多个页面到一个页对pdf文档进行加密解密等等安装和导入pip install PyPDF2import PyPDF2从PDF中提取文字import PyPDF2#打开文件pdfFile = open('example.pdf','rb')#读取PDFp...
2020-03-07 10:14:34
661
原创 python为QT程序添加图标
设置图标最好使用.gif图标,且不能是由其它格式(如.png)强行更改格式过来的图标文件作为程序图标,否则均有可能导致显示不出来在开发中使用图标from PyQt5.QtGui import QIconself.setWindowIcon(QIcon('images/squirrel.gif'))此时,我们只要在主函数模块的同级目录下有images文件夹,且里面包含squirrel.g...
2020-03-07 10:08:01
1650
原创 西南交大信院研一上期末考试
研一上我选的课有这几门需要考试:数据仓库、算法、计网、面向对象、矩阵分析、数理统计。数据仓库半开卷(可以带一张双面A4纸小抄)一共九道题1.过拟合概念和原因2.列存场合,优点3.根据星型模型,画出实例,分析ROLLUP和Dicing4.画出SQL、OLAP、report tool的整个工作流程。5.分析某个数据挖掘是Decriptive还是Perdict,并给出具体算法...
2019-12-31 16:19:04
1052
原创 垃圾邮件分类器的评价指标及ROC曲线Java实现
上一篇博客讲到基于贝叶斯算法的垃圾邮件分类Java实现,最后得到每一封测试邮件为垃圾邮件的概率probability数组,最后的分类步骤和指标评价任务留到了这篇博客进行讲解。因为联合概率法和贝叶斯法最后的正确率相仿,本文只对联合概率法的结果进行评价。首先,我们需要明确我们所需要的评价指标:混淆矩阵、各种指标率、ROC曲线。对评价指标不了解的小伙伴先阅读这篇博客,非常好懂!https://blo...
2019-09-14 16:06:29
1752
原创 基于朴素贝叶斯的垃圾邮件分类器Java实现和讲解
朴素贝叶斯算法最典型的应用就是垃圾邮件的识别,在数据量非常大的情况下,识别的正确率可以达到接近100%,同时实现起来思路并不复杂。本文介绍的就是基于朴素贝叶斯算法的垃圾邮件识别的实现。如果之前对贝叶斯算法不了解的同学可以先阅读这篇文章,非常好懂!https://blog.csdn.net/fisherming/article/details/79509025这篇文章最后得到一个非常通俗的公式:...
2019-09-12 17:26:20
5663
4
原创 WEKA进行Apriori、FP-Tree、K-means算法测试
1.Apriori算法(1)数据动作 战争喜剧 爱情剧情 动作 犯罪剧情 动作 战争科幻 灾难喜剧 爱情 奇幻动作 战争喜剧 奇幻剧情剧情Weka能识别的文件类型是.arff文件,我们需要将已有数据转为.arff格式数据。@relation movie@attribute 动作 {False, True}@attribute 战争 {Fal...
2019-08-28 15:21:17
2342
4
原创 FP-Tree题材关联规则Java实现
FP-Tree算法和Apriori算法都属于基于关联规则的分类算法,前者在实现时采用树形结构,避免了产生候选集的过程,使算法效率得到提升。1.题材数据动作 战争 喜剧 爱情 剧情 动作 犯罪 剧情 动作 战争 科幻 灾难 喜剧 爱情 奇幻 动作 战争 喜剧 奇幻 剧情 剧情 2.事务存储对于1中的数据,需要使用List<List<String>...
2019-08-28 14:12:14
384
原创 k-means算法得到最“相似”的演员Java实现
今天在编写项目时,遇到这样一个需求: 选择多个特征,用特征表达演员。采用合理的相似性计算方法,找到同性别演员中主演电影类型、表演风格最相似的两位演员。当某位导演选角,A演员因故不能参加,可以推荐风格相似的演员B。最先想到的就是聚类算法,再想到k-means算法。1.手头的数据k-means算法最重要的是选好特征。在以上数据中,我选取了年龄(birthday)、...
2019-08-14 15:31:17
646
2
原创 Apriori算法得到演员最频繁的电影题材搭配Java实现
今天在编写项目时,需要得到“某演员所擅长的电影题材搭配”,最先想到的就是关联算法,再想到Apriori算法中的支持度指标很符合这一要求。支持度(Support):support({X -> Y}) = 集合X与集合Y中的项在一条记录中同时出现的次数 / 数据记录的个数只要找到满足“最低支持度指标”的电影题材搭配,就满足了项目需求。1.先查看手头的数据每个演员有多部...
2019-08-14 13:32:12
845
1
原创 AJAX不能在success中return返回值
今天在写js函数时,调用了一个自己写的带返回值的js函数,但是得到的返回值actor却是undefinedvar actor = getActorAjax(datas[i].actorId);于是到getActorAjax()这个函数中寻找错误//获取演员信息function getActorAjax(id){ var res = { "id": id, }; ...
2019-08-14 12:29:04
845
1
原创 html不打开控制台点击事件失效
我在做文件上传时,希望通过a标签时文件选择按钮变得美观,所以讲a标签与input标签重叠。<div class="hand_file" style="width:500px;"> <a href="javascript:;" id="upload" class="a-upload mr10 hand_a"> <input type="fi...
2019-04-25 20:07:42
881
1
原创 localStorage取不出JSON对象
背景:今天做ajax访问接口,接口返回一个对象集合。我希望页面在显示对象集合列表时,为每个列表增加点击事件,点击后将对象数据传入下个页面,故需要使用localStorage存放对象。首先是回调函数中拼接表格,并为每一列增加点击事件,传参为经过JSON.stringify串化的对象<tr onclick='getDetailList(" + JSON.stringify(dataOb...
2019-04-20 23:09:08
1267
原创 SpringBoot中的html页面访问不到js,css等静态资源问题解决方案
首先贴上项目目录结构当我在index.html中访问css中的index.css时,发现报404,路径是http://localhost:8080/static/css/index.css <link rel="stylesheet" href="/static/css/index.css" />网上的解释是在SpringBoot中,默认配置的/**映射到/stati...
2019-04-12 14:23:28
31210
20
原创 JPA使用HQL语句查询为空时空指针异常
今天在写项目的JPA查询遇到的一个坑,分享一下。之前我直接返回Users对象,代码:@Query("select Users from Users as u , Students as s " + "where u.password = ?2 and s.studentId = ?1 and s.userId = u.userId")Users findByStude...
2019-04-11 14:36:26
4679
原创 postman解决session验证问题,试用验证码校验,带登录状态的请求
在测试后端接口时,我们经常会遇到某个接口是需要权限才能访问,如登录后才能访问,那postman如何模拟已登录的状态呢?再者,如果我们在做注册模块时,后端验证码生成并通过邮箱或短信发送给用户后,必然会将验证码存入session,这是一个接口;当用户点击注册时,我们需要验证用户输入的验证码是否正确,这是另一个接口。那如何通过postman时在测试两个接口时用的是同一个验证码?以上都是se...
2019-04-08 16:50:12
8804
原创 2019年西南交大计算机专硕
2019年西南交大计算机专硕初试、复试经验写篇经验贴记录下一年来的考研之路,为想考西南交大计专的同学们提供一份参考。本文不讨论择校问题,写给已经准备报考本专业的同学。文笔糟糕,从小就只会写叙述文,这篇文章也是按时间线记录,各位随意看看。初试本人二本计算机出身,去年4月份开始准备考研,考研目标定在考211。初试政治66分,英二66分,数二133分,数据结构(959)131分。数学我准备数学...
2019-04-05 21:52:27
10813
12
原创 eclipse集成lombok插件
之前用idea开发时发现一个很好用的插件lombok,后面在使用eclipse时也想集成lombok插件,发现eclipse里面并没有提供。只能手动安装,在研究了一天之后终于安装成功。下面就介绍一下安装流程。1.下载lombok.jar,百度lombok,进入官网下载最新版本,版本太低的话,eclipse时不支持的。我使用的是1.16.18,eclipse最新版本支持。2.双击lombok
2017-12-23 14:34:23
7000
原创 使用javaMail进行腾讯,新浪,网易网上邮箱验证
最近本人在开发web项目中,使用到了javaMail来进行邮箱验证。最初刚接触javaMail开发的时候,本人搜索很多有关这方面的知识和案例,比如慕课网上的课程,但那些都只是针对本地邮箱服务器或者单个网上邮箱服务器的案例,不能解决向多种格式的邮箱账号发送邮件的功能。在一番琢磨之后,本人终于实验成功,在这里也分享给各位,希望对没有接触过javaMail开发的小伙伴们提供一点帮助。javaMail
2017-08-05 11:26:46
12477
原创 java后台如何实现页面分页功能
在做购物平台或者考试系统等数据量很多的开发项目时,分页是个必不可少的功能。分页也有很多种实现方法,如何才能做到又简单,又不占用太多资源的分页功能呢?最近,本人在编写购物平台时用到的分页实现自认为还不错,适合初学者借鉴。好,闲话不多说,上代码:先创建一个javaBean,里面定义分页中用到的变量和方法:package entity;public class Pages {publ
2017-06-27 15:20:36
12058
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人