![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
金鱼记忆
suuunnnyoy
勉强找到工作的菜鸟程序员
展开
-
windows下spark+hadoop+pyspark环境配置
试了无数个教程,终于找到特别靠谱的,亲测有效,对下载较慢的安装包可以搜索国内镜像下载。https://www.jianshu.com/p/5c490411f160最终成功版本python = 3.5hadoop = 2.7.7winutils = 2.7.1spark = 2.4.6scala = 2.11.8jdk = 1.8...原创 2020-08-07 15:53:13 · 214 阅读 · 0 评论 -
下载pycorrector时遇到kenlm下载失败问题
问题:pycorrector需要使用kenlm,但是直接pip install kenlm会报错。解决办法: 在https://codeload.github.com/kpu/kenlm/zip/master直接下载kenlm的压缩包,解压缩后放到site-package路径下,然后cd进入包内,python setup.py install安装即可...原创 2019-12-25 14:55:10 · 650 阅读 · 0 评论 -
LibRec导入Eclipse(每次都百度好烦啊)
LibRec导入Eclipse(自己写一个好了)在官网https://www.librec.net/download.html下载安装包,解压缩以maven project的方式导入,File ->Import->Maven->Existing Maven Projects,找到下载的文件测试的话:以src/test/java下的包为例,打开net.librec.rec...转载 2018-04-18 16:16:06 · 1596 阅读 · 2 评论 -
play framework学习问题
在网上下载的librec的demo,使用了play framework来实现web端的电影推荐,所以只好先学习下play framework的使用。在网上下载安装包,解压缩到d盘根目录下(可以根据实际情况选择,但是文件名最好不包含空格)将其路径添加到path中,在高级设置中选择修改path变量,将D:/play-1.4.5添加到path中在文件夹中摁住shift键右击,选择打开power...原创 2018-04-19 19:56:11 · 259 阅读 · 0 评论 -
Play Framework中的Groovy模板引擎
啊啊啊啊啊啊终于找到了他是怎么写的了,先让我哭一会。。。。顺便感谢下大佬 http://weblove.iteye.com/blog/2042990 Play这个东西用了自己的模板引擎生成HTML 页面,这个引擎使用了Groovy作为表达式语言。可以直接使用Groovy语言来创建动态的页面,但是不需要学习Groovy的所有知识,只需要了解跟Java非常相近的一部分。Play将所有的模板文件都放...原创 2018-05-20 22:46:24 · 390 阅读 · 0 评论 -
交通项目处理过程
数据处理xml文件处理将所有的xml文件目录存到一个txt文件中,方便批量解析。 使用cmd中的dir命令实现,“dir/b/a-d “.\”>”.\文件名.txt””,第一个.前填文件夹的名字,第二个.前是生成的txt的名字。...原创 2018-08-13 15:58:07 · 131 阅读 · 0 评论 -
法研杯数据处理
罚金预测数据预处理从原始json文件中抽取出facts文本和punish_of_money标签。将facts文本分词后写入data_train.txt文件(还是使用jieba,简单去除了长度小于等于1的词,没有筛选词性,单纯觉得如果生成神经网络模型的话会破坏上下文关系)punish_of_money取log2后取整作为标签将数据存成fasttext需要的格式,不需要生成词向量,因为fa...原创 2019-01-15 09:26:19 · 1635 阅读 · 4 评论 -
关于jupyter notebook的python版本配置问题
jupyter notebook确实是个贼好用的编辑器,但是之前一直因为python版本的原因没能使用,今天不小心解决了,记录一下,希望能同样被困扰的人一点帮助python版本问题我没有安装anaconda,直接安装了两个python版本,现在一般用python3(用的时候要使用 py -3 -m来运行),所以我之前只在python2版本下install了jupyter,今天看了一下pytho...原创 2019-03-21 11:27:19 · 2566 阅读 · 0 评论 -
neural topic model
论文参考:A Novel Neural Topic Model and Its Supervised Extension主要思想:将神经网络和topicmodel结合,将LDA中对于狄利克雷分布的参数估计转换到神经网络中对于隐藏层参数的估计,设定损失函数,通过迭代学习得到最优参数,并且这也对加入标签数据更加友好。代码:github上有实现,但是参数更新的过程中出现的问题导致收敛到0,并且作者...原创 2019-06-11 16:32:22 · 1495 阅读 · 2 评论