- 博客(25)
- 收藏
- 关注
RSS订阅原创 matplotlib常用命令合集
查看系统是否有支持的中文from matplotlib.font_manager import FontManagerimport subprocessfm = FontManager()mat_fonts = set(f.name for f in fm.ttflist)print(mat_fonts)以下字体都是中文相关：DengXianFangSongKaiTiLiSuYouYuanAdobe Fan Heiti StdAdobe Fangsong StdAdobe H
2021-10-18 13:37:15
506
原创 elasticsearch & python 入门
官方文档：官方文档参考：Elasticsearch的介绍 以及使用python操作es详细步骤和DB对应关系Relational DB -> Databases -> Tables -> Rows -> ColumnsElasticsearch -> Indices -> Types -> Documents -> Fields安装：以7.14.0版本为例# 安装escurl -L -O https://artifacts.elastic
2021-08-11 13:29:18
1108
原创 当我们谈spark的时候我们在关注什么
虽然能够用scala磕磕绊绊写spark了，但跟大数据相关的一些繁琐的名词及其材料仍让人看的云里雾里的，时至今日中午仍旧在这部分晕晕乎乎，下午突然想通了一个点，再看了下以前浏览的资料，顿有茅塞顿开之感。为此review了林子雨老师的教程，并记录下一些自认为重要的点。茅塞顿开的点想通的点是大数据面临的问题主要有两个：如何存储，如何使用。基于这个基础理念，再看了下以下材料进行验证：林子雨老师教程中的第一章。第一遍看林老师教程的时候非常懵逼，甚至看不下去，这次再看颇有种跟林老师一拍即合的感觉，ppt做的真
2021-03-14 14:48:25
638
原创 [摘要生成]Boosting Factual Correctness of Abstractive Summarization with Knowledge Graph
2020paper: https://arxiv.org/pdf/2003.08612.pdf切入点：factual correctness提出两个模型：Fact-Aware Summarization model, FASUM：which extracts factual relations from the article to build a knowledge graph and integrates it into the neural decoding process.a Factu
2021-01-14 16:13:13
733
原创 [摘要生成]Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward
arxiv 2020疑惑数据集：NYT：training, validation, and test sets 588909, 32716, and 32703 samplesCNN/Daily：training, validation, and test sets 287188, 13367, and 11490 samplesgraph如何构建?利用了OpenIEgraph如何应用？两种形式：1）捕获文档级别的交互 ；2）段落内的交互和段落之间主题的转移。这两个合起来是g
2021-01-13 11:01:13
823
原创 text&KG：ERNIE: Enhanced Language Representation with Informative Entities
paper：https://arxiv.org/pdf/1905.07129.pdfcode：https://github.com/thunlp/ERNIEKG中rich structured knowledge能够帮助跟好的理解句子，但是目前的预训练语言模型基本上都只考虑了rich semantic patterns。于是，本文结合text和KG训练了一个enhanced language representation model (ERNIE)。要融合text和KG将会面临两个主要挑战：Str
2020-07-09 16:10:14
406
1
原创 scala Learning
文章目录基本数据类型和操作基本数据类型操作符富包装类Range输入输出读写文件控制结构条件： if循环：While/do...while/for数据结构容器（Collection）列表（List）:定义列表基本操作连接列表[Scala List 常用方法](https://www.runoob.com/scala/scala-lists.html)集合（Set）映射（Map）迭代器（Iterator）数组（Array）元组（Tuple）Option面向对象编程基础Scala 方法与函数方法类对象单例对象伴生
2020-05-31 21:09:42
913
原创 shell learning
莫名的奇怪，抄写一遍总能记住，不抄写好像总是晕晕乎乎的～大概抄一遍这知识它就能进脑子了吧 >_<#! 告诉系统其后路径所指定的程序即是解释此脚本文件的 Shell 程序运行 Shell 脚本的两种方法作为可执行程序chmod +x ./test.sh #使脚本具有执行权限./test.sh #执行脚本作为解释器参数/bin/sh test.sh/bin/php test.phpShell 变量for skill in Ada Coffe Action .
2020-05-24 21:21:43
252
原创 Git learning
菜鸟教程Git 配置git config 命令专门用来配置或读取相应的工作环境变量。环境变量分为三种，分别存在三个地方：所有用户：/etc/gitconfig个人用户：~/.gitconfig项目环境：当前项目工作目录中的 .git/config 文件git config --list可以查看已有的配置信息，vim ~/.gitconfig也行。Git 工作流程Git 工作区、暂存区和版本库三个概念：工作区、暂存区（英文名叫index或stage）、版本库。慎重使用checkou
2020-05-24 17:37:12
353
原创 java learning
接触过java，但是忘记了，刚扫完了一遍c++，忘记了这两个语法区别。Java 继承继承可以使用 extends 和 implements 这两个关键字来实现继承，public class Animal { private String name; private int id; public Animal(String myName, int myid) { name = myName; id = myid; }
2020-05-19 14:21:38
229
原创 C++ learning
文章目录基本语法基本数据类型typedef枚举类型内置类型变量作用域常量修饰符类型存储类staticexternC/C++编译器 最常用的免费可用的编译器是 GNU，用g++ -v检查是否安装了 GCC；执行g++ -o helloworld helloworld.cpp 得到可运行文件helloworld，命令行输入./helloworld执行；#include <iostream>using namespace std; //告诉编译器使用 std 命名空间。命名空间是 C++ 中
2020-05-18 22:02:20
1198
原创 KGE & logical rules
Jointly Embedding Knowledge Graphs and Logical Rules2016，EMNLP ，Shu Guo、Quan WangWang（2015） 和 Wei（2015）利用KGE和rules去做KGC的任务，采用的pipline的方式；Rockta ̈schel（2015）采用joint模型将一阶逻辑规则注入到KGE过程中，因为它关注的是关系抽取项目，是...
2019-12-23 20:38:21
1527
1
原创 [正在进行中...] KG & object detection
文章目录multi-labelThe More You Know: Using Knowledge Graphs for Image ClassificationmodelExperimentmulti-labelThe More You Know: Using Knowledge Graphs for Image Classification人类和learning-based CV 算法最...
2019-08-12 17:34:50
5915
3
原创 conda创建新环境
文章目录conda创建新环境第一步：创建第二步：激活第三步：查看活跃的环境conda一些命令参考conda创建新环境如果只是用的话，用【创建】和【激活】的命令足够了～第一步：创建conda create --name yourEnv python=2.7–name：也可以缩写为 【-n】，【yourEnv】是新创建的虚拟环境的名字，创建完，可以装anaconda的目录下找到e...
2019-08-06 13:48:29
441281
10
原创 [进行中...]KG&GCN/异构图GCN
文章目录gcn简介Knowledge Graph Convolutional Networks for Recommender Systems方法Propagation聚合(aggregate)过程预测目标损失函数伪码实验其他困惑tipsKGAT: Knowledge Graph Attention Network for Recommendation方法Information Propagati...
2019-07-30 14:35:58
2675
1
原创 sql
先po一个mysql命令行的参考：http://blog.51yip.com/mysql/1056.html一些命令MySQL查询表文件在电脑当中的位置: show global variables like “%datadir%”;待验证： 完美解决distinct中使用多个字段的方法GROUP BY对多个字段进行分组从db中导出数据到文件中很简单的需求，于是开心了查了从sql中...
2019-07-10 20:23:26
184
原创 loss function
问题起源于实验室是同学问：triplet loss比contrastive loss的改进是什么，但尴尬的是我不知道这两个是什么…于是想写写见到的loss functioncontrastive loss参考Contrastive Loss (对比损失)L=12N∑n=1Nyd2+(1−y)max(margin−d,0)2L=\frac{1}{2N} \sum_{n=1}^N yd^2+(1...
2019-07-09 11:08:52
300
原创 spark上的一些任务
需要将json文件和hive文件中的内容进行join操作json文件如下,里面是字典格式{“12334” : [“需要”,“测试”], “1445” : [“需要2”,“测试2”], }尝试1：将上述json文件转为 [ {id:“12334” ,‘name’ [“需要”,“测试”]} ,{}]scala读取json为dataframe类型:import org.apache.sp...
2019-07-04 15:18:06
189
原创 python 一二三
exec–将字符串转为可执行的命令string = "[{'a':'a','b':'b'}, {'c':'c','d':'d'}]"exec("a = " + string )print(type(a)) # listprint(type(a[0])) # dict
2019-07-04 11:04:01
624
原创 spark上的一些问题
之前不记录碰到的问题，解决的思路，导致之后再次碰到又在查查查…————————————————————————————————————表象：spark-shell太卡了，在进去之后报java内存不够的问题原因： 开了太多spark-shell，又异常关闭解决：pgrep javapkill java————————————————————————————————————表象：插入...
2019-07-02 10:06:17
337
原创 《大数据处理技术Spark》--林子雨
hadoop伪分布实例伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：hdfs dfs -mkdir -p /user/hadoop # 已经将hadoop中的bin加入到环境变量中将本地的word.txt复制到分布式文件系统的/user/hadoop/input中hdfs dfs -mkdir input # 因为现在使用的是hadoo...
2019-06-29 22:47:26
3442
原创 mac上发生的那些事
实际上是因为又忘记了ssh密钥的设置…ssh–再也不用输入服务器的密码了在自己电脑上生成密钥：ssh-keygen -t rsa复制自己电脑下cat ~/.ssh/id_id_rsa.pub这条命令输出内容 到 服务器的~/ssh/authorized_keys中...
2019-06-29 14:32:33
292
原创 window一些常用配置
有一段时间因为电脑的原因，一直在重装系统，每次配置总是需要各个地方找相关内容，实属不便o(╥﹏╥)o，因此将一些配制记录到这里一直补充中...doskey：想要在命令行用sublime命令打开文件？好想把sublime添加到右键可见呀每次配置java环境都要找？scala环境呢？doskey：想要在命令行用sublime命令打开文件？doskey类似于linux中的alias，想要实行上述功...
2019-06-26 17:29:03
368
原创 [leetcode] 139. Word Break [python]
文章目录问题定义1. 基于递归的思路1.1 暴力递归1.2 带有记忆力的递归2. 动态规划3. BFS单纯的想记录下这个问题，解决整个问题的思路。如果想要快速的看，就直接看dp的或者1.2 带有记忆的递归部分.问题定义leetcode 139 : 是否给定的句子s能够被拆分成字典wordDict里面的内容。如下例子 leetcode能被拆分为leet和code，因此，结果返回为True。s...
2019-04-05 03:47:38
541
原创 安装虚拟机 failed to install the hcmon driver
是没有卸载干净所有的遗留vmware,只用在C盘中搜索关键字vmware,将与他相关的所有文件删除,并删除“C:\Windows\System32\drivers”下 hcmon.sys驱动.重启,重装.
2017-03-10 10:24:20
4904
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人