- 博客(65)
- 收藏
- 关注
原创 LLaMA-META发布单卡就能跑的大模型
2023年2月25日,Meta使用2048张A100 GPU,花费21天训练的Transformer大模型LLaMA开源了。
2023-02-27 20:52:35 3149
原创 linux: 程序重定向没及时输出到文件
stdbuf -oL ./test>>out其中的参数,o表示输出流,L表示行缓冲。这样主要遇到换行符,就会将缓冲输出到指定对象。参考:https://blog.csdn.net/frank_liuxing/article/details/54017813
2021-06-29 16:13:50 1419
原创 知识图谱驱动对话模型的解读
最近在做知识图谱驱动的多轮对话,查了很多资料,很多方案都采用“分类+NER+图谱规则”的方式做,在特别狭窄的领域感觉还可以,但是在宽一点的领域,就感觉图谱规则特别像机器人不太自然。在看了Knowledge-driven-dialogue项目后感觉很受启发。感谢作者的方案分享,在这里记录下自己对这个项目模型的一点点小的认识,由于对专业术语掌握的不精,主要采用通俗的描述方式,可能描述不精确,大家意会就行啦。https://github.com/lihanghang/AI-Competition/tree
2021-06-24 11:16:56 726
原创 消费者需求-营销对话探索
1 U&A模型成熟的消费者研究模型。费歇宾模式,消费者对一个给定产品的态度定量评价为,该产品具有各显著特征的程度和特征的评价乘积的和。
2021-06-21 12:37:33 660
原创 主动对话中冷场问题的一些思考
在营销对话系统中,当机器人助理回答万客户的问题,客户没有进一步提问或反馈时,就会陷入尴尬情景中,机器人如何抛出合理的问题,引导可以进一步提问,培养客户的信任,对机器人成功推荐出产品非常重要。...
2021-06-19 10:14:37 149
原创 pyenv 快速安装python
pyenv 快速安装 python 3.6.8v=3.6.8; curl -L https://npm.taobao.org/mirrors/python/$v/Python-$v.tar.xz -o ~/.pyenv/cache/Python-$v.tar.xz; pyenv install $vpyenv global 3.6.8
2021-03-29 10:53:05 208
原创 问题生成模型 - SQuAD任务启发
如何将BERT应用到生成式模型-UNILMBERT采用BiLM的方式预训练,而生成式模型一般采用Left->Right的LM的方式预训练,UNILM则在继承BERT BiLM预训练强大优势的同时,将BERT模型应用到生成式任务中,本文解读UNILM是如何实现这个目标,以及实现目标的方法和过程。UNILM:LM模型其实本质都是在训练时能获取到什么信息,在实现层面就是如何Mask的问题了,所以可以把Seq2Seq的LM方法应用到BERT中,S1[SEP]S2,S1做Encode编码用,S2做Dec
2021-01-26 15:28:01 1115
转载 neo4j 不同实例之间数据的export和import
consider to use APOC. Here is how to use.[on export side]enable APOC(Neo4j Desktop is easy to enable) set "apoc.export.file.enabled=true" into your database config (re)start database open Neo4j...
2019-02-24 22:02:35 695
翻译 neo4j dump 和 load使用例子
dump 例子$neo4j-home> bin/neo4j-admin dump --database=graph.db --to=/backups/graph.db/2016-10-02.dump$neo4j-home> ls /backups/graph.db$neo4j-home> 2016-10-02.dump load例子$neo4j-hom...
2019-02-24 22:02:27 2969 2
原创 neo4j apoc 设置
1 下载 neo4j apoc jar包在neo4j home目录下cd pluginswget wget https://github.com/neo4j-contrib/neo4j-apoc-procedures/releases/download/3.5.0.2/apoc-3.5.0.2-all.jarneo4j apoc jar需要根据neo4j版本进行选择 2 重...
2019-02-24 22:01:50 368
原创 neo4j restful api和py2neo driver选择
py2neo driver可能触发多次client端和server端的通信,复杂查询延迟较大,适用如下场合:1)简单的cypher查询,如单个顶点查询、一跳关联查询2)期望返回数据为node类型的多跳复杂查询,不关注查询延迟,数据可以多次分批获得 neo4j restful api查询在client和server端仅需要一次通信,适用场合如下:1)对延迟敏感的多跳复杂查询,期望...
2019-02-16 14:48:06 603
原创 neo4j community 用户管理方法
改变密码:CALL dbms.security.changePassword('123456')新增用户CALL dbms.security.createUser('johnsmith', 'h6u4%kr', false)删除用户CALL dbms.security.deleteUser('janebrown')显示所有用户CALL dbms.security...
2019-02-16 14:20:43 2854 2
原创 neo4j http api 相比 py2neo driver 运行的更快
neo4j http api:neo4j http requset 速度快1 服务端和客户端仅需一次通信:客户端将cypher命令发送给neo4j 服务端,服务端运行cypher查询,将结果返回给客户端2 cypher执行在服务端:服务端运行cypher,采用直接运行的模式,没有采用stream模式,因此cypher执行没有延迟和等待 py2neo bolt driver:...
2019-02-15 09:39:59 1103
原创 python 执行 neo4j HTTP 查询请求
Authorization 为 user@passwd 生成的字符串def http_post_test() URL = "http://localhost:7474/db/data/transaction/commit" CYPHER = "match (n:学生) where n.name = '李明' return n" data = { "s...
2019-02-14 23:19:44 971
原创 curl 执行 neo4j HTTP 查询请求
query.json { "statements": [ { "statement": "match (n:学生) where n.name = '李明' return n", "parameters": { "decisionId": "1", &
2019-02-14 23:10:09 1627
原创 为neo4j的一个边的属性设置多个值 - 数组属性
1 设置边的数组属性CREATE (n:Person { name: 'tom', title: 'Developer' })CREATE (n:Person { name: 'john', title: 'Developer' })create (a:Person{name:"tom"})-[r:RELTYPE{rtype:["r1", "r1"]}]->(b:Person{n...
2019-02-14 11:12:42 5769
原创 如何使用gremlinpython连接JanusGraph
1 JanusGraph设置1) 下载 janusgraph-0.2.2-hadoop2https://github.com/JanusGraph/janusgraph/releases2) 启动Cassadra、ElasticSearch、GremlinServerbin/janusgraph.sh start3)初始化数据打开gremlin终端,运行如下命令gr...
2019-02-13 18:05:10 3865
原创 proxy协议实现信息在nat系统中的透传
应用场景:在多层nat/tcp网络中实现ip地址的透传haproxyhttps://www.haproxy.org/download/1.8/doc/proxy-protocol.txt
2018-10-31 18:57:11 446
转载 转:linux下通过进程名查看其占用端口
https://www.cnblogs.com/MacoLee/p/5664306.html1、先查看进程pidps -ef | grep 进程名2、通过pid查看占用端口netstat -nap | grep 进程pidlinux通过端口查看进程:netstat -nap | grep 端口号例:查看8081号端口对应的进程名命令:netstat -nap |...
2018-10-16 11:07:11 204
原创 golang http连接复用
server端golang httpserver 默认开启keepalive连接复用选项handler函数需要完整读body数据,构造返回消息,否则当数据不能一次发送完成时,连接复用就会失效。示例如下package mainimport ( "fmt" "io/ioutil" "log" "net/http" "os" "strconv" "strings&qu
2018-02-20 21:35:34 9012 1
转载 nginx修改upstream不重启的方法(ngx_http_dyups_module模块)
该博文不错,转载下备用nginx很强大,第三方模块也不少,淘宝在nginx上很活跃,特别是章亦春,他参与的模块至少10+, 好了今天主角不是他,是一款动态配置upstream的模块,这个模块使用rest接口. 简单,方便,并且可以不需要重启nginx。但是有个问题比较明显,nginx重启之后,什么都没了.1. 安装ngx_http_dyups_module首先安装n
2018-02-07 14:03:05 2505
转载 linux dentry 实现机制分析
from:http://hary.wang.blog.163.com/blog/static/11695172820104572038197/ Linux用数据结构dentry来描述fs中与某个文件索引节点相链接的一个目录项(可以是文件,也可以是目录)。 每个dentry对象都属于下列几种状态之一: (1)未使用(unused)状态:该dentry对象的引用计数
2018-02-07 13:56:41 605
原创 git 命令 - 回滚、查看、合并、同步命令收藏
1 git 回滚强制回滚远程分支git push -f origin commit_id:master强制放弃本地修改git reset --hard2 git 合并某一个commit id提交的内容git cherry-pick 62ecb33 git 查看远程仓库地址git remote -v4 Git同步原始仓库和Fork仓库步骤初始化本地仓库mkdir test-repocd test-r...
2018-02-07 13:25:36 2524
原创 git commit id相关操作收藏
1 git clone指定commit id的版本git clone -b branch git@github/$username/$project.gitgit checkout commitid2 获取commit id获取完成commit id:git rev-parse HEAD获取short commit id: git rev-parse --short HEAD3 查看给定git c...
2018-02-02 11:03:40 6196
原创 lsof 查看进程fd句柄
isof、grep、wc结合可以监控句柄程序的句柄泄漏情况isof | grep nginx | grep user1 | wc -l 可以监控user1用户启动的nginx持有的句柄数目
2018-01-29 13:54:38 2454
原创 删除find 找到的文件命令
今天需要删除find找到的文件,经过查资料发现以下命令很好用,故记录下来。find ./ -name *.log | xargs rm -rf删除在当前目录下及子目录中找到的所有log日志,搞定。
2018-01-28 19:12:49 3405
原创 nc在服务器之间传输文件
首先,接收方10.0.82.196,启动接收, nc -l 9981 > file.tar.gz 其次,发送方启动发送,nc 10.0.82.196 9981 完成传输
2018-01-18 16:01:35 1068
原创 linux检查remote host 端口打开情况
1 通过nc命令检查远程端口是否打开$ nc -w 5 211.100.98.99 22SSH-2.0-OpenSSH_6.6.1如果没有输出,则任务端口没有开放2. 通过nmap检查远程端口是否打开$ nmap 124.16.144.32 -p 80Starting Nmap 7.12 ( https://nmap.org ) at 2018-01-08
2018-01-07 22:25:12 1576
原创 Reported time is too far out of sync with master. Time difference of ...HBase时钟不同步问题
2017-10-25 17:34:04,137 FATAL [regionserver60020] regionserver.HRegionServer: ABORTING region server bionode1,60020,1508924043337: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: Server bionode1,60020,1508924043337 has been rejected; Reported t
2017-10-25 10:01:06 1896
转载 ip 命令 和ifconfig 命令 删除IP
使用ifconfig命令添加一个VIP后,如果需要将这个VIP删除,可以使用ifconfig VIP down命令。但是,如果操作顺序不当,VIP会仍然留在系统缓存中,这时,使用ifconfig是看不到这个VIP的,但是,使用IP命令能够看到。查看ipip -o -f inet addr show删除ip ip -f inet addr delete 10.
2017-10-19 23:21:47 35559
原创 Error communicating with MapOutputTracker-问题解析2
spark.MapOutputTrackerMasterActor: Map output statuses were 14371441 bytes which exceeds spark.akka.frameSize (10485760 bytes).org.apache.spark.SparkException: Map output statuses were 14371441 bytes which exceeds spark.akka.frameSize (10485760 bytes).
2017-10-12 09:07:41 2672
原创 Titan/JanusGraph的Hadoop-Gremlin批量数据导入注意事项
Titan/JanusGraph的Hadoop-Gremlin海量数据批量导入需要注意的问题
2017-09-27 11:27:58 5074
原创 Error communicating with MapOutputTracker 问题解析1
Error communicating with MapOutputTracker 问题分析以及解决
2017-09-27 11:12:55 4176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人