ai_1046067944的专栏

Data Mining Learner

问答QA(二)基于BERT的知识库问答实战

GitHub:https://github.com/jkszw2014/bert-kbqa-NLPCC2017 一、问题描述 本篇知识问答实战来源NLPCC2017的Task5:Open Domain Question Answering;其包含 14,609 个问答对的训练集和包含 9870...

2019-03-09 00:12:35

阅读数 2141

评论数 13

pandas read_csv 错误: Buffer overflow caught - possible malformed input file.

一、错误现象 File "/root/anaconda2/lib/python2.7/site-packages/pandas/io/parsers.py", line 1213, in read data = self._reader.read(nrows) ...

2019-04-23 13:58:11

阅读数 42

评论数 1

python3导入模块的方法PYTHONPAT

1、相同项目中导入模块 绝对路径导入 load_news.py from log.global_config import * 或 from ..global_config import * 项目结构 获取相对和路径名称 ../ 表示当前文件所在的目录的上一级目录 ./...

2019-03-08 22:10:43

阅读数 26

评论数 0

python查看已安装模块使用汇总

命令行pydoc查看 >>> test:~/home$ pydoc modules #查看所有模块 Please wait a moment while I gather a list of all availa...

2019-03-01 19:08:10

阅读数 92

评论数 0

python时间函数

1、获取当前时间 >>> import datetime >>> datetime.datetime.now() datetime.datetime(2019, ...

2019-02-21 17:00:13

阅读数 37

评论数 0

SecureCRT使用BackSpace与python shell 方向键乱码

1. 解决backspace和delete的乱码:  在securecrt的 工具栏–>options–>session–>terminal–>emulation–>mapped keys...

2019-02-20 19:55:16

阅读数 62

评论数 0

Linux常用命令

1、查看机器ip 内网ip inet addr:10.95.114.92 [work@cp01-becqa-billing-4.epc.baidu.com: ~]$ ifconfig eth0 Link encap:Ethernet HWaddr FA:16:3E:E4:23:...

2019-02-20 19:50:11

阅读数 54

评论数 0

Linux进程监控

1、ps命令使用 ps -aux USER  进程的用户; PID 进程的ID; %CPU 进程占用的CPU百分比; %MEM   占用内存的百分比; VSZ   该进程使用的虚拟内存量(KB); RSS   该进程占用的固定内存量(K...

2019-02-19 16:48:26

阅读数 150

评论数 0

【转】【Tensorflow】tf.app.run()与命令行参数解析

转载于 http://blog.csdn.net/TwT520Ly https://blog.csdn.net/TwT520Ly/article/details/79759448、 tf.app.run() 首先给出一段常见的代码: if __name__ == '__main__': ...

2019-02-01 10:56:16

阅读数 142

评论数 0

实体识别(一)几种NER深度学习模型效果对比IDCNN+BERT+BiLISTM+CRF

纯实现上对比几种NER深度学习模型效果(有不严谨的地方:数据集、模型规模等),代码来源于Github上大神的贡献。 实现上有三种模型 对比 模型 IDCNN+CRF BiLSTM+CRF(1) BiLSTM+CRF(2) BERT+BiLSTM+CRF 参考文献 ...

2019-01-31 16:34:52

阅读数 1980

评论数 16

问答QA(一)综述

声明:本文是综合网上问答系统介绍,做的总结,如有侵权,请联系处理,谢谢。 一、问答系统架构     1.1、问题分析模块        负责对用户的提问进行处理;生成查询关键词(提问关键词,扩展关键词,...);确定提问答案类型(PER, LOC, ORG, TIM, NUM, ...)以...

2019-01-25 12:20:08

阅读数 337

评论数 0

知识图谱(四):Neo4j查询语法

一、基础语法 1、节点基础操作 节点创建     Cypher命令:  节点模式的构成:(Variable:Lable1:Lable2{Key1:Value1,Key2,Value2}),实际上,每个节点都有一个整数ID,在创建新的节点时,Neo4j自动为节点设置ID值,在整个数据库中,节点...

2019-01-23 09:49:34

阅读数 556

评论数 0

知识图谱(三):Neo4j数据导入与多库切换

一、Neo4j数据导入 1、import导入csv import语法 neo4j-admin import [--mode=csv] [--database=<name>] [--addition...

2019-01-14 20:08:31

阅读数 624

评论数 0

Pandas中DataFrame关联操作(concat、append、merge、join)

结论: concat与append是属于拼接操作 concat简略形式,只能在axis=0上进行合并 merge与join属于关联操作,类似于sql中的join操作 merge可以实现列与索引上关联操作,join只能索引上关联操作 关联操作基本上用merge就可以了 一、Concat操作...

2019-01-14 20:05:42

阅读数 663

评论数 0

Pandas分组与排序

一、pandas分组 1、分组运算过程:split->apply->combine 拆分:进行分组的根据 应用:每个分组运行的计算规则 合并:把每个分组的计算结果合并起来 2、分组函数 DataFrame.grou...

2019-01-11 15:21:17

阅读数 1006

评论数 1

flume实践(二):TAILDIR多文件采集到对应HDFS文件

需求:  不同服务产生不同的日志文件,例如: server/test_a_20181217.log  server/test_b_20181217.log;日志是不断写入的 flume采集日志到对应HDFS文件夹里,即 :  server/test_a_20181217.log ——&...

2018-12-17 23:27:55

阅读数 189

评论数 0

flume实践(一):配置+单文件追加采集

一、flume采集到HDFS 1、flume安装准备    jdk1.8安装: https://www.cnblogs.com/zeze/p/5902124.html    java -version     2、flume安装     下载 wget http://mirrors.tuna.t...

2018-12-17 22:34:42

阅读数 185

评论数 0

Spark On Yarn任务超时监控-Shell

最近在用spark跑任务,发现有些任务实际已经执行完成,但是就是占用资源,结束不了,用shell写了个yarn上application耗时监控脚本,超时自动杀掉。 #!/bin/bash #current_time=`date +'%Y-%m-%d %H:%M:%S'` current_t...

2018-11-21 13:34:19

阅读数 435

评论数 0

Tensorflow学习笔记(一)--变量作用域与模型加载

1、变量作用域机制主要由两个函数实现: tf.get_variable(<name>, <shape>, <initializer>) tf.variable_s...

2018-10-08 15:36:26

阅读数 120

评论数 0

Impala(四):Python3.6连接Impala的No module named _ssl

1、问题描述: Python3.6连接Impala的No module named _ssl Python2是没有这个问题的 >>> from impala.dbapi import connect Traceback (mo...

2018-09-30 10:59:11

阅读数 771

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭