pochy的博客

原创 neo4j | 下载地址

https://neo4j.com/artifact.php?name=neo4j-community-3.5.12-windows.zip

原创 数据库 | 范式

第一范式（1NF） ：无重复列第二范式（2NF）：取消非主属性对主码的部分函数依赖。ps：(学号，课名)–>分数但(学号，课名)–>姓名 存在部分函数依赖如果主码只有一个属性，那么就不可能存在非主属性对码的部分函数依赖。第三范式（3NF）：取消非主属性对码的传递函数依赖。BC范式：消除主属性对于码的部分函数依赖与传递函数依赖。...

原创 报错 | Requested return tensor ‘final_encodes:0‘ not found in graph def

Traceback (most recent call last): File "/usr/local/anaconda3/envs/tf15/lib/python3.6/threading.py", line 916, in _bootstrap_inner self.run() File "/usr/local/anaconda3/envs/tf15/lib/python3.6/threading.py", line 864, in run self._target(*self.

原创 git | 使用指南

目录1、首先我们需要https或者ssh地址：2、安装git客户端。2.1 windows2.1.1 安装2.1.2 打开2.1.3 配置3、设置SSH密钥/HTTPS密码3.1 设置SSH密钥1、打开Git客户端（Git Bash或Linux的命令行窗口），输入以下命令行：2、添加SSH密钥到代码托管服务端：4、从客户端克隆/推送代码仓库4.1 前提条件：4.2 背景信息4.3 从客户端克隆/推送代码仓库（使用SSH协议）4.3.1 克隆仓库4.3.2 新建一个分支：4.3.3 新建一个文件4.3.4 提

原创 Tensorflow | FailedPreconditionError错误

错误日志：tensorflow.python.framework.errors_impl.FailedPreconditionError: 2 root error(s) found. (0) Failed precondition: Error while reading resource variable crf_1/left_boundary from Container: localhost. This could mean that the variable was uninitialize

原创 linux | 添加python模块搜索路径(以text_classification为例）

情况说明这是我的目录结构，我在triple_extract下的triple_extractor调用text_classification下的某模块时提示无法调用，我已经添加了init,py文件，但仍然不行解决方案：添加将本项目添加到python 的搜索路径下即可。1、查看python 模块默认安装路径import sysprint sys.path找到当前环境下的site-packages在哪里然后在该目录下增加.pth文件，（名字随意）cd /usr/local/anaconda

原创 python安装库的时候Command “python setup.py egg_info“ failed with error code 1 in /tmp/pip-build*

1、错误描述pip安装软件时出现：Command “python setup.py egg_info” failed with error code 1 in /tmp/pip-build-*(其中×与要安装的软件有关)distutils.errors.DistutilsError: Command ‘[’/usr/local/anaconda3/envs/tf14/bin/python’, ‘-m’, ‘pip’, ‘–disable-pip-version-check’, ‘wheel’, ‘–no

原创 linux | 修改pip源为国内源

1、临时修改在安装命令后加上指定源选项pip install pymysql -i https://mirrors.aliyun.com/pypi/simple/2、永久修改2.1 首先创建文件夹~/.pip mkdir ~/.pip2.2 然后修改该文件vim ~/.pip/pip.conf1 [global]2 timeout = 83 index-url = http://mirrors.aliyun.com/pypi/simple/4 extra-index-url=

原创 linux|挂载新的硬盘并格式化

1、查看已有分区状态df -h2、查看服务器安装的硬盘状态（包括格式化和未格式化）fdisk -l3、分区3.1添加一个新的分区fdisk /dev/vdb3.2 选择分区类型e extended # 扩展分区p primary partition (1-4) # 主分区这里输入p3.3 选择分区数字3.4 选择磁盘大小两次都回车了，表示使用了所有的磁盘3.5 保存输入w3.6 查看新建分区4、格式化分区mkfs -t ext4 /dev/sdb1

原创 linux系统查找程序被killed原因

1、cd /var/log/找messages2.直接寻找错误，发现一个好方法：dmesg | egrep -i -B100 ‘killed process’或:egrep -i ‘killed process’ /var/log/messagesegrep -i -r ‘killed process’ /var/log或:journalctl -xb | egrep -i ‘killed process’...

原创 linux|查询端口、内存占用情况

netstatnetstat 命令应用是比较频繁的，比如查看端口占用啦，查看端口进程啦，这些时候都是有必要的。netstat命令各个参数说明如下：-t : 指明显示TCP端口-u : 指明显示UDP端口-l : 仅显示监听套接字(所谓套接字就是使应用程序能够读写与收发通讯协议(protocol)与资料的程序)-p : 显示进程标识符和程序名称，每一个套接字/端口都属于一个程序。-n : 不进行DNS轮询，显示IP(可以加速操作)1、查看所有TCP接口：netstat -ntlp2、查看

原创 Flask与keras结合的几个常见错误

1. ValueError: Tensor Tensor(“dense_1/Sigmoid:0”, shape=(?, 1), dtype=float32) is not an element of this graph.在Flask中使用tensorflow的model，一在界面中调用 model.predict() 就报下面这个错误，不过在单独的 .py 文件中使用却不报错。ValueError: Tensor Tensor("dense_1/Sigmoid:0", shape=(?, 1), dt

原创 jupyterlab相关

1、下载jupyterlabpip install jupyterlab2.1配置jupyter_notebook_config.py#生成配置文件jupyter notebook --generate-configWriting default config to: /home/pchoy/.jupyter/jupyter_notebook_config.py2.2 修改配置文件1）创建一个访问密码，后面需要、通过网页登陆时也需要jupyter notebook passwordE

原创 解决anaconda无法创建环境问题

CondaHTTPError: HTTP 000 CONNECTION FAILED for url https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/noarch/repodata.jsonElapsed: -使用conda 创建虚拟环境报错，首先切换镜像conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/conda config --a

原创 dict使用指南

一键多值#dict一键多值for i in range(len(one)): temp.setdefault(one[i],[]).append(two[i])

原创 pandas使用指南

import pandas as pd# 1、读取数据#读取xlsdf = pd.read_excel('制造商重码.xls')#读取csvdf=pd.read_csv('HR_PERSONAL_ORGANIZATION.txt',sep=',',header=None,encoding='utf-8',error_bad_lines=False)#或者自己生成数据df=pd.DataFrame(np.random.randn(6,5),columns=['a','b','c','d','e

原创 Xshell 后台启动程序并将日志写入到指定程序——nohup

nohup python server.py >> log_server.out &

原创 keras控制显存(GPU)

from keras.backend.tensorflow_backend import set_sessionconfig = tf.ConfigProto()config.gpu_options.per_process_gpu_memory_fraction = 0.4config.gpu_options.visible_device_list = "1"set_session(tf.Session(config=config))

原创 bert-as-service存在问题

今天使用bert-as-service进行NER任务，忽然发现返回的tokenembedding长度与输入的汉字长度不一致，还是老实使用bert搭建模型吧。

原创 python代码文件中包含中文

#-- coding: utf-8 --

原创 keras_contrib安装

keras_contrib是keras的一个高级网络实现模块，里面包含了用keras实现的CRF等高级网络层和相关算法。问题：ModuleNotFoundError: No module named ‘keras_contrib’解决：安装keras_contribpip install git+https://www.github.com/keras-team/keras-contrib.gitfrom keras_contrib.layers import CRFfrom keras_con

原创 ubuntu远程服务器安装深度学习环境——有root权限

目录1.个人环境2.安装cuda1、安装cuda2、安装cudnn3、安装anaconda1、安装2、配置环境变量4、创建深度学习环境1.个人环境系统：ubuntu 16.04(可在linux命令行通过命令 ~$ cat /proc/version查看)权限：有root权限cuda版本：cuda 10.0对应的cudnn版本：cudnn7.6.52.安装cuda1、安装cudacuda下载地址：https://developer.nvidia.com/cuda-downloads?仿照下图

原创 Keras——检查GPU是否可用

先检查自己有没有gpufrom tensorflow.python.client import device_libprint(device_lib.list_local_devices())输出类似这种[name: "/cpu:0"device_type: “CPU”,name: "/gpu:0"device_type: “GPU”]然后检查keras有没有在利用gpu：from keras import backend as KK.tensorflow_backend._get_a

原创 Keras 笔记之Mask层

keras 的Mask层先看下官方文档的解释Masking层方法keras.layers.core.Masking(mask_value=0.0)使用给定的值对输入的序列信号进行“屏蔽”，用以定位需要跳过的时间步对于输入张量的时间步，即输入张量的第1维度（维度从0开始算，见例子），如果输入张量在该时间步上都等于mask_value，则该时间步将在模型接下来的所有层（只要支持masking）被跳过（屏蔽）。如果模型接下来的一些层不支持masking，却接受到masking过的数据，则抛出异常。例

原创 bert-as-service 初探

安装pip install bert-serving-server # serverpip install bert-serving-client # client, independent of `bert-serving-server`要求（1）Python >= 3.5（2）Tensorflow >= 1.10（3）不支持Python2！！！准备工作1、从以下列表里面下载好预训练的BERT模型，解压在某个文件夹中，例如：/model/chinese_L-12_H-76

原创 去除txt文本中的空格

temp=[]with open('标注结果/end/task_1_hxj.txt',encoding='utf-8') as f,open('标注结果/end/hxj.txt','w',encoding='utf-8') as fw: #f_csv = csv.reader(f) for line in f: if line.split(): line = "".join(line.split()) try

原创 Keras_LSTM

最近做一个关于用命名实体识别NER的项目，想用循环神经网络试一下，具有时间特性的数据预测当然非LSTM莫属了啦，但是感觉自己对LSTM的输入和输出不是很明白，就学习顺便整理一下吧。Cell说到LSTM当然先来一张cell的图了：图中看起来是三个cell，其实是一个cell在不同时刻上的拼接，也就是说其实是一个cell在不同时刻的状态。我们就以中间那个cell为例进行说明吧。其中，四个黄色的小矩形就是普通神经网络的隐藏层结构，其中第一、二和四的激活函数是sigmoid，第三个的激活函数是tanh。t

原创 Bert原理初探

transform结构：是由多个encoder层和多个decoder层组成。self-attention：输出的Z1需要依赖输入X1、X2、……、Xn，（Z1是考虑上下文的FNN输出的r1：只需要考虑Z1计算出编码X1需要提供给所有词的注意力概率后，Z1=0.88×v1+0.12×v2q可以被认为是检索别的词的概率，代表需要花多少注意力到别人...

原创 基础研究——机器推理

原创 多模态学习

结构化数据和文本更有竞争力

原创 Bert输入与输出

这里记录一下bert模型的输入都代表什么：如图上图显示的是BERT输入表示总述：输入嵌入分别是token embeddings, segmentation embeddings 和position embeddings 的总和BERT最主要的组成部分便是，词向量（token embeddings）、段向量(segment embeddings)、位置向量(position embeddi...

原创 python——os

今天来说一下python的内置库os查看当前目录所有文件：import osprint(os.listdir('.'))查看当前目录路径：print(os.getcwd())查看当前目录所有文件夹：import ospath = os.listdir(os.getcwd())for p in path: if os.path.isdir(p): pri...

原创 智能问答API中文文档

智能问答API中文文档1、NER实体抽取1、引入NER模块：2、加载词典：3、定义实体词性：4、获取实体与其词性：4、关键词抽取与映射转换2、向量化1、引入向量化VEC_term_freq模块2、加载问句语义库（计算词频文档）3、问句向量化3、关系抽取1、引入关系抽取Classify模块2、加载预测模型3、关系抽取1、NER实体抽取实体抽取模块的目的是根据词典识别出自然语言问句中的实体。其步骤...

原创 python使用ssh服务传输数据

# -*- coding:utf-8 -*-import paramiko,os,sys,timeport = 22user = 'root'def ssh_scp_put(ip,port,user,password,local_file,remote_file): ssh = paramiko.SSHClient() ssh.set_missing_host_key_p...

原创 读取存储txt文件

1、数据格式1-RCV-00O1-BMSR-J006-04-Z3-MWH1-2000-200-SB-H5006B1-RC02-11A-MA0-SAP3VA1-DN-20CR3-A-00VL2、加载类库import csv3、加载数据、处理数据temp=[]with open('xxxxx.txt',encoding='utf-8') as f: f_csv = c...

原创 读取存储xlsx文件

1、加载pandasimport pandas as pd2、读取xlsx数据df = pd.read_excel('CVM_HR_PERSONAL_test1585539635649.xlsx')3、相关属性df.index.values 行索引数据print(len(df.index.values))66616print(df.index.values)[ 0 ...

原创 Tensorflow2.0初探——keras回调函数、实现简单的图像分类、归一化

Tensorflow2.0初探——keras回调函数、实现简单的图像分类、1、引入相应的库2、导入数据3、数据归一化4、创建模型5、定义回调函数callback6、绘制各项训练数据图像7、评估验证函数1、引入相应的库import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy a...

原创 matplotlib初探

1、导入mnist数据集绘图1.1 加载mnist数据集import tensorflow as tffrom tensorflow import kerasfashion_mnist = keras.datasets.fashion_mnist(x_train_all, y_train_all), (x_test, y_test) = fashion_mnist.load_data(...

原创 tensorflow2.0初探—简介

1、Tensorflow2.0——简化的模型开发流程使用tf.data加载数据使用tf.keras构建模型，使用premade estimator验证模型使用Tensorflow hub进行迁移学习使用eager mode进行运行和调试使用分发策略进行分布式训练导出到SaveModel使用Tensorflow Serve、Tensorflow Lite、Tensorflow.js部署...

原创 创建属于自己的neo4j数据库

这里写自定义目录标题开始1、准备csv文件（使用爬虫爬取数据）2、完成知识图谱的构建3、一些查询一点疑问开始使用csv文件创建图数据库1、准备csv文件（使用爬虫爬取数据）1.1 ylq_star_nodes.csv （实体表）1.2 ylq_star_relations.csv (关系表)1.3 将两个csv文件放到neo4j-community-4.0.2\import 下...