momaojia-CSDN博客

原创使用Streamlit实现PDF预览

本主要是为了实现Streamlit中实现显示PDF文件，其实这种方式就是利用浏览器本身的一种预览方式实现的。因为初学streamlit，在网上看了一堆如何实现streamlit中显示PDF，都是从本地文件（也就是绝对路径)实现PDF显示的，通过st.file_uploader上传文件的方式进行预览的，尝试了很多次都不成功，最后看到一篇博客介绍如何获取streamlit上传文档的路径,最终成功显示。代码实现：import streamlit as stimport base64from pa

2022-03-30 15:57:12 2691 4

原创 centos7下编译tensorflow1.15 GPU版本（cuda11）

因为最近要把cuda10.0升级到cuda11,但是cuda11都不支持tensorflow1.1x版本，所以尝试从源码编译，目前tensorflow官方给出了ubuntu版本的编译方法，nvidia也提供了一款基于ubuntu的nvidia-tensorflow，直接安装在centos上，期间出现了各种问题，因此本文记录了在centos上编译tensorflow-gpu1.15版本的过程，仅供大家参考。下表展示了tensoflow和cuda、gcc之间的对应关系[外链图片转存失

2021-11-24 21:15:25 4615 3

原创 tensorflow实现给bert-crf不同层设置不同的学习率

前段时间看了苏神的文章，关于CRF层可能存在学习不充分问题，文章地址：https://kexue.fm/archives/7196，简而言之就是bert拟合能力太强，可以迅速的学习出字的标签分布，但是CRF部分和BERT没什么关系，前面的字标签已经学习的很好了，导致转移的矩阵的梯度会非常小。想到本人前段时间正好做的实体识别任务，有时候会存在标签乱序的现象，故把以前的代码CRF层中加入不同的...

2020-03-22 18:24:47 2550 1

原创 Ubuntu16.04安装 tensorflow-gpu CUDA9.0+cudnn 7.0

本篇适合第一次安装tensorflow-gpu的人，折腾了好久，一开始装了CUDA 10.1，发现tensorflow 1.13版本调用不起来GPU，后来看了官方的说明，CUDA10.1好像要2.0以上的tensorflow，所以放弃了CUDA10.1,装起了CUDA 9.0，以下为安装步骤一、安装nvidia驱动首先在终端输入nvidia-smi 如果有以下显示，说明驱动正常...

2020-02-22 10:31:09 420 2

原创 java 调用训练好的keras模型，tensorflow Pb模型

这篇文章主要给初次想使用java 调用keras或者使用tensorflow训练好的模型，下面将详细介绍环境安装以及调用步骤。假设你忘记了如何配置java环境，可以从第一部分看起，否则直接转入第二部分。一、首先配置java环境1、下载JDK1.8版本，并且安装2、配置环境变量，本人安装路径为默认路径C:\ProgramFiles\Java\jdk1.8.0_1313、在path里输入%HOME_J...

2018-05-01 18:27:08 14400 4

原创基于简单seq to seq 的聊天机器人+代码实现 (tensorfow 1.1版本）

一、seqto seq模型简介基本Encoder-Decoder模型输入的序列为['A','B', 'C', '']，输出序列为['W','X', 'Y', 'Z', '']二、tensorflow1.1seq2seq接口自从tensoflow1.0.0开始，开始出现新的seq2seq接口。新的接口主要采用动态展开，旧接口是动态展开的。静态展开(static

2017-09-04 15:01:21 5018 1

原创 oracl普通表转换成分区表（使用id作为间隔分区）

网上有很多例子以时间来作为划分的，对于此大家可以自己去查找相关方法，本文针对的是采用 number型id进行分区，用这个的原因主要是当前表中日期字段好多空值，这导致后面的在线重定义有问题，遂采用id来作为间隔。首先进入命令窗口1.创建测试表ZPGZZDB_NEWW_TBSQL> create table ZPGZZDB_NEWW_TB(ID NUMBER not null

2017-09-03 04:07:13 585

原创 tensorflow 中tf.concat()用法

concat()是将tensor沿着指定维度连接起来。其中tensorflow1.3版中是这样定义的：concat(values,axis,name='concat') 一、对于2维来说，0表示行，1表示列t1 = [[1, 2, 3], [4, 5, 6]]t2 = [[7, 8, 9], [10, 11, 12]]with tf.Session() as sess

2017-08-26 17:24:07 10762

原创 tensorflow 中的embedding 报错问题解决

今天TensorFlow中的tf.contrib.layers.embed_sequence来对输入进行embedding时候，发现报了如下的错误： InvalidArgumentError (see above for traceback): indices[1,2] = 6 is not in [0, 6) [[Node: EmbedSequence_8/embedding_lo

2017-08-24 17:42:34 11378 3

原创神经网络及反向传播(bp)算法详解

神经元和感知器的本质一样神经元和感知器本质上是一样的，只不过感知器的时候，它的激活函数是阶跃函数；而当我们说神经元时，激活函数往往选择为sigmoid函数或tanh函数。如下图所示：输入节点每一个输入节点对应一个权值，输入节点可以是任意数。权重 W1，W2...Wn偏置项 b激活函数激活函数在神经网络中尤为重要，通过激活函数加入非线性

2017-07-30 17:46:33 17486

原创 Python实现朴素贝叶斯(NB)

这篇文章主要关于朴素贝叶斯算法的用python具体实现，网上关于NB算法的文章很多，大多围绕着《机器学习实战》这本书来着。在此，对于NB算法的原理我大概介绍一下。贝叶斯定理：已知某条件概率，如何得到两个条件交换后的概率。即：已知求假设 A,B独立 P(A,B)=P(A)*P(B) 朴素贝叶斯原理：对于给定的待分类像项，求解在此基础上每个类别出现的概率，

2017-07-19 15:57:06 2057 2

原创 python实现列表对应元素求和的两种方法

这篇主要介绍python实现列表对应元素求和的两种方法。方法一：采用zip（）方法： # -*- coding: utf-8 -*-import mathimport numpy as npa= [1,2,3] b =[4,5,6] #方法1c=[]for i,j in zip(a,b): summ=i+j c.append(summ)print(

2017-07-15 16:30:15 87338 5

原创感知器实现（python）

上篇博客转载了关于感知器的用法，遂这篇做个大概总结，并实现一个简单的感知器，也为了加深自己的理解。感知器是最简单的神经网络，只有一层。感知器是模拟生物神经元行为的机器。感知器的模型如下：给定一个n维的输入，其中w和b是参数，w为权重,每一个输入对应一个权值，b为偏置项，需要从数据中训练得到。激活函数感知器的激活函数可以有很多选择，比如我们可以选择下

2017-07-14 18:47:19 7002

转载人工神经网络之感知器算法

人工神经网络之感知器算法2017-01-07 23:57 101人阅读评论(0)收藏举报分类：算法（6）作者同类文章X感知器作为人工神经网络中最基本的单元，有多个输入和一个输出组成。虽然我们的目的是学习很多神经单元互连的网络，但是我们还是需要先对单个的神经单元进行研究。感知器算法的主要

2017-07-14 10:41:02 4271

原创 KNN（k-近邻）分类算法讲解与实现(python)

KNN算法相对于其他算法是一种特别好实现且易于理解的分类算法，主要根据不同特征之间的距离来进行分类。一般的分类算法首先要训练一个模型，然后用测试集检验模型，但是KNN算法不用训练模型，直接采用待测样本与训练样本的距离来实现分类。 KNN基本原理：根据距离函数计算待分类样本X和每个训练样本的距离，选择与待分类样本距离最小的K歌样本作为X的K个最近邻，最后以X的Ｋ个最近邻中的大多数所属类

2017-07-10 10:25:51 2269

原创 python实现决策树分类（三）

在上一篇文章中，我们已经构建了决策树，接下来可以使用它用于实际的数据分类。在执行数据分类时，需要决策时以及标签向量。程序比较测试数据和决策树上的数值，递归执行直到进入叶子节点。这篇文章主要使用决策树分类器就行分类，数据集采用UCI数据库中的红酒，白酒数据，主要特征包括12个，主要有非挥发性酸,挥发性酸度, 柠檬酸, 残糖含量,氯化物, 游离二氧化硫, 总二氧化硫,密度, p

2017-06-28 11:43:39 4786

原创 python实现决策树分类（二）

上一篇博客主要介绍了决策树的原理，这篇主要介绍他的实现，代码环境python 3.4，实现的是ID3算法，首先为了后面matplotlib的绘图方便，我把原来的中文数据集变成了英文原始数据集：变化后的数据集在程序代码中体现，这就不截图了构建决策树的代码如下：#coding :utf-8'''2017.6.25 author :Erin functi

2017-06-26 21:10:53 6269 1

原创 python实现决策树分类（一）

决策树是一种常见的分类算法，每一个叶子节点对应一个分类，非叶子节点对应某个属性的划分。决策树主要有3个部分组成，分别为决策节点，分支和叶子节点。其中决策树最顶端的节点为根决策点，每一个分支都有一个新决策点。决策节点下面是叶子节点。决策的过程从根决策点开始，从上到下。构造决策树的过程是如何选择合适的属性对样本做拆分。接下来我会主要介绍ID3算法。ID3的核心思想：选择信息增益最大的属性进行

2017-06-23 14:38:44 4181 1

原创 python 文本情感分类

对于一个简单的文本情感分类来说，其实就是一个二分类，这篇博客主要讲述的是使用scikit-learn来做文本情感分类。分类主要分为两步：1）训练，主要根据训练集来学习分类模型的规则。2）分类，先用已知的测试集评估分类的准确率等，如果效果还可以，那么该模型对无标注的待测样本进行预测。首先先介绍下我样本集，样本是已经分好词的酒店评论，第一列为标签，第二列为评论，前半部分为积极评论，后半部

2017-06-21 19:54:50 6848 8

原创 python 数据预处理（采用拉格朗日插值法处理缺失值）

在数据挖掘中，数据往往会存在不完整的情况，本文主要采用拉格朗日插值法处理缺失值。拉格朗日插值法定义：对于某个多项式函数，已知有给定的K+1个取值点：其中x对应自变量的位置，y对应这函数在这个位置（每一个y值都不等于0）的取值。解设任意两个不同的Xj都互不相同，对应的拉格朗日插值所得到的拉格朗日插值多项式为：下面采用拉格朗日插值对缺失值进行插补，数据的形式

2017-06-21 15:30:33 20722 7

原创 keras中的一些小tips（一）

写这篇博客的原因主要是为了总结下在深度学习中我们常会遇到的一些问题，以及不知道如何解决，我准备把这个部分作为一个系列，为了让大家少走一些坑，对于本博客有什么错误，欢迎大家指出，下面切入正题吧。1. 深度学习，一个令人头疼的问题就是如何调参?简而言之，如果数据集复杂的话，那么就要增加网络的层数，模型欠拟合了，加节点。2. 关于验证集的loss曲线和acc曲线震荡，不平滑问题出现los

2017-06-06 14:31:59 24202 2

原创 python实现读Excel写入.txt

因为今天要用到把Excel中的数据写入到.txt文件中，所以简单的写了个代码：import numpy as npimport xlrd #打开excel文件data= xlrd.open_workbook('./sudata/ng.xls')#打开Excel文件读取数据sh=data.sheet_by_name("Sheet1")##通过工作簿名称获取print sh.nrows#行数

2017-05-14 14:17:09 10748

原创 python读取一个目录下的文件，并且写入.txt文件中

代码在python2.7下测试通过首先在c文件下有3个.txt文件，现在把c文件夹下的所有文件写入到一个.txt文件中，代码如下# coding=utf-8import globdef texttotext(): #把一个目录下文本文件写入一个文本中 dir=glob.glob('c/*.txt') fout=open('1.txt','a')

2017-05-13 12:11:02 6298 1

原创 python基础操作

1 求圆周率Pi的近似值，要求其误差小于0.0000001 圆周率pi的公式：pi/4=1-1/3+1/5-1/7+...+1/nfenmeu=1.0 #存放分母dblterm=1.0 #存放当前项的值flag=1 #存放符号pi=0 #存放累加和while abs(dblterm)>0.000001: pi=pi+dblterm fenmeu=fenmeu+2

2017-05-12 20:53:13 733

原创快速排序及实现（python）

快速排序作为很常见的排序算法，其思想很简单，将待排序分成两部分，一部分得到的序列元素比较小，另一部分元素值比较大。下面可以看下具体的例子，有什么不当之处也请大家提出来，共同学习假设待排序的序列为 49 38 66 80 70 15 22 ，首先我们要在这个序列找到一个数作为基准数，为了方便我们就把第一个元素49作为基准数，我们需要两个指针i,j分别从左右两端移动，第一轮查找之后的结果就是以49

2017-04-25 13:08:45 762 1

原创 asp.net中从数据库中读取数据，有对应的吧checkbox选中

在做一个管理页面时，首先需要把早，中，晚不同班次的复选框选中插入到数据库，然后还要在数据库中把对应的班次信息读出来，与对应的班次的checkbox选中首先前台代码是这样的：<asp:CheckBox ID="CheckBox13" runat="server" Text="中" /><asp:CheckBox ID="CheckBox14"

2017-04-06 09:54:54 2138

原创 keras中查看各类版本号

因为在使用keras中难免要升级，所以我们经常要查看自己使用的版本号，命令如下：1.查看keras版本>>> import keras>>> print keras.__version__1.2.02.查看theano版本>>> import theano as th>>> th.__version__'0.8.2'3.查看tensorflow版本

2017-04-05 13:39:24 34901

原创 ASP.net连接mysql数据库（使用MySql.Data.dll）

以前用ASP.net做web网站时用的都是sqlserver 数据库，也没有了解用mysql如何连接，遂今天试了下，多余就不说了，直接上步骤了。首先我采用的是MySql.Data.dll这种方式连接数据库，我把放在百度云上了，大家可以下载：http://pan.baidu.com/s/1o78bql0mysql的安装我就不多说了，傻瓜式安装即可，这里推荐一个可视化工具可以方便看到数据库里的表

2017-03-24 19:48:58 2063

原创 python中使用文件的读取编码问题和简单正则使用（二）

写这个简单的正则匹配呢，主要是让大家可以参考取自己文本中想要的东西，比如我现在的文本内容是这样的我想要把和之间的neg和pos提取出来，文件基本操作参考上一篇python中使用文件的读取和简单正则使用（一）下面上代码了# coding=utf-8import re fopen=open('monitor.txt','r')lines=[]lines=fopen.readlines

2017-03-24 19:48:53 492

原创 python中使用文件的读取编码问题和简单正则使用（一）

p { margin-bottom: 0.25cm; line-height: 120% }今天想写个程序合并文件的，以前一直觉得python的编码解码好烦，只要处理文件合并之类的都是用C#写，但是最近用的是linux，也没有vs，就只能乖乖的用python 写了，早上看了下，也没有我想的负责，只能说以前太那啥了。。。。好了，闲话少说，下面先简单介绍下文件读取操作吧。首先说明的是我用的

2017-03-24 19:48:50 707

原创 keras中Convolution1D的使用

这篇文章主要说明两个东西，一个是Convolution1D的介绍，另一个是model.summary()的使用。首先我先说下model.summary()，此方法可以打印出模型的信息，读者可以查看每层输出内容。接下来就说下Convolution1D的使用了，Convolution1D一维卷积，主要用于过滤一维输入的相邻元素，官方文档是这样的keras.layers.convolutiona

2017-03-24 19:48:45 16371 1

原创 keras中merge用法

今天写个程序想用Merge层实现两个模型合并输出，但是模型在训练的时候一直出错，为了解决问题，又把官方文档好好看了下，找了些资料。首先keras的文档中是这样给出的，把若干个层合并成一个层keras.engine.topology.Merge(layers=None, mode='sum', concat_axis=-1, dot_axes=-1, output_shape=None, no

2017-03-24 19:48:41 44091 28

原创 python中类的基本使用

以前一直比较懒，也没写什么大程序，定义个函数调用调用就够了，故一直没有看python中类的使用方法，但是现在想系统的学习python，所以就简单的看了下类的使用，下面就简单介绍下首先介绍下基本的概念和使用方法，后面我会以一个具体的例子来说明怎么使用。一、基本概念熟悉面向编程的人都应该知道类的概念，类和实例息息相关，有了类之后我们必须创建一个实例，这样才能调用类的方法。类的定

2017-03-24 19:48:31 463

原创 ASP页面添加打印按钮

1.首先呢，就是在ASP页面中加入一个打印按钮，代码如下：asp:Button ID="Button1" runat="server" OnClientClick="return Print();" Text="打印" />2.然后呢，就是要写一个javascript脚本了，也就是打印的主要代码了，内容如下：function Print(

2017-03-24 19:48:26 1422

原创 C#定时程序

今天就简单写个C#定时程序吧，比如到了7:33，就提示你该吃早饭的程序，代码如下： string CurrTime; DateTime dt = DateTime.Now; CurrTime = dt.ToShortTimeString().ToString(); //获取系统时间 string s

2017-03-24 19:48:23 787 1

原创线程创建

一个简单的线程创建代码#include #include #include #define num 8void *PrintHello(void *threadid){int *id_ptr,taskid;sleep(1);id_ptr = (int *) threadid;taskid = *id_ptr;printf("hello from threa

2017-03-24 19:48:14 225

原创简单的客户端，服务端通信

client.c代码如下：#include #include #include string.h>#include #include #include #include in.h>#include #include #define BUFLEN 10int main(int argc, char **argv){ int sockfd; int port

2017-03-24 19:48:11 251

原创二叉树遍历

# include # include # include # define STACK_MAX_SIZE 20# define NULL 0struct BTreeNode{char data;struct BTreeNode *left;struct BTreeNode *right;};//void initBTree(struct BTreeNode* *bt){*bt = NULL;r

2017-03-24 19:48:09 272

原创 keras简单介绍与使用

python中提供了两个用于快速数值计算的库，分别是Theano和TensorFlow，他们都是非常强大的库，但是很难直接使用来他们来创建深度学习模型，因此keras应运而生，keras提供了基于Theano或TensorFlow的一种快速高效的方式创建深度学习模型。关于keras的安装，可以见我另外两篇的博客，里面有相应的介绍。使用keras创建深度学习模型的大概步骤如下： 1.定义模型

2017-03-24 19:48:04 618

原创 pandas基础使用

pandas是基于numpy构建的，使得以Numpy为中心的应用变得更加简单方便。一、关于pandas的安装安装pandas必须首先安装numpy库，然后使用pip可以直接安装 pandas, pip install pandas。二、pandas数据结构介绍2.1、Seriespandas的基本数据结构是Series和DataFrame。Series也就是序列，是一种类似

2017-03-24 19:47:59 509

Apache下载

IKAnalyzer2012 中文分词

空空如也