赖德发的博客

征途路上,星辰大海~

【python 走进NLP】如何用Keras对分类问题进行类及其概率的预测

对于分类问题,模型学习的是一个输入特征到输出特征之间的映射,这里的输出即为一个标签。比如“垃圾邮件”和“非垃圾邮件”.下边是Keras中为简单的二分类问题开发的神经网络模型的一个例子. # -*- encoding=utf-8 -*- from keras.models import Sequ...

2019-01-21 16:04:28

阅读数 25

评论数 0

【python 走进NLP】AC算法应用

2019-01-19 14:38:09

阅读数 49

评论数 0

【python 图片文字识别】pyocr图片文字识别

pyocr 官方网站: https://gitlab.gnome.org/World/OpenPaperwork/pyocr 安装: pip install pyocr 上一篇文章也写了: https://blog.csdn.net/u013421629/article/details/8439...

2019-01-17 15:27:02

阅读数 38

评论数 0

【python 走进NLP】pkuseg一个领域细分的中文分词工具包

2019年1月份北京大学发布了中文分词工具包:pkuseg,来测试下: 简介: pkuseg具有如下几个特点: 多领域分词。不同于以往的通用中文分词工具,此工具包同时致力于为不同领域的数据提供个性化的预训练模型。根据待分词文本的领域特点,用户可以自由地选择不同的模型。 我们目前支持了新闻领域,网络...

2019-01-16 10:56:15

阅读数 48

评论数 0

【python 监控报警】python 免费短信报警和电话报警

参考链接:https://blog.csdn.net/weixin_41927957/article/details/82890333 1、打开twilio网址,注册一个账户。 官方网址:https://www.twilio.com/ 2、安装库: pip install twilio ...

2019-01-11 19:39:01

阅读数 101

评论数 0

【python 监控报警】错误日志监控并钉钉报警

将钉钉报警服务做出接口之后,对程序进行错误日志监控,一旦产出错误日志,立马报警出来。 # -*- encoding=utf-8 -*- import requests import os """ 报警配置模板 "&q...

2019-01-10 17:24:02

阅读数 79

评论数 0

【python 走进NLP】句子相似度封装工具CHlikelihood

之前写了一篇文章实现计算句子相似度:https://blog.csdn.net/u013421629/article/details/85046362 在github上看到一个封装好的计算句子相似度工具CHlikelihood,底层实现原理跟我之前写的是一模一样啊,计算结果也是一样。 官方网站...

2019-01-10 17:15:29

阅读数 53

评论数 0

【数据挖掘 方向】数据挖掘进阶方向总结

数据挖掘 这是技术向的数据岗,有些归类在研发部门,有些则单独成立数据部门。数据挖掘工程师要求更高的统计学能力、数理能力以及编程技巧。 常见数据挖掘项目的闭环如下: 1. 定义问题 2. 数据抽取 3. 数据清洗 4. 特征选取/特征工程 5. 数据模型 6. 数据验证 7. 迭代优化 ...

2019-01-10 15:32:59

阅读数 53

评论数 0

【python 监控报警】python自动发钉钉机器人报警

先在手机钉钉APP拉一个群组,之后添加自定义机器人,在群机器人管理里边,找到一个webhook:链接,复制,里面有我们需要的token。 import requests import json def msg(text): json_text = { ...

2019-01-04 17:00:28

阅读数 102

评论数 0

【python 监控报警】python自动发微信监控报警

我们每个人每天都是在用微信,在程序开发过程中,我们会需要监控我们的程序,发短信监控收费,发邮件懒得看,发微信是最好的方式,而且是免费的。发现个非常好用的python库:wxpy。wxpy基于itchat,使用了 Web 微信的通讯协议,实现了微信登录、收发消息、搜索好友、数据统计等功能。 官方文...

2019-01-02 17:21:32

阅读数 107

评论数 0

【java 走进NLP】simhash 算法计算两篇文章相似度

python 计算两篇文章的相似度算法simhash见: https://blog.csdn.net/u013421629/article/details/85052915 对长文本 是比较合适的(超过500字以上) 下面贴上java 版本实现: pom.xml 加入依赖 <...

2018-12-17 18:08:56

阅读数 79

评论数 0

【python 走进NLP】simhash 算法计算两篇文章相似度

SimHash算法 simhash算法的主要思想是降维,将高维的特征向量映射成一个f-bit的指纹(fingerprint),通过比较两篇文章的f-bit指纹的Hamming Distance来确定文章是否重复或者高度近似。 主要分以下几步: 1、抽取文本中的关键词及其权重。 2、对关键词...

2018-12-17 17:37:38

阅读数 84

评论数 0

【python 走进NLP】文本相似度各种距离计算

主要内容: 1. 余弦相似度 2. 欧氏距离 3. 曼哈顿距离 4. 切比雪夫距离 5. 杰尔德距离 6. 汉明距离 7. 标准化欧式距离 8. 皮尔逊相关系数 # -*- coding:utf-8 -*- import numpy as np from scipy....

2018-12-17 15:33:04

阅读数 78

评论数 1

【python 走进NLP】句子相似度计算--余弦相似度

余弦相似度,又称为余弦相似性,是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值,绘制到向量空间中,如最常见的二维空间。 # -*- coding: utf-8 -*- import jieba import numpy as np def get_w...

2018-12-17 11:05:18

阅读数 94

评论数 0

【python 图片搜索】python 快速计算两个图片的相似度

一、图片相似度检测算法原理 我们日常中处理的数据大多数是文本和图片,既然文本有文本相似度,图片肯定也有图片相似度呀,是不是。下面介绍图片相似度检测的算法:检查两个图片的相似度,一个简单而快速的算法:感知哈希算法(Perceptual Hash),通过某种提取特征的方式为每个图片计算一个指纹(哈希...

2018-12-14 18:05:07

阅读数 111

评论数 0

【python 图片识别】python识别图片是不是包含二维码

近几天在研究二维码的识别,主要是通过python代码来识别特定图片内是否包含二维码。方法有分类,还有下面我介绍的直接法。 需要安装库 pip install pyzbar pip install opencv-python 我们 先准备些二维码 总共有11个二维码。 下面我们...

2018-12-06 15:49:56

阅读数 167

评论数 0

【python 文件操作】shutil模块和OS模块

总结 os包: rmdir, mkdir, listdir, remove, rename, chmod, chown, stat, symlink shutil包: copy, move os包 os包包括各种各样的函数,以实现操作系统的许多功能。这个包非常庞杂。os包的一些命令就是用于文件管理...

2018-12-05 13:11:17

阅读数 45

评论数 0

【python pytorch】Pytorch实现逻辑回归

pytorch 逻辑回归学习demo: import torch import torch.nn as nn import torchvision.datasets as dsets import torchvision.transforms as transforms from torch.au...

2018-12-04 19:51:11

阅读数 63

评论数 0

【python pytorch】Pytorch 基础知识

包含知识点: 张量 数学操作 数理统计 比较操作 #-*-coding:utf-8-*- import numpy as np np.set_printoptions(suppress=True) import torch # 构造一个4*5 的矩阵 z...

2018-12-03 19:42:30

阅读数 100

评论数 0

【python pytorch】windows 10 深度学习框架pytorch安装

Python3.5+pip安装cpu版本 pip install http://download.pytorch.org/whl/cpu/torch-0.4.0-cp35-cp35m-win_amd64.whl pip install torchvision Python3.6+pi...

2018-12-03 11:54:52

阅读数 97

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭