Marin_X-CSDN博客

原创 Centos7安装LightBGM(GPU版本)

LightBGM和XgBoost是机器学习比赛的常客，二者在安装上十分相似，此文将介绍GPU版本的LightBGM安装。本文环境：Centos7.6 Python3.6.8 LightBGM2.3.21. 基础环境官网教程：https://lightgbm.readthedocs.io/en/latest/Installation-Guide.html#id17官网给出了...

2019-12-10 19:11:54 1267 2

原创 NLP之语言模型

语言模型，本质上就是在回答“这个句子是否合理”的问题。下面，将简单介绍两类语言模型，统计语言模型、神经网络语言模型。1. 统计语言模型统计语言模型，以n-gram语言模型为代表，是离散的计算模型，根据n个词(有序的)在语料库中共现的频次计算概率，最终可以得到句子出现的概率(句子的合理性)。n-gram模型，大致可以理解为，我们有一个很长的句子序列，所有的概率计算都要依靠滑窗实现，n...

2019-10-11 16:53:05 727

原创 CS224N个人笔记

1. 词向量词向量，即使用密集的低纬向量代替稀疏的one-hot向量。传统的词向量可以使用SVD等方法得到，但基于神经网络的词向量，是03年Bengio在神经网络语言模型论文中提出的。one-hot向量的缺点：1. 没有考虑词汇之间的相似性。比如，hotel和motel分别表示为(1,0,0)、(0,1,0)，二者的内积为0，正交关系，相似性为0，但是这两个词是近义词。2. 当文本词...

2019-10-08 17:40:02 376

原创 Cython--Python加速工具的使用

前言纯Python做计算，相比Numpy、PyTorch、C、C++，性能低很多。Numpy适合单机版CPU矩阵计算，PyTorch适用于单机、分布式CPU、GPU矩阵计算，C、C++的性能不做多说；另外，针对大规模分布式数据集矩阵计算，有Numba、Dask、JAX（Google）、Mars（阿里）等；如果你的项目对性能要求很高，且数据不易组织为矩阵，又不想直接写C、C++代码...

2019-09-17 18:21:55 1178 1

原创 python3中md5和base64的使用

目录1. MD5简介2. base64简介3. python3实现MD5加密4. python3实现base64（反）序列化1. MD5简介MD5是一种不可逆加密技术，常用在密码加密、文件验证等场景；密码加密：网站注册的密码，需要加密后才可以存入后台数据库中；比如，用户不希望银行后台管理员知晓自己的银行账户密码；密码源码经过固定的MD5算法计算出固定的MD5值，用户...

2019-09-10 10:50:41 1491

原创 Linux配置静态IP

Ubuntu181. 修改IP、网关、子网掩码sudo vim /etc/network/interfacesauto eth0iface eth0 inet staticaddress 192.168.3.177gateway 192.168.1.1 # 在本地确认netmask 255.255.255.0 # 在本地确认network 192.168.0.0bro...

2019-09-02 10:17:30 206

原创 Ubuntu18安装NANO环境

Nano卡是Nvidia出的用于深度学习推理的芯片，可使用TensorRT加速；1. 首次启动Nano板的硬件、系统安装，参考官网教程即可，很详细；地址：https://developer.nvidia.com/embedded/learn/get-started-jetson-nano-devkit启动完成后，会配置Ubuntu18系统；配置完成后，用ifconfig查看ip，使...

2019-08-30 11:38:21 3386

原创 vim多行编辑、多行删除

多行编辑当我们想在文件中连续添加、删除多行注释时，可使用此技巧；首先，vim一个新文件vim vim_test在vim_test文件中，按i，再按ENTER，开辟20行空行；前方高能，别眨眼0.0实现需求：在第3行到第10行，同时输入kiss me.1. 光标移动到第三行的行首2. 按ctrl + v，进入可是块模式3. 光标移动到第10行的行首4...

2019-08-30 11:28:10 94898 2

转载 Pip使用国内镜像

Pip使用国内镜像文章目录Pip使用国内镜像教程地址国内pip源使用方法教程地址link https://www.cnblogs.com/sunnydou/p/5801760.html国内pip源阿里云link http://mirrors.aliyun.com/pypi/simple/豆瓣link http://pypi.douban.com/simple/中国科技...

2019-08-27 15:22:30 191

原创 Linux安装pip和setuptools

使用pypi下载包文件，然后离线安装；1. 下载软件包去pypi下载最新的pip和setuptools包文件，pip的安装依赖setuptools；Centos系统，去掉sudo即可；cd /optsudo wget https://files.pythonhosted.org/packages/00/9e/4c83a0950d8bdec0b4ca72afd2f9cea92...

2019-08-27 15:19:12 554

原创 python之pyc文件的生成和使用

1. pyc文件是什么?python中的pyc扩展名文件，类似于Java的Class字节码文件，是由编译器编译得来的，供解释器使用；当我们部署程序时，不想暴露源码，可以使用pyc文件；2. 手动生成pyc文件2.1 生成单个pyc使用python内置的py_compile库，操作简单；方式一：命令行：python3.6 -m py_compile test.pyt...

2019-08-14 15:22:06 12666 2

转载 java.lang.String.split(*) 一个或多个空格分割字符串

参考: https://www.cnblogs.com/Berryxiong/p/6232373.html1. 待分割字符串: //分别间隔一个空格,两个空格,一个tab制表符 String str = "a b c d";其中，字符串中的的空白分别为：单个空格，两个空格，tab制表符。2. 四种分隔符比较错误方法, 使用分隔符" "或者"\t"或者"s"...

2018-08-16 20:44:05 13975

原创 Redis序列化策略选择 StringRedisSerializer和GenericJackson2JsonRedisSerializer

目录1. spring-data-redis支持的序列化策略2. 修改spring配置文件痛点: spring-data-redis中redisTemplate默认使用JDK的序列化策略,会出现两个问题使用redis-cli查看数据时,携带很多字符,不易查看JDK Serializer太费资源解决方案: 使用Jackson serializer替代JDK Seriali...

2018-08-03 00:33:59 12568 1

marinxue的博客