- 博客(41)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 PyCharm 打开本地项目不显示项目文件
一、问题现象PyCharm之前一直正常。从github克隆了一个项目到本地。用PyCharm打开，发现打开后不显示项目文件。问题排查：本地新建项目发现可以显示项目文件通过file–>settings–>project stucture—>选中自己的项目路径，然后将其标记成Sourses和Excluded，但是还是不能看到项目文件。二、解决办法问题分析PyCharm打开的本地项目，里面有.idea目录，这个目录时PyCharm对应的项目配置。不同版本的PyCha
2021-10-11 11:16:54
9034
5
原创 Pychrom中debug时异常，但运行时没有异常
1、环境：Python3.62、在代码最上面也已经添加了“# – coding: UTF-8 --”3、问题：pycharm运行是ok的，但是debug点开json类时直接报错，如下所示Traceback (most recent call last): File "/Applications/PyCharm.app/Contents/plugins/python/helpers/pydev/_pydevd_bundle/pydevd_comm.py", line 301, in _on_run
2021-04-30 15:24:26
1143
1
原创 语言模型(二) 神经网络语言模型
1. 为什么要引入神经网络语言模型统计语言模型，如n-gram有如下几个特点：基于统计的语言模型，是一种离散型的语言模型，所以泛化能力差。参数量大，随着nnn的增大，参数空间呈指数增长容易出现维度灾难的问题；巨大的参数量也使得模型无法与n−1n-1n−1个词之外的词建立联系。即不能进行上下文的回溯，不能解决上下文物主代词指代问题。数据稀疏除了带来数据空间增大的问题之外，还有一个问题：无法表征词语之间的相似关系。2. 神经网络语言模型鉴于上面的问题，人们开始尝试用神经网络来建立语言模型，最经典
2020-12-18 18:51:20
2415
原创 语言模型(一) 统计语言模型
1. 什么是语言模型标准定义：对于语言序列w1,w2,⋯ ,wnw_{1},w_{2},\cdots,w_{n}w1,w2,⋯,wn，语言模型(Language Model)就是计算该序列的概率，即P(w1,w2,w3,⋯ ,wn)P(w_{1},w_{2},w_{3},\cdots,w_{n})P(w1,w2,w3,⋯,wn)。从机器学习的角度来看：语言模型是对语句的概率分布的建模。通俗解释：判断一个语言序列是否是正常语句，即是否是人话，例如P(I am Ligh
2020-12-17 20:51:44
992
原创 深度学习 LSTM 原理介绍
1. 什么是LSTM长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。2. 网络结构LSTM之所以能够解决RNN的长期依赖问题，是因为LSTM引入了门（gate）机制用于控制特征的流通和损失。对于上面的例子，LSTM可以做到在t9t_9t9时刻将t2t_2t2时刻的特征传过来，这样就可以非常有效的判断t9t_9t9时刻使用单数还是
2020-12-10 17:14:16
2424
原创 深度学习 CNN 原理介绍
1. 网络结构如下图所示，CNN架构简单来说就是：图片经过各两次的Convolution，Pooling，Fully Connected就是CNN的架构了，因此只要搞懂Convolution，Pooling，Fully Connected三个部分的内容就可以完全掌握了CNN。2. Convolution Layer卷积层2.1 目的卷积层主要目的是特征提取，下面我们来举个例子来说明它是怎么提取图像的特征的。2.1 卷积过程假设我们有一个5 * 5的图片，我们定义一个3 * 3矩阵，在CN
2020-12-10 10:25:04
2810
1
原创 Mysql 学习备注
1.参数化in函数a = ['m', 'n', 'k']a = ','.join("'%s'" % v for v in a)sql = """ select * from xxx where label in (%s); """ % a
2020-11-26 19:14:23
97
原创 spympy poly模块
sympy.polys模块衍生出了很多函数，这里列举一些1.gcd: 求公因式f = 4*x**2 - 1g = 8*x**3 + 1gcd(f, g)2.div: 代数式除法eg. 5x2+10x+3=(2x+1)(5x2+52)−25x^2+10x+3=(2x+1)\left(\dfrac{5x}{2}+\dfrac{5}{2}\right)-25x2+10x+3=(2x+1)(25x+25)−2f = 5*x**2 + 10*x + 3g = 2*x + 2q, r = div
2020-11-20 19:48:36
478
原创 sympy expr模块
class sympy.core.expr.Expr模块衍生出了很多关于expr的方法，这里记录一些。1.as_expr: Convert a polynomial to a SymPy expression.2.as_coeff_exponent(x): c*x**e -> c,e where x can be any symbolic expression.(c*x**e).as_coeff_exponent(x)同理，我们有as_coeff_mul等等。3.as_independen
2020-11-20 17:48:40
580
原创 Sympy常用函数整理
1.apart(expr, x): 局部的代数式展开from sympy import apartfrom simply.abc import xapart(1/( (x+2)*(x+1) ), x)2.expand(): 对函数进行扩展from sympy import *x = Symbol('x')y = Symbol('y')((x+y)**2).expand()3.together(expr, x): 代数式的合并from sympy import *x = Symbol
2020-11-18 20:03:17
3172
原创 Gunicorn+Supervisor部署高性能高稳定的算法服务
supervisor简介Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。supervisor安装1.Debian/Ubuntu可通过apt安装apt-get install supervisor2.Centos可通过yum安装yum install supervisor3.pip安装pip install supervisor4.easy_install安装easy_install
2020-06-16 19:04:30
1469
原创 CentOs gcc安装
升级升级到gcc 9.3：yum -y install centos-release-sclyum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils如果要长期使用gcc 9.3的话：echo "source /opt/rh/devtoolset-9/enable" >>/etc/profile备注：转自这里...
2020-06-03 17:51:56
319
原创 PyTorch 指定版本安装及查看版本
pytorch官网https://pytorch.org/pytorch旧版本网址https://pytorch.org/get-started/previous-versions/
2020-05-09 16:22:00
4984
原创 Pycharm 常见设置和使用技巧
pycahrm默认可以识别py脚本中的sql语句，本身很不错，但当SQL拼接时就显示的代码特别难看。可以关闭sql识别功能。修改传入命令行参数还可以修改工作路径，解决找不到路径的问题。
2020-05-09 15:42:17
401
原创 brew 特别慢 解决方案
方法一替换brew.git:cd "$(brew --repo)"git remote set-url origin https://mirrors.ustc.edu.cn/brew.git替换homebrew-core.git:cd "$(brew --repo)/Library/Taps/homebrew/homebrew-core"git remote set-url orig...
2020-05-01 09:15:57
4209
原创 Mac window文件文本内容乱码问题
问题描述Windows系统下创建的文本文档发送到Mac可以打开，汉字部分乱码。解决方法查看文件编码enca filename用iconv转换编码iconv是一个计算机程序以及一套应用程序编程接口的名称。它的作用是在多种国际编码格式之间进行文本内码的转换。iconv -c -f 文件编码 -t UTF-8 [你要看的文件] >> [新文件的名称]...
2019-12-02 18:25:18
2593
原创 CentOs Mysql安装与使用
安装MySQL运行以下命令更新YUM源，rpm -Uvh http://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm运行以下命令安装MySQL，yum -y install mysql-community-server下面只要等待安装即可。运行以下命令查看MySQL版本号，mysql -V配置MyS......
2019-11-12 15:11:28
214
原创 SQL 查询的字段值太长显示不全
在使用sql语句查询时，我们使用group_concat的形式对字段进行操作后使得查询出来的字段太长，会造成不能完全显示的问题，这是为什么呢？那是因为group_concat的group_concat_max_len参数的值太小造成的，group_concat_max_len的默认值为1024，可以通过如下命令查询：SHOW VARIABLES LIKE 'group_concat_max_l...
2019-09-25 11:38:10
9976
原创 Python 字符串中插入变量
问题你想创建一个内嵌变量的字符串，变量被它的值所表示的字符串替换掉。解决方案Python并没有对在字符串中简单替换变量值提供直接的支持。 但是通过使用字符串的 format() 方法来解决这个问题。比如：>>> s = '{name} has {n} messages.'>>> s.format(name='Guido', n=37)'Guido h...
2019-06-25 11:17:07
6751
原创 git 常见命令和使用技巧
1.生成/添加公钥ssh-keygen -t rsa -C "xxxxx@xxxxx.com" cat ~/.ssh/id_rsa.pub
2019-04-16 17:36:35
179
1
原创 Linux&Centos&Ubuntu 常用命令及技巧
进程相关查看所有有关tomcat的进程 ps –ef | grep tomcat查看服务端口 netstat -an | grep XXXX查看端口8080的使用情况 netstat -tln | grep 8080查看端口属于哪个程序 lsof -i :8080查看所有进程 ps aux终止线程号位19979的线程 kill -9 19979查看文件内容查看文件头10行 ...
2019-03-20 18:04:30
246
原创 Python uWSGI部署服务
什么是uWSGIuWSGI旨在为部署分布式集群的网络应用开发一套完整的解决方案。主要面向web及其标准服务。由于其可扩展性，能够被无限制的扩展用来支持更多平台和语言。uWSGI是一个web服务器，实现了WSGI协议，uwsgi协议，http协议等。uWSGI的主要特点是：超快的性能低内存占用多app管理详尽的日志功能高度可定制uWSGI服务器自己实现了基于uwsgi协议的ser...
2019-03-11 16:40:06
3601
原创 Python python3.7安装tensorflow问题
下载安装pip install https://download.tensorflow.google.cn/mac/cpu/tensorflow-1.10.0-py3-none-any.whl --upgrade修改async首先找到 XXX/python3.7/site-packages/tensorflow/python/pywrap_tensorflow_internal.py，然后...
2019-01-16 18:13:57
3364
2
原创 Elasticsearch 安装和使用技巧
安装Elasticsearch下载解压下载的文件启动：3.1. 到Elasticsearch的安装目录下，输入./bin/elasticsearch。如果你想把 Elasticsearch 作为一个守护进程在后台运行，那么可以在后面添加参数 -d。3.2. 查看是否启动成功，curl 'http://localhost:9200/?pretty'。配置成功，返回结果如下{ "nam...
2019-01-16 17:38:34
148
原创 Python python2和python3共存
目录安装教程安装教程安装anaconda3anaconda下载地址运行Anaconda Navigator，选中create 选项； 创建py27环境PS.它的环境所在位置为：X:XXX\anaconda3\envs\py27. (这对我们更改pycharm上的project interpret很关键)安装python第三方包选中py27环境启动Open Termin...
2018-12-05 20:05:51
186
原创 Ubuntu 定时运行命令脚本crontab
crontab的时间表达式基本格式 :* * * * * command分 时 日 月 周 命令下面看几个例子：1、每分钟执行一次 * * * * * 2、每隔一小时执行一次 00 * * * * 3、每小时的15和30分各执行一次 15,45 * * * * （,表示并列）4、在每天上午 8...
2018-11-01 16:55:54
1043
原创 Python eval函数
功能将字符串str当成有效的表达式来求值并返回计算结果。用法计算字符串中有效的表达式，并返回结果>>> eval('pow(2,2)')4>>> eval('2 + 2')4将字符串转成相应的对象（如list、tuple、dict和string之间的转换）>>> a = "[[1,2], [3,4], [5,6], ...
2018-10-19 14:07:25
238
转载 Python round四舍五入精度缺失的解决
问题一般的四舍五入操作都是使用内置的round方法，但有时候会出现问题。比如In [1]: round(2.675,2)Out[2]: 2.67为什么不是2.68呢？那是因为float精度缺失导致的。In [3]: Decimal(2.675)Out[4]: Decimal('2.67499999999999982236431605997495353221893310546875')...
2018-10-16 11:36:17
1447
1
原创 SQL 管理层次结构的数据
问题描述首先定义一下我们讨论的层次结构，是这样的一组数据，每个条目只能有一个父条目，可以有零个或多个子条目（唯一的例外是根条目，它没有父条目）。许多依赖数据库的应用都会遇到层次结构的数据，例如论坛或邮件列表的线索、企业的组织结构图、内容管理系统或商城的分类目录等等。我们如下数据作为示例： 那我们怎么在MySQL里面存储这样的层次结构呢？邻接表(Adjacency List)模型...
2018-08-31 11:11:46
1360
原创 深度学习 CNN 数学推导
什么是卷积神经网络首先，我们先获取一个感性认识，下图是一个卷积神经网络的示意图： 网络架构如图所示，一个卷积神经网络由若干卷积层、Pooling层、全连接层组成。你可以构建各种不同的卷积神经网络，它的常用架构模式为： INPUT -> [[CONV]*N -> POOL?]*M -> [FC]*K也就是NNN个卷积层叠加，然后(可选)叠加一个Poo...
2018-08-30 00:32:17
1376
原创 机器学习 多元线性回归数据筛选问题
前几天，偶然在网上看到，建立多元线性回归时须对其中的异常数据进行筛选剔除，那这里的异常点指的是什么呢？这里的异常点指的是人为采集数据误差或者某些异常的个例等等一些不太准确的数据。例如，对于下表中的一些数据我们来进行数据筛选。 在医学上，糖尿病人的血糖量y(mmol/L)y(mmol/L)y(mmol / L)与总胆固醇 1 X (mmol / L)，甘油三脂X2(mmol/L)X2(mmol...
2018-08-17 16:28:12
4553
4
原创 机器学习 一元非线性回归模型
实际问题中，变量之间常常不是直线。这时，通常是选配一条比较接近的曲线，通过变量替换把非线性方程加以线性化，然后按照线性回归的方 法进行拟合。常见的可转化一元线性回归的模型倒幂函数曲线y=a+b⋅1xy=a+b⋅1xy=a+b \cdot \dfrac{1}{x}型 令x′=1xx′=1x{x}'=\dfrac{1}{x}, 则得y=a+b⋅x′y=a+b⋅x′y=a+b \cdot ...
2018-08-15 00:36:38
14167
1
原创 机器学习 Kmeans聚类算法
功能及可应用领域聚类分析将大量数据划分为性质相同的子类，便于了解数据的分布情况。因此，它广泛 应用于模式识别、图像处理、数据压缩等许多领域，例如：在市场分析中，通过聚类分析能帮助决策者识别不同特征的客户群，以及各客户群的 行为特征；在生物工程研究中，聚类分析能够用于推导动植物的分类，按照功能对基因进行划分 并获取种群中的固有结构特征；在非关系数据库领域(如空间数据库领域)，聚类...
2018-08-13 17:27:51
1867
原创 SQL 删除重复数据，只保留一行
在sql的使用中，我们总是碰到需要删除重复数据的情况，但是又不能全部删除完，必须要保留至少一个重复的数据。重复的记录根据两个字段uid, qid判断(实际使用中可以拓展为多个)。例如： id uid qid 1 1 1 2 1 2 3 2 2 4 2 2 5 3 3 6 2 2...
2018-08-09 16:42:20
17666
3
转载 Python 计算两个字符串(或句子)相似度的方法
主要方法有：编辑距离、余弦相似度、模糊相似度百分比1、编辑距离def levenshtein(first, second): ''' 编辑距离算法（LevD） Args: 两个字符串 returns: 两个字符串的编辑距离 int ''' if len(first) > len(se...
2018-08-05 21:21:29
18797
2
转载 Python 文本数据处理
1 基本特征提取import pandas as pdtrain=pd.read_csv(".../train_E6oV3lV.csv")print(train.head(10))1.1 词汇数量我们可以简单地调用split函数，将句子切分：train['word_count']=train['tweet'].apply(lambda x:len(str(x).split(...
2018-08-05 21:15:08
2338
转载 Python 过滤字母和数字
如果想从一个含有数字，汉字，字母的列表中滤除仅含有数字的字符，当然可以采取正则表达式来完成，但是有点太麻烦了，因此可以采用一个比较巧妙的方式：1、 正则表达式解决import reL = [u'小明', 'xiaohong', '12', 'adf12', '14']for i in range(len(L)): if re.findall(r'^[^\d]\w+',L[i...
2018-08-05 20:23:55
3863
原创 深度学习 Skip-Gram模型
Skip-Gram 模型什么是skip-gram模型Word2Vec模型中,主要有Skip-Gram和CBOW两种模型,从直观上理解,Skip-Gram是给定input word来预测上下文.而CBOW是给定上下文,来预测input word. Skip-Gram模型的基础形式非常简单，为了更清楚地解释模型，我们先从最一般的基础模型来看Word2Vec（下文中所有的Word2Ve...
2018-08-05 20:02:31
2849
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人