个人总结
Ai君臣
通俗说技术AI,一针见血。AI改变世界!立志做一款让人偷懒依赖的个人定制的管家。可信可赖可知心。有志之士互勉!wx公号一休哥
展开
-
2021-03-31
环境:ubuntu server 20.4我装完机后,貌似是从别的机子上拷贝的~/.bashrc文件,然而却没用。文件没有颜色,而且一些 ll 之类的命令也提示找不到,但是这些都在.bashrc中设置好了查了下,用命令:source ~/.bashrc确实可以,但是是远程ssh连接的,退出后再ssh,就不行了。重启也一样后来再查,发现一个方法可以:创建文件~/.bash_profile内容:if [ -f ~/.bashrc ]; then. ~/.bashrcfi..原创 2021-09-26 20:13:16 · 70 阅读 · 0 评论 -
正则和编码
1、问题[+-.] 该正则匹配到了英文的逗号,为什么?因为 -表范围,匹配了+到.中间的asii码也就是 +,- ,这四个字符。2、ascII码有中文标点吗?没有。标准ascII码7位二进制,不包括中文标点。英文和数字3、ut-8包含中文编码1-4字节变长编码4、在开头或者结尾表示一个破折号(在这些位置该符号表示的就不是一个范围) `pattern:’-’。...原创 2020-10-20 15:56:06 · 195 阅读 · 0 评论 -
Flask 1.1.2 版本使用时TypeError: Object of type int32 is not JSON serializable
一、背景 label,score=model.predict(text) # 例如label =1,score =0.9jsonify({"label":label,"score":score})1、报错TypeError: Object of type int32 is not JSON serializable2、原因:score的数据类型是numpy.float32,所以应将numpy.float32转换成python内置的数据类型float以下是实验代码i...原创 2020-08-28 18:49:34 · 512 阅读 · 0 评论 -
记录两个Segmentation fault
加载模型时候会出现src/tcmalloc.cc:277] Attempt to free invalid pointer 0x12解决方法:sudo apt-get install libjemalloc-devexport LD_PRELOAD="/usr/lib/x86_64-linux-gnu/libjemalloc.so.1"决一个tensorflow预测时候的异常。sudo apt-get install libtcmalloc-minimal4export LD_PREL原创 2020-08-28 18:20:22 · 392 阅读 · 0 评论 -
用numpy操作矩阵,上三角,下三角矩阵,对角化矩阵
numpy 操作矩阵的意义1.可以理解矩阵运算,多维运算2.可以用于理解tensorflow,pytorch的tensor张量运算,二维张量就是矩阵例如新建一个矩阵a = np.arange(1,10).reshape(3,-1)上下三角矩阵a = np.arange(1,10).reshape(3,-1)np.triu(a,1)# 或者a = np.arange(1,10).reshape(3,-1)# print(a)row,column = a.shape.原创 2020-08-25 14:55:15 · 5752 阅读 · 0 评论 -
Pycharm 开发之前先设置吧 免得 远程开发之部署文件,带上了尾巴^M,
背景:Pycharm是python开发利器,然后部署到liunx中,发现每一行都带上小尾巴^M原因是window回车编码的不同。解决pyCharm中设置File->setting->Editer->CodeStyle设置line sperater for new line 设置成Unix/Os x开发之前先设置吧!...原创 2020-08-05 14:41:20 · 274 阅读 · 0 评论 -
解决 ValueError: too many values to unpack (expected 2)
我们只能按大脑习惯的学习知识,不可违背大脑的习惯学习,不然只会事倍功半,甚至于学过就忘。解决 ValueError: too many values to unpack (expected 2)例如a,b=(1,2,3)会报错ValueError: too many values to unpack (expected 2)尤其是想函数返回多个值的时候,还有就是装饰器装饰不同的函数时候,那么怎么解决呢?简单。1.修改返回的格式a,b = ((1,2),3)2.返回原创 2020-08-03 11:25:38 · 106932 阅读 · 3 评论 -
Elasticsearch6.2.4版本使用结巴分词插件之路
一、背景 Elasticsearch需要使用jieba自定义插件。版本结论:java se 1.8 # orcal网址需要注册下载 java se u8251,安装后加入系统环境变量gradle 6.4.1 # 官网下载kibana 6.2.4 # 需要和Elasticsearch版本一致elastic-jieba-plugins 6.4.0 #下载6.4.0的版本,然后修改,必须修改不然Elasticsearch会报错 二、 需要解决的问题 1...原创 2020-06-01 18:12:07 · 599 阅读 · 0 评论 -
优秀包和模块的组织方式总结
一、背景包就是一个文件夹,下有__init__.py文件模块就是一个py文件二、几个总结要点1.package文件夹的__init__.py里.modulA import A(A是modulA里的类).modulB import B这样在外面 用from package import A了其次在__init__.py定义对象cfrom package import c2.package需要测试吧,在package下见一个文件夹test需要在t...原创 2020-05-29 20:33:16 · 215 阅读 · 0 评论 -
python装饰器,懂了这篇够用
1.装饰器本质是一个函数,该函数的参数是另一个函数。目的增加函数的功能。2.@语法只是将函数传入装饰器函数,并无神奇之处。一、带参数的装饰器(函数)特点两层函数import functoolsdef log(func): #第一层 @functools.wraps(func) #为了解决被装饰函数的名称变化的问题 def wrapper(*args, **kwargs): #第一层原创 2020-05-29 20:18:11 · 198 阅读 · 0 评论 -
keras 默认是使用GPU
keras训练的模型默认是使用GPU的如果需要使用CPU训练,那么代码如下import osos.environ["CUDA_VISIBLE_DEVICES"] = "-1"原创 2020-04-14 18:11:36 · 1315 阅读 · 0 评论 -
常见的读写文件错误,判断文件是否存在(python)
常见的读写文件错误,判断文件是否存在(python)python判断文件是否存在的三种方法1.使用os模块os.path.isfile 方法 和os.path.exits方法2.使用Try语句try catch语句来报错3. 使用pathlib模块检查路径是否存在 如下path = pathlib.Path("path/file")path.exist(...原创 2020-04-03 11:29:43 · 823 阅读 · 0 评论 -
NLP处理小结
1.句子分好词作为数据库的一个字段存入数据库。不然如果十几万或者上白万的数据再处理,那么会非常慢。2.有循环的时候千万注意检查循环里的操作的句子 。能够不在循环里操作的,尽量不要在循环里操作 。...原创 2020-03-13 17:05:06 · 99 阅读 · 0 评论 -
构建更大量样本数据集方法介绍
构建更大量样本数据集方法介绍基于集成模型的方法更快地构造更好、更多的标签样本集原创 2019-11-29 10:23:38 · 1563 阅读 · 0 评论 -
准确的句子相似度系数Jaccard系数(含python代码)
1、jaccard系数的定义就两个句子的交集除以句子的并集,网上基本有两种实现,但是其实一种不太准确的。第一种:利用了sklearn的CounterVectorizer类和numpy。def add_space(s): if isinstance(s,float): s=str(s)# pass # do something sensi...原创 2019-10-17 08:47:08 · 4550 阅读 · 0 评论 -
pycharm2017 run窗口显示不全,带省略号,还有显示带有换行符
可以这样设置。import pandas as pd import numpy as np # pd.set_option('display.height', 1000) # pd.set_option('display.max_rows', 500) # pd.set_option('display.max_columns', 500) pd.set_option('display...原创 2018-05-10 12:14:06 · 2628 阅读 · 0 评论 -
Anaconda navigator闪退,启动不了的问题解决。
1.环境win10系统,python3.6,使用的是Anaconda3-5.2.0-Windows-x86_64.exe2.产生的原因1.忽然发现anaconda nvigator启动不了,然后重新启动电脑,还是一样启动不了。而nvigator是管理库很好的工具,所以要解决。2.重新安装最新的官网Anaconda3-5.2.0-Windows-x86_64.exe。还是一样闪退,无法正常启动nav...原创 2018-06-29 14:49:50 · 14592 阅读 · 23 评论 -
中心化和标准化
数据中心化和标准化的意义:在回归分析中是去除掉由于量纲不同、自身变异或者数值相差较大所引起的误差。 数据标准化:数值减去均值,再除以标准差; 目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。数据中心化:数值减去它的均值。 目的:平移后中心点是(0,0)在回归问题和一些机器学习算法中,以及训练神经网络的过程中,还有PCA等通常需要对原始数据进行中心化(Zero-cen...转载 2018-06-25 15:00:12 · 1031 阅读 · 0 评论 -
pymysql获取到的数据类型是tuple转化为pandas
#执行结果转化为dataframedf = pd.DataFrame(list(result))原创 2018-06-27 15:45:51 · 7545 阅读 · 1 评论 -
Jupyter使用 | Jupyter Notebook打开默认文件夹以外的文件
修改Jupyter Notebook的默认打开目录Jupyter启动之后默认打开的是C盘目录,如下: 想要打开其他盘符的文件无法实现,如D、E、F盘目录下的文件。现有解决办法如下,无需修改Jupyter Notebook的默认打开路径。思路:在CMD模式中打开需要打开的目录,然后打开Jupyter Notebook具体操作如下:win + R 进入CMD模式,在cmd窗口中输入下面代码即可打开 E...转载 2018-07-03 14:26:38 · 3175 阅读 · 1 评论 -
xgboost库安装和实例
说明本实例都是经过正常运行。环境:Win10-64版本,python3.6 1.下载安装xgboost在该网站下载https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost2.在进入cmd模式pip install xgboost-0.72-cp36-cp36m-win_amd64.whl这样就完成安装xgboost,网上各种安装,请看官注意,反正我这是...原创 2018-07-14 16:18:44 · 10792 阅读 · 0 评论 -
StandardScalers数据预处理
转载https://blog.csdn.net/u010758410/article/details/78158781标准化 我们知道,在训练模型的时候,要输入features,即因子,也叫特征。对于同一个特征,不同的样本中的取值可能会相差非常大,一些异常小或异常大的数据会误导模型的正确训练;另外,如果数据的分布很分散也会影响训练结果。以上两种方式都体现在方差会非常大。此时,我们可以将特...转载 2018-07-27 17:32:18 · 1429 阅读 · 0 评论 -
最大似然估计的理解
最大似然估计: 最大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。 假设我们要统计全国人口的身高,首先假设这个身高服从服从正态分布,但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高,但是可以通过采样,获取部分人的身高,然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。 最大似然估计中采样需满足...转载 2018-08-08 14:55:34 · 617 阅读 · 0 评论