小山羊的学习日志

`imp`模块提供了一个接口，用于实现导入语句的机制.

pytorch图机器学习

虚拟环境

代码记录

上周开始做生信实验，为了不干扰到电脑原来的环境，就整了个虚拟环境（具体虚拟环境的创建流程请见Django从理论到实战(part1)–虚拟环境），配置好实验环境后，不知道怎么在Jupyter Notebook中指定虚拟环境的python解释器，查找资料后（为 Jupyter Notebook指定虚拟环境的 Python 解释器），解决疑问，写下此篇..........

学习笔记，仅供参考参考文献：Python专题】去重和选择唯一值的函数drop_duplicates、unique文章目录np.unique()setDataFrame.drop_duplicates()DataFrame.duplicated()np.unique()代码test1 = [1, 10, 2, 5, 1, 9, 5]np.unique(test1)结果array([ 1, 2, 5, 9, 10])settest2 = [1, 10, 2, 5, 1, 9,

这是一个关于用Shapley值解释机器学习模型的介绍。沙普利值是合作博弈论中广泛使用的一种方法，具有理想的特性。我们将采取实际操作的方法，使用Shap Python软件包来解释复杂的模型。文章目录SHAP下载SHAP下载

学习笔记，仅供参考参考自：https://zhuanlan.zhihu.com/p/64900887python应用实例RFEfrom sklearn.feature_selection import RFE, RFECVfrom sklearn.svm import LinearSVCfrom sklearn.datasets import load_irisfrom sklearn import model_selectioniris = load_iris()X, y = ir

学习笔记，仅供参考，有错必纠模型持久化通过使用joblib模块使模型保存.# 导入数据from sklearn import datasetsiris = datasets.load_iris()X = iris.datay = iris.target# 导入模型from sklearn.svm import SVRregr = SVR()regr.fit(X, y)SVR(C=1.0, cache_size=200, coef0=0.0, degree=3, epsilon=

学习笔记，仅供参考，有错必纠文章目录文档信息的向量化词袋模型One-hot 表示方式词袋模型的gensim实现gensim的安装建立字典Dictionary类的属性转换为BOW稀疏向量转换为BOW长向量用pandas生成文档词条矩阵基本框架案例用sklearn库实现文本向量化CountVectorizer类的基本用法案例案例2(使用sklearn生成射雕的章节d2m矩阵)文档信息的向量化所谓文档信息的向量化，就是将信息数值化，从而便于进行建模分析.词袋模型One-hot 表示方式One-

学习笔记，仅供参考，有错必纠文章目录分词分词原理简介分词算法的分类基于字符串匹配的分词算法原理分词的难点常见的分词工具结巴分词的基本用法修改词典动态增删新词使用自定义词典搜狗细胞词库去除停用词常见的停用词种类去除停用词的步骤用`extract_tags`函数去除停用词词性标注词频统计使用Pandas统计使用NLTK统计分词分词原理简介分词算法的分类基于字符串的匹配即扫描字符串，如果发现字符串的子串和词相同，就算匹配。通常会加入一些启发式规则，比如正向/反向最大匹配，长词优先等优

学习笔记，仅供参考，有错必纠前情提要我的环境中没有spacy和gensim，在经过一番倒腾后，成功把代码主体跑完. 相关问题，及解决方案：执行python -m spacy download en_core_web_sm报错en_core_web_sm下载numpy.core.multiarray failed to import解决numpy.core.multiarray failed to import问题代码# coding: utf-8# # ???? Notebo

学习笔记，仅供参考，有错必纠en_core_web_sm下载https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.2.0/en_core_web_sm-3.2.0.tar.gz下载完成后，在cmd中键入如下代码，使用 pip 进行安装：pip install 文件下载地址/en_core_web_sm-2.1.0.tar.gz安装完成后，即可导入en_core_web_sm：nlp = spa

学习笔记，仅供参考，有错必纠文章目录复习小练习以矩阵运算仿真神经网络Tensorflow张量运算仿真神经网络以正态分布的随机数产生权重与偏差的初始值执行一次sess.run可以取得3个Tensorflow变量正态分布的随机数tf.random_normal以placeholder传入x值以placeholder传入1X3的二维数组以placeholder传入3X3的二维数组创建layer函数以矩阵运算方式仿真神经网络layer函数使用layer函数建立3层神经网络复习小练习import tenso

学习笔记，仅供参考，有错必纠文章目录机器学习实验中的编程技术numpy中的逻辑运算numpy中的指数及对数numpy中的集合操作取唯一检测数组中是否包含某些元素集合的交,并,差,异或机器学习实验中的编程技术numpy中的逻辑运算x1 = np.random.randint(0, 9, 9).reshape(-1, 3)x2 = np.random.randint(0, 9, 9).reshape(-1, 3)x1x2array([[7, 3, 6], [4, 7, 4]

学习笔记，仅供参考，有错必纠文章目录机器学习实验中的编程技术numpy中的数据截断四舍五入其他numpy中的和 积 差梯度机器学习实验中的编程技术numpy中的数据截断四舍五入# np.aroundmy_pi = np.pi*100my_pinp.around(my_pi)np.around(my_pi, 0)np.around(my_pi, 2)np.around(my_pi, 2) == 314.16np.around(my_pi, -1)314.1592653589

学习笔记，仅供参考，有错必纠文章目录机器学习实验中的编程技术numpy中的算术运算加法除法取倒数取余取负数绝对值numpy中的三角函数与反三角函数机器学习实验中的编程技术numpy中的算术运算# 支持多行输出from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' #默认为'last'import numpy as npimpo

学习笔记，仅供参考，有错必究文章目录常用代码建立计算图执行计算图feed_dict 与 placeholderfeed_dict的使用placeholder 与 feed_dict的使用Tensorflow数值运算方法介绍tf.squaretf.equal、tf.casttf.agrmaxtf.one_hottf.reduce_mean、tf.reduce_sum、tf.log及多分类交叉熵的计算已知预测值和真实值，计算准确率tf.multiply 和tf.matmultf.clip_by_valuet

学习笔记，仅供参考，有错必纠安装第三方库pip install --user jupyterthemes查看主题列表在cmd中键入如下代码：jt -l结果返回如下提示：'jt' 不是内部或外部命令，也不是可运行的程序或批处理文件。原因(参考文献)：我将jupyterthemes装到了C:\Users\apple\AppData\Roaming\Python\Python36\site-packages，而我没有将C:\Users\apple\AppData\Roaming

学习笔记，仅供参考，有错必纠得到jupyter notebook配置文件地址cmd中键入：jupyter notebook --generate-config得到配置文件地址：Writing default config to: C:\Users\apple\.jupyter\jupyter_notebook_config.py按照地址打开配置文件，并修改配置文件将：## The directory to use for notebooks and kernels.#c.N

学习笔记，仅供参考，有错必纠文章目录python 学习高级篇类对象的特殊方法之`__del__()`类对象的特殊方法之`__getattr__()`类对象的特殊方法之`__getitem__()`类对象的特殊方法之`__call__()`类对象的特殊属性之`__doc__`什么是类对象的文档字符串(docstring)访问类对象的文档字符串类对象的特殊属性之`__slots__`python 学习高级篇# 支持多行输出from IPython.core.interactiveshell impo

学习笔记，仅供参考，有错必纠文章目录python 学习高级篇类对象的特殊方法之`__str__()`类对象的特殊方法之`__new__()`对象的引用计数什么是引用计数对象的引用计数加1的情形对象的引用计数减1的情形python 学习高级篇# 支持多行输出from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' #默认为'last'

学习笔记，仅供参考，有错必纠文章目录python 学习高级篇类对象的特殊方法之`__iter__()`和`__next__()`类对象的特殊方法之`__add__()`和`__radd__()`python 学习高级篇# 支持多行输出from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' #默认为'last'类对象的特殊方法之__

学习笔记，仅供参考，有错必纠文章目录python 学习高级篇特殊属性和特殊方法获取对象的信息之特殊属性`__dict__`获取对象的信息之反射类对象的特殊方法`__len__()`python 学习高级篇# 支持多行输出from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' #默认为'last'特殊属性和特殊方法调用内置函数d

学习笔记，仅供参考，有错必纠文章目录绘制词云图安装 wordcloud根据词频生成直接根据文本生成绘制词云图安装 wordcloud!pip install wordcloud -i https://pypi.tuna.tsinghua.edu.cn/simple/Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple/Requirement already satisfied: wordcloud in d:\soft

学习笔记，仅供参考，有错必纠文章目录图像库的基本使用matplotlib读入并显示图像Image包读入、处理并显示图像图像库的基本使用matplotlib读入并显示图像# plt.imshow读取单通道的灰度图 ，float32 0.0-1.0# 默认省略了cmap='viridis'import matplotlib.pyplot as pltimport numpy as npimg = plt.imread("data/picture_b_image/flat/0.png")pr

学习笔记，仅供参考，有错必纠文章目录Pandas绘图读取数据方式1：Matplotlib结合Pandas(特点：仍然使用plt.XX进行绘制，Pandas只负责提供数据)方式2：pandas绘图（特点：有x= ，y=）设置索引后绘图多图方式1：常见多子图 plt.subplot 、fig.add_subplot 、plt.subplots等方式2: subplot2grid()子图的布局调整多个subplot不一定要对应同样的网格plt.tight_layout()plt.subplots_adjust

学习笔记，仅供参考，有错必纠文章目录Pandas绘图Series 绘图DataFrame绘图DataFrame全数据绘图选择DataFrame的部分列数据绘图Pandas绘图Series 绘图pd.Series.plot(kind='line', ax=None, figsize=None, use_index=True, title=None, grid=None, legend=False, style=None, logx=False, logy=False, loglog=False,

学习笔记，仅供参考，有错必纠文章目录两种绘图思路函数式绘图对象式绘图对象式子图方式1: ax=plt.subpolt(121)方式2: ax=fig.add_sub(121)方式3: fig, axes=plt.subplots(1, 2)绘制温度图两种绘图思路axis 轴, 简写为ax --> 复数形式 axessub 子，低的实现整个画图过程可以用两套工具来分别实现，其实这也是贯穿整个python编程的两种思路，函数式编程和对象式编程。函数式操作表达简洁，但是没有体现出

学习笔记，仅供参考，有错必纠文章目录Seaborn 学生Seaborn 简介安装 SeabornSeaborn 图形可视化distplot 直方图barplot 条形图countplot 计数图stripplot/swarmplot 散点图boxplot箱线图violinplot 小提琴图regplot/lmplot 回归图pairplot 散点图&直方图heatmap 热力图图像控制Seaborn 学生Seaborn 简介http://seaborn.pydata.org/seab

学习笔记，仅供参考，有错必究文章目录opencv学习OpenCv框架介绍二值图像分析二值图像定义与说明图像二值化介绍常见的二分类分割方法opencv学习OpenCv框架介绍OpenCV开源计算机视觉框架英特尔公司发布开源社区维护 – www.opencv.orgGITHUB地址 https://github.com/opencv/opencv历史与发展二值图像分析二值图像定义与说明二值图像为只有2个值(0:黑和255:白)的图像：简单的图像二值化方法:设定阈值

学习笔记，仅供参考，有错必究文章目录pyecharts学习散点图设置散点图点的大小设置散点图点的形状词云地理图形绘制pyecharts学习散点图from pyecharts.charts import Scatterfrom pyecharts import options as optsimport numpy as npx = np.linspace(0,10,30)y1 = np.sin(x_data)y2 = np.cos(x_data)figsize = opts

学习笔记，仅供参考，有错必究文章目录pyecharts学习简单图表绘制及参数优化表格反转文本倾斜图像放大设置区域缩放折线图 and 柱状图pyecharts学习简单图表绘制及参数优化from pyecharts.charts import Barfrom pyecharts import options as optsx = ['Python 数据可视化库 seaborn', 'Python 数据可视化库 plotly', 'Python 数据可视化库 matplotlib']y1 =

学习笔记，仅供参考，有错必究文章目录pyecharts学习绘制图表的三种方式绘制的图表生成HTMLjupyter notebook 内嵌展示pyecharts生成图片pyecharts学习pyecharts的安装pip install pyecharts绘制图表的三种方式import pyechartspyecharts.__version__'1.9.0'绘制的图表生成HTMLfrom pyecharts.charts import Barfrom pyecharts

学习笔记，仅供参考参考自：https://blog.csdn.net/u010883226/article/details/87167904->的使用->常常出现在python函数定义的函数名后面，为函数添加元数据,描述函数的返回类型，从而方便开发人员使用。比如：def attrs(self) -> _Attrs: passdef add(x, y) -> int: return x+y这个符号通常放在我们定义的函数的函数名后面。这里面，元数据表明了函数

学习笔记，仅供参考，有错必纠1. 常用代码# 支持多行输出from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' #默认为'last'# 导入常用的包import numpy as npimport pandas as pdimport matplotlib.pyplot as plt# windows环境下中文的正常显示（Li

学习笔记，仅供参考，有错必究文章目录2.3.4 维数增加 reshape np.newaxis np.expand_dims2.3.5 维数减少 reshape squeeze2.3.6 类型修改(astype)2.3.7 数组展平(ravel flatten)2.3.8 数组去重2.3.9 排序(np.sort、np.argsort、np.argmax)2.4 ndarray运算2.4.1 加法运算np.sum2.4.2 四舍五入与取整运算（np.around np.floor np.ceil）2.4

学习笔记，仅供参考，有错必究参考文献：编码问题：UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xb3 in position;数据的加载与存储文本文件的加载与存储# 导入常用的包import numpy as npimport matplotlib.pyplot as plt# 支持多行输出from IPython.core.interactiveshell import InteractiveShell Interactiv

学习笔记，仅供参考，有错必究数组运算# 布尔数组过滤元素arr = np.array([1, 2, 3, 4, 5, 6, 7, 10])arr[arr>4]# 多个布尔表达式过滤元素arr[np.logical_and(arr > 5, arr < 10)]arr[np.logical_or(arr > 6, arr < 3)]array([ 5, 6, 7, 10])array([6, 7])array([ 1, 2,

学习笔记，仅供参考，有错必究数组操作# 垂直方向和并数组arr1 = np.array([[1, 2, 3], [0, 0, 1]])arr2 = np.array([[4, 5, 6], [1, 0, 0]])np.vstack([arr1, arr2])array([[1, 2, 3], [0, 0, 1], [4, 5, 6], [1, 0, 0]])# 比较两个矩阵是否相等# True if two arrays have the s