gxc19971128的博客

原创 20210108 将.ipynb文件转换成.py文件

在命令行进入.ipynb文件所在目录执行命令：jupyter nbconvert --to script xxxxx.ipynb则源文件文件夹中会自动生成一个.py同名文件，并且该转换命令将.ipynb文件中的非命令语句全都用#注释掉了

原创 20210106 TypeError: __init__() got an unexpected keyword argument ‘categories‘

需要更新sklearn尝试了conda一直没更新成功，用pip（（pip install --upgrade 库名））：pip install --upgrade scikit-learn即可注：更新pip 的命令：python -m pip install --upgrade pip

原创 2020-12-29 DOS命令启动MySQL服务时，出现（系统错误5，拒绝访问）的错误提示

在用DOS命令启动MySQL服务时，出现（系统错误5，拒绝访问）的错误提示，这是由于我们操作的权限不足造成的，需要以管理员身份启动，解决问题方法如下: 1.“Windows+S”-->输入"cmd"-->“命令提示符”右键以管理员方式运行 ...

原创 2020-09-16 单词换行

如上图，word表格中，英文单词无法换行选中“允许西文在单词中间换行”即可

原创 2020-09-13

为了毕设 再次拾起前端选择器类选择器Id选择器元素选择器层级选择器属性选择器内部引入css行内引入外部引入css浮动

原创 ERROR: No matching distribution found for cv2解决方案

先安装opencv-python：pip install opencv-python

原创 Error : Could not import PIL.Image. The use of `load_img` requires PIL.解决方案

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple/ pillow使用load_img()函数需要pillow

原创 linux下配置tensorflow、keras、解压文件夹、运行python脚本、vim查看、find查找、linux 复制到window命令

1.Linux下安装tensorflow首先添加tensorflow的环境，执行命令：conda create -n tensorflow python=3.7然后进入tensorflow的环境：安装tensorflow:2.linux下安装keras:验证一下：成功安装2.解压文件夹：unrar x ./目录地址3.运行python脚本：python 文件名.py4.文件较多时查找某个文件：find ./ |grep '.

原创 Cognitive Graph for Multi-Hop Reading Comprehension at Scale(ACL2019) 阅读笔记及代码解析

1.摘要提出了一个新的CogQA框架来解决web文档中的多跳问题。该框架以认知科学中的双过程理论为基础，通过协调隐式提取模块（系统1）和显式推理模块（系统2），在迭代过程中逐步构建认知图。在给出准确答案的同时，我们的框架还提供了可解释的推理路径。具体地说，我们的1基于BERT和图形神经网络（GNN）的实现可以有效地处理HotpotQA-fullwiki数据集中的数百万个多跳推理问题文档2.研究背景假设你手边有一个维基百科的搜索引擎，可以用来获取实体对应的文本段落，那么如何来回答下面这个复杂的问题

原创 《Stacked Attention Networks for Image Question Answering》 论文分析 and 代码分析（待完善）

一.模型 SAN其实主要分为3个部分：LSTM/CNN（用来提取输入的问题特征）、CNN（提取图像特征）、Attention（注意力层）。其中CNN部分其实不是集成在SAN网络中的，原文的实现方式其实是用已经预训练好了的VGG16来提取图片feature，然后直接调用这些feature，而不会去更新VGG16网络的权重。所以最终实际程序需要实现的部分其实就是LSTM/CNN部分和Attention部分。二.模型精读2.1Image Model首先image应当在输入VGG16网络...

原创 利用Anaconda安装TensorFlow、kears（待补充）

在anaconda的Prompt先装了一个虚拟环境，并进入这个虚拟环境：conda create -n tensorflow python=3.5conda activate tensorflow安装tensorflow:pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple/安装kears（TensorFlow环境）：pip install keras==2.1.3将tensorflow解释器添加

原创 无法定位程序输入点openssl_sk_new_reserve于动态链接库解决办法

解决办法：copy these files from Anaconda3/Library/bin to Anaconda3/DLLs : libcrypto-1_1-x64.dll libssl-1_1-x64.dll从Anaconda3/Library/bin中复制两个文件：libcrypto-1_1-x64.dll和 libssl-1_1-x64.dll到Anaconda3/DLLs中，注意文件要备份哦，不要拷贝错了！！！...

原创 Sklearn 中 OneHotEncoder 解析

将离散型特征使用one-hot编码，会让特征之间的距离计算更加合理。离散特征进行one-hot编码后，编码后的特征，其实每一维度的特征都可以看做是连续的特征。就可以跟对连续型特征的归一化方法一样，对每一维特征进行归一化。from sklearn.preprocessing import OneHotEncode参数：OneHotEncoder(n_values=’auto’, categorical_features=’all’, dtype=<class ‘numpy.float.

原创 Pytorch中randn和rand

Pytorch中randn和rand函数的用法randntorch.randn(*sizes, out=None) → Tensor返回一个包含了从标准正态分布中抽取的一组随机数的张量size：张量的形状，out:结果张量。（目前还没有看到使用这个参数的例子）randtorch.rand(*sizes, out=None) → Tensor但是它是[0,1)之间的均匀分布其他一些分布离散正态分布torch.normal(means, std, out=None) → →

原创 The Working Set Model for Program Behavior（程序行为的工作集模型）

文章地址：http://denninginstitute.com/pjd/PUBS/WSModel_1968.pdf在现代计算机系统中，缺乏对资源分配的一般处理的最基本的原因可能是缺乏一个程序行为的适当模型，基于此该文提出了一种新的模型“工作集模型”。与进程相关联的工作页面集（定义为其最新使用页面的集合）为分页内存的动态管理提供了至关重要的知识。简而言之，“进程”和“工作集”是计算机中正在进行的一计算活动的不同表现形式，进而“”处理器需求”和“内存需求”的概念也随之而来；而资源分配这一概念的存在是为了平

原创 python数据分析 生成词云图、jieba分词 从最简单的数据集入门

#词云图尝试import numpy as npimport pandas as pdfrom wordcloud import WordCloudimport PIL.Image as imageimport csvwind_sky = pd.read_csv('datadatadata1.csv',usecols = [5],header=None)print(wind_sky)print(type(wind_sky))wind_sky_list = []filename = '.

原创 sklearn实现k-means聚类算法（气温数据集）matplotlib可视化

只是做个测试，最终聚类出来的信息实际应用意义不大。大家可以用sklearn中的兰花数据集进行测试，。我的数据集样式如下：import numpy as npfrom sklearn.cluster import KMeansimport matplotlib.pyplot as pltimport pandas as pdx_sky_train = pd.read_csv('datadatadata1.csv',usecols = [2,3],header=None)#将读取的.

原创 Pandas的DataFrame转成Numpy的数组形式

生成df:import numpy as npimport pandas as pdindex = [1, 2, 3, 4, 5, 6, 7]a = [np.nan, np.nan, np.nan, 0.1, 0.1, 0.1, 0.1]b = [0.2, np.nan, 0.2, 0.2, 0.2, np.nan, np.nan]c = [np.nan, 0.5, 0.5, np.nan, 0.5, 0.5, np.nan]df = pd.DataFrame({'A': a, 'B':

原创 sklearn逻辑回归实现乳腺癌数据集二分类预测

#逻辑回归实现之前的乳腺癌数据集分类预测from sklearn import datasetsfrom sklearn.cross_validation import train_test_splitfrom sklearn.linear_model import LogisticRegressioncancer =datasets.load_breast_cancer()cancer_X=cancer.dataprint(cancer_X.shape)cancer_y=cancer.t.

原创 将两个2*1的矩阵合并成一个2*2的矩阵 python代码

其实很简单，只需要调用numpy中的函数即可

原创 pandas读取csv文件

原始数据：import pandas as pdcsv=pd.read_csv('test.csv')print(len(csv))　　#结果是12，证明length是csv的行数#读取第一、二列csv1=pd.read_csv('test.csv',sep=',',usecols=[0,1])参数sep：str, default ‘,’指定分隔符。如果不指定参数，默认使用逗号分隔。usecols: array-like, default None返回一个数据子集，该...

原创 Numpy

1.使用numpy读取TXT数据：genfromtxt():2.当于一个函数不了解时，可以打印函数帮助文档(并不只针对numpy，任何函数都可以这样查看)print(help(numpy.genfromtxt))3.numpy.array([1,2,3,4])：可以用来构造数组（一维、多维...）；一旦改变列表中的一个数的数据类型，其余数据也会自动随着改变，如现在给4加一个.0,则前面三个数也会变成1.0、2.0、3.0 数据类型都随之变为float类型。所以要保证array()里面传进

原创 图像灰度化

"""灰度化将彩色图片变为黑白图片，转化前图片的数组值为3维，转化后为2维"""from PIL import Imageimport numpy as np#打开一张图片img = Image.open("imageplace/1.jpg")#图片灰度化img = img.convert("L")#显示图片img.show()#将图片转换为数组形式。元素为其像素的亮度值print(np.asarray(img))#此时打印出的数组行列数就是图片的像素宽度和高度。...

原创 VGG16提取图片特征

import osimport numpy as npimport torchimport torch.nnimport torchvision.models as modelsfrom torch.autograd import Variableimport torch.cudaimport torchvision.transforms as transformsfrom PIL import ImageTARGET_IMG_SIZE = 224img_to_tensor = .

原创 爬取12个月天气数据/csv数据去除符号并转存为新的csv/绘出最高气温与最低气温折线图并显示在一个表里面

纪念一下搞出来的一个东西，不过都是参考网上的，只懂一些表面的，不会深层的东西，欢迎批评指正1.爬取2019年7月到2020年6月阜阳地区的天气：#爬取气温代码months = []for year in (2019,): for month in range(6,12): months.append("%d%02d"%(year, month+1))for year in (2020,): for month in range(0,6): mo

原创 加载gensim

加载gensimpip install -i https://pypi.tuna.tsinghua.edu.cn/simple gensim

原创 数据集的预处理（词替换、多余符号与空格正则化去除）——读取json数据集以及预处理之后再生成json文件 的代码

数据集较为庞大 ，这里只做一个示例import codecsimport reimport jsonwith open('train_pub.json','rb') as f: datatrain = json.load(f)# 数据预处理# 预处理名字def precessname(name): name = name.lower().replace(' ', '_') name = name.replace('.', '_') name = name.

原创 pycharm设置鼠标悬停快速提示函数参数和使用的方法

1.2.即可，示例：另：若想跳转到另一个文件中详细显示函数参数：按住ctrl键再点击方法名即可。

原创 题外话之小娱乐——两行代码生成二维码

MyQR包不在anaconda中，故要先安装一下生成一个最简洁的二维码只需要：from MyQR import myqrmyqr.run(words="https://blog.csdn.net/gxc19971128/article/details/106544303",save_name="dataset/blogcsdn.png")dataset文件夹是我自己先建好的，与python代码文件在同一级。如果不是在同一级，比如文件夹在代码文件的上一级，应该写为：save_nam..

原创 TF-IDF算法详解及sklearn代码实现

目录1.基本介绍（1）TF（词频 Term Frequency）（2）IDF（逆向文件频率 Inverse Document Frequency）（3）TF-IDF=TF*IDF代码实现：（1）sklearn代码实现（2）Jieba实现TF-IDF算法1.基本介绍定义：TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文本频率)。TF指词频，IDF指的是逆文本频率。TF-IDF是一种用于信息检索与数据挖掘的常.

原创 聚类算法之——DBSCAN密度聚类详解及sklearn包中的DBSCAN算法代码实现

DBSCAN（Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法）是一种基于密度的空间聚类算法。 该算法将具有足够密度的区域划分为簇，并在具有噪声的空间数据库中发现任意形状的簇，它将簇定义为密度相连的点的最大集合。西瓜书上对它的解释：核心对象定义：密度直达定义：密度可达：密度相连：上面几种关系的直观图示如下：如...

原创 为啥说python中一切皆对象？

首先对象的概念：对象是编程语言中相对独立的实体，它可以被调用、赋值或者作为参数供函数使用。python不仅仅向面向对象的Java一样支持对象的使用，还在这条路上走的更远：程序由方法和数据构成，Python中不仅各项数据都是对象，甚至用来定义方法的函数、类定义等也都是作为对象来存储和处理的。1.函数和类也是对象，都可以作为变量去赋值# 函数可以赋值给一个变量def ask(name='happy'): print(name) my_func = ask # 函数赋给变量my_func

原创 python中__init__和self的意义和作用

原创 《深度学习》第六章学习 深度前馈网络（Deep Feedforward Networks）（待完善）

https://www.zybuluo.com/hanbingtao/note/433855

原创 Sklearn到底是什么？

更多详细代码关注sklearn中文官方文档：https://www.cntofu.com/book/170/index.html1.概念Sklearn (全称 Scikit-Learn) 是基于 Python 语言的机器学习工具，是机器学习中的常用第三方模块。它建立在 NumPy, SciPy, Pandas 和 Matplotlib 之上，里面的 API 的设计非常好，所有对象的接口简单，对常用的机器学习方法进行了封装，包括回归(Regression)、降维(Dimensionality Re

原创 聚类算法 and k-Means聚类算法（西瓜书第9章）

1.聚类任务聚类就是对大量未知标注的数据集，按照数据的内在相似性将数据集划分为多个类别（在聚类算法中称为簇），使类别内的数据相似度高，二类别间的数据相似度低。聚类算法是无监督学习（unsuperivised learning），训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来解释数据的内在性质及规律，为进一步的数据分析提供基础。聚类算法师徒将数据集中的样本划分为若干个通常是不相关的子集，每个子集之间称为一个“簇”（cluster），通过这样的划分，每一个簇可能对应于一些潜在的概念（类别

原创 自己尝试使用简单数据集实现决策树 代码——《机器学习实战》

记录学习过程，每天学会一点点，早日玩转机器学习......（手动呵呵微笑）。1.数据集部分上图为所给的海洋生物数据，则以1代表可以付出水面、有脚蹼；0代表无法浮出水面、无脚蹼；yes为属于鱼类、no为不属于鱼类则创建数据集的代码可以表示为：from math import log"""加载得到简单的鉴定鱼的数据集"""def createDataSet(): #根据所给的数据表构造数据集 dataSet = [[1,1,'yes'], ..

原创 《机器学习实战》-pdf版本链接（若失效可留言邮箱发送）

https://vdisk.weibo.com/s/zdBKL6jDIBgTV

原创 作业一（part1）：使用威斯康辛大学关于乳腺癌诊断数据集的相关数据， 采用决策树算法（或随机森林）分析乳腺癌诊断数据集，推断肿瘤发病可能情况，然后用5分类

参考链接：http://docode.techyoung.cn/breast_cancer_wisconsin.html乳腺癌的早期诊断意义重大！数据集：威斯康辛大学关于乳腺癌诊断数据集链接：https://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+%28Diagnostic%29数据集共有30个特征，前10个特征是样本图像中细胞核特征值的平均值：第11到第20个特征为样本图像中细胞核特征值的标准差，反映的是在

原创 决策树可视化工具——Graphviz安装（Windows下）

1.安装下载地址：https://graphviz.gitlab.io/_pages/Download/Download_windows.html下载过程较为漫长，下载成功后，双击傻瓜式安装安装成功后，打开文件夹并将其bin路径添加至环境变量dooo在命令行界面验证：出现上图即安装成功。2.使用作为一名小白，刚安装好根本不会使用，在网上找了一些教程感觉也不是很清晰，这边自己琢磨了一下最最最基本的使用：首先双击打开安装好的软件，输入以下代码，并且保存为.