- 博客(80)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 vscode pandas无法使用
我本来安装命令用的是pip install pandas结果无法安装，报错：bash: pip: command not found。明明已经显示pandas-2.0.3了，但是当我再次执行文章开头的代码时还是不能用。然后我安装pandas，因为我的python的版本是python --version。显示：Python 2.7.18（看版本的命令是：python --version）在找了一通之后，改成pip3 install pandas。
2023-11-19 09:36:35
1181
转载 数据仓库和数据集市
概念项目数据仓库数据集市备注定义面向主题的、集成的、不可更新的(稳定性)、随时间不断变化的(不同时间)数据集合是一个小型的、部门级别的数据仓库级别企业级部门级(相当于数据仓库的子集)分类独立型和从属型独立型从操作型中获取数据，从属型从企业级数据仓库中获取数据。从长远看，从属型比独立型要稳定。(因为独立型的数据相对零散，二从属性是跟随于企业级数据仓库的)数据结构模式规范化模式（关系数据库设计模式）星型模式、雪片或两者混合（多维数据库设计模式）
2020-11-03 15:47:23
438
原创 利用word2vec计算两个短文本的相似度
import gensimimport jiebaimport numpy as npfrom scipy.linalg import normmodel_file = 'C:/Users/Administrator/Desktop//word2vec/news_12g_baidubaike_20g_novel_90g_embedding_64.bin'model = gensim....
2020-03-15 07:50:38
3806
3
原创 python3将某文件夹中多个txt进行合并
import osimport os.path #文件夹遍历函数 #获取目标文件夹的路径filedir = 'C:/Users/Administrator/Desktop/a'#获取当前文件夹中的文件名称列表 filenames=os.listdir(filedir)#打开当前目录下的result.txt文件，如果没有则创建f=open('C:/Users/Administra...
2020-03-15 07:47:34
1046
转载 数据融合方式
目前，多模态数据融合主要有三种融合方式：前端融合(early-fusion)或数据水平融合(data-level fusion)、后端融合(late-fusion)或决策水平融合(decision-level fusion)和中间融合(intermediate-fusion)。前端融合将多个独立的数据集融合成一个单一的特征向量，然后输入到机器学习分类器中。由于多模态数据的前端融合往往无法充分利...
2020-02-15 17:08:34
6509
2
原创 pip uninstall numpy的时候出现的问题
在pip uninstall numpy的时候，出现的问题，怎么也解决不来，这个要怎么办？PermissionError: [WinError 5] 拒绝访问。: 'f:\\anaconda3\\envs\\tensorflow\\lib\\site-packages\\numpy\\.libs\\libopenblas.IPBC74C7KURV7CB2PKT5Z5FNR3SIBV4J.gf...
2019-07-16 18:27:58
5807
7
转载 在caffe中，BN层怎么用？
目录1.BN的作用2.BN在caffe中代码3.补充4.参考1.BN的作用BN层的设定一般是按照conv→bn→scale→relu的顺序来形成一个block。关于bn，有一个注意点，caffe实现中的use_global_stats参数在训练时设置为false，测试时设置为true。因为在训练时bn作用的对象是一个batch_size，而不是整个训练集，如果没...
2019-07-10 14:09:02
1294
1
转载 tfdbg常用指令
1.tfdbg的作用tfdbg是TensorFlow应用的调试工具，可以方便排查变量为nan、inf等问题，官方文档介绍https://www.tensorflow.org/versions/master/how_tos/debugger/。tfdbg无需单独安装，安装0.12.1以上版本TensorFlow即可使用。2.使用方法tfdbg提供了命令行界面和API，使用方法很简...
2019-07-10 09:55:22
688
原创 tensorflow中，checkpoint和pb的区别和联系
1.checkpoint文件1.1保存方式tf.train.Saver()1.2可以得到四个文件checkpoint检查点文件model.ckpt.data-xxx保存的是参数的值model.ckpt.index保存的是各个参数model.ckpt.meta保存的是图的结构1.3通过saver...
2019-07-04 10:59:06
6416
1
原创 Tensorflow中使用tf.train.Saver()和saver.restore()进行参数的保存和重现
保存checkpoint，利用restore和saver进行。
2019-07-03 18:28:29
10670
1
原创 如何将tensorflow训练好的参数冻结成pb文件
利用tensorflow冻结pb文件，虽然只是实现了，但是我还不会用，先记录下来吧，以后慢慢补充。
2019-07-03 11:30:00
1300
3
原创 Caffe-如何修改为deploy.prototxt用于测试
（1）将原网络文件去掉（以下部分）layer { name: "data" type: "Data" top: "data" top: "label" include { phase: TRAIN } transform_param { crop_size: 227 mean_value: 104 mean_value: 117 ...
2019-06-27 14:16:18
1153
原创 finetune的时候如何修改solver.prototxt和train_val.prototxt
1.注意题目中所指出的solver.prototxt和train_val.prototxt只是单纯的文件名字，大家可根据自己喜恶自行修改，2.solver修改对比主要的调整有：test_iter从1000改为了100，因为数据量减少了，base_lr从0.01变成了0.001，这个很重要，微调时的基本学习速率不能太大，学习策略没有改变，步长从原来的100000变成了20000，最大的迭...
2019-05-05 14:45:14
227
原创 如何在windows下利用caffe编写finetune脚本
1.脚本全部内容（.bat）GLOG_logtostderr=0D:\caffe-master\Build\x64\debug\caffe.exe train --solver=D:\数据集\实验\finetune1\train_test\solver.prototxt --weights=D:\数据集\实验\finetune1\数据集_iter_1000.caffemodelpause...
2019-05-05 14:22:48
168
原创 Cannot copy param 0 weights from layer 'fc6'; shape mismatch. Source param shape is 4096 256 6 6 (
1.文字描述：Cannot copy param 0 weights from layer 'fc6'; shape mismatch. Source param shape is 4096 256 6 6 (37748736); target param shape is 4096 9216 (37748736). To learn this layer's parameters from...
2019-05-05 14:14:10
727
原创 caffe训练或者finetune的时候出现乱码且路径全部正确
1.问题描述如上图所示，就是莫名出现乱码而且根本通不过，然后下面还可能提示路径错误等，但是你检查了100次还是发现路径是对的，结果气死......2.解决办法在这个.bat的训练文件保存的时候是以txt格式结尾的，保存的时候看最下面的编码格式，改为下图即可运行成功。...
2019-04-30 14:51:02
295
转载 CNN模型总结
1. AlexnetAlexnet，2012年ImageNet竞赛冠军，深度学习的里程碑。网络结构地址：https://github.com/BVLC/caffe/tree/master/models/bvlc_alexnet预训练模型地址：http://dl.caffe.berkeleyvision.org/bvlc_alexnet.caffemodel2. Squeezenet...
2019-04-23 10:20:50
349
转载 如何根据实际问题选择合适的神经网络
1.本文涉及到的神经网络有三种：MLP，CNN，RNN2.本文解决的问题：（1）在解决预测建模问题时要关注哪种类型的NN；（2）何时使用，或不使用，或者可以尝试在项目中使用MLP，CNN和RNN；（3）在选择模型之前，要考虑使用混合模型并清楚地了解项目目标。目录一、要关注什么神经网络？二、何时使用多层感知器？三、何时使用卷积神经网络？四、何时使用递归神经网...
2019-04-23 09:51:19
4666
原创 CNN中反卷积层的理解以及cafffe中反卷积的定义
目录1.写在前面2.卷积操作3.反卷积4.Caffe中deconvolution定义5.反卷积的作用1.写在前面本质：反卷积层和卷积层的工作过程很相似，主要区别在于，反卷积会通过padding，使得output大与input，而卷积是output小于input。2.卷积操作 ...
2019-04-19 16:10:55
1948
原创 Python学习笔记Day5
1.file1.1打开文件方式(读写两种方式)1.1.1open()方法Python open() 方法用于打开一个文件，并返回文件对象，在对文件进行处理过程都需要使用到这个函数，如果该文件无法被打开，会抛出 OSError。注意：使用 open() 方法一定要保证关闭文件对象，即调用 close() 方法。open() 函数常用形式是接收两个参数：文件名(file)和模式(mod...
2019-03-06 10:48:24
143
原创 Python学习笔记Day4
函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率。1.函数的定义你可以定义一个由自己想要功能的函数，以下是简单的规则：函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()。 任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。 函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。 ...
2019-03-04 10:11:48
187
原创 Python学习笔记Day3
1.dict字典1.1定义字典是另一种可变容器模型，且可以存储任意类型对象。1.2创建字典的每一个键值（key=>value）对用冒号（：）分割，每个键值对之间用逗号（，）分割，整个字典包括在花括号（｛｝）中，格式如下所示：dict =｛key1：value1，key2：value2｝注意：键必须是唯一的，但是值不一定。也就是说，值可以取任意类型，但是键必须是不可变类...
2019-03-02 12:20:14
347
原创 Python学习笔记Day2
1.列表1.1标志列表的标志符号是方括号，也就是“[ ]”，例如列表的定义：a = [a, b, c, "文字"]1.2基本操作1.2.1创建classmates = ['Michael', 'Bob', 'Tracy']1.2.2访问成员>>> classmates[0]'Michael'>>> classmates[1]...
2019-02-28 10:39:26
313
原创 python PEP8 代码规范总结
1.缩进1.1 使用4个空格作为一个缩进层次1.2 当需要换行时，续行应该和所包含的元素垂直对齐或者使用悬垂缩进，也就是第一行不应该有任何参数，续行业应该有缩进 来明确其作为一个续航。例如：# 对齐foo = long_function_name(var_one, var_two, var_three, var_four)#...
2019-02-26 11:04:32
896
原创 python学习笔记day1
开始的前提，默认已经搭建好anaconda环境，我使用anacodna3.7版本。1.python初体验1.1print和inputprint是一个打印函数，在python2和python3中有一定的差别python2中a=5print a>>>5python3中a=5print(a)>>>5不同之处：需要加括号。...
2019-02-26 09:50:14
211
原创 PIL在python3中安装失败
pip install PIL后显示：Could not find a version that satisfies the requirement PIL (from versions: )No matching distribution found for PIL后查资料发现在python3中pillow代替了PIL也就是这样安装python2中的PIL模块：pip instal...
2019-02-19 17:58:21
3443
原创 python3下使用gensim中的word2vec训练文本并提取中间向量
我在csdn上看到有人对这个“人民的名义”文本采用python2做了分析，由于我用的python3，所以修改如下（保证可以实现）全部代码如下：# -*- coding: utf-8 -*-# encoding = utf-8import jiebaimport jieba.analysejieba.suggest_freq('沙瑞金', True)jieba.suggest_...
2019-01-30 18:52:11
2637
1
原创 如何利用anaconda在windows上安装tensorflow-only-cpu版本
首先在anaconda上下载最新的的版本安装好之后打开这个：然后依次输入如下三条：conda create -n tensorflow python=3.5（好像目前只能用3.5）这个部分和安装anaconda的版本不用统一哈activate tensorflowpip install tensorflow然后等待安装结束下面的我还在尝试 等我弄好了再更新文章备注...
2019-01-16 16:21:57
237
转载 如何在excel中抓取自己需要的数字
例如如下表格，已有学生的身份证号，但是还需要学生的出生年月，这里就不再需要学生一个个进行信息登记，然后一个个输入，而是利用“MID”，就可以从身份证号中提取生日了。在身份证号旁边的一列第一个身份证号旁边写“=”然后输入“MID”三个字母，分析发现从身份证号第7位起，到之后的6位，这六个数字代表了该生的出身年月。所以MID之后的括号中第二个数字是7，第三个数字是6，如图：“某某某”括...
2018-11-05 14:34:14
3337
原创 python3统计词频程序
import refrom collections import Countertxt = open("D:/a1.txt").read()new_txt = re.split('\W+', txt)result = Counter(new_txt)a = result.most_common(10)print(a)python3统计词频程序，可用。...
2018-10-15 09:45:07
1003
原创 使用jieba库进行中文分词出现IndexError: list index out of range
解决办法：在pycharm中把jieba库卸载掉，然后重新安装，搞定。（真的是，没有什么是重装一次不能解决的，如果不能，那就卸载两次！
2018-10-09 13:53:18
1419
原创 Error:(16, 8) java: 类Rec是公共的, 应在名为 Rec.java 的文件中声明
第一次使用Java，出现错误如下原因：.java文件的名字和类名不一样，所以两者修改相同即可，修改后如下：文件名：类名：然后编译顺利通过。 ...
2018-09-27 14:10:29
9089
原创 用Python2实现一个简单的推荐系统（用Python3会出现错误）
以下代码亲测修改后可以编译，如果出现错误请联系我：（代码虽有雷同，但是我已经修改正确率，绝对可用）数据集在资源里面，请自行下载哈import mathdef load_matrix(): matrix = {} f = open("d:\\train.csv") columns = f.readline().split(',') for lin...
2018-09-25 16:55:42
237
转载 成功解决Python中出现的TypeError: object of type 'zip' has no len()
不罗嗦，直接解决问题！ 问题：TypeError: object of type 'zip' has no len() --------------------- 本文来自 一个处女座的程序猿 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/qq_41185868/article/details/79039704?utm_source=copy 解决方案...
2018-09-21 15:51:55
4861
转载 RecSys 2017总结
觉得这篇写的很棒，自己也正在学习推荐系统，希望和大家一起学习。版权归作者所有，任何形式转载请联系作者。作者：咚咚咚diduan（来自豆瓣）来源：https://www.douban.com/note/662840537/今年的ACM RecSys在美丽的科莫湖畔举办，本文将从会议总览，推荐系统技术与发展趋势，个人观感三个方面介绍本次大会。会议总览今年的RecSys接收26篇long ...
2018-09-12 19:57:03
919
原创 利用已有Caffemodel进行风格迁移
1 首先在 https://github.com/fzliu/style-transfer 把代码下载下来，另外主要这个代码基于pycaffe的，需要将pycaffe编译好。注意：编译pycaffe的时候可能会遇到提示缺少Python27_d.lib，解决方案参考以下博文，https://blog.csdn.net/kele_imon/article/details/79137876可以完美解决，...
2018-06-14 16:22:41
781
1
原创 python出现此错误：'ascii' codec can't decode byte 0xef in position 45: ordinal not in range(128)
在程序开头加上如下语句：import sysreload(sys)sys.setdefaultencoding('utf-8')再次编译就可以通过，如遇到问题欢迎楼下留言。
2018-06-07 21:19:33
1904
原创 label_value 小于 num_labels(124 vs. 100)
问题描述：这是一个100分类的问题，但是我是从一个100多分类中直接截去的，所以标签不是从0开始，且标签整数不连续。设置好以后进行训练。得到下图：错误提示： 显示是label的值小于labels的数量。预修改方案：在网上查找资料后说，标签必须从0开始且整数必须连续，所以准备照这样修改一下，预计后面结果，我会实时更新，有其它意见的小伙伴可以在下方留言。caffe中，单一标签的分类任务中一般在Accu...
2018-05-23 22:04:04
712
原创 在转换LEVELDB数据时候出现的 -abort() has been called错误
错误描述如下图：原因：这是因为在转换数据集的时候，放置原始数据集的文件夹命名含有非法字符，比如我的文件夹就含有了空格，如下图只要把空格取消掉就可以了。问题解决。...
2018-04-16 08:01:13
355
window 下使用caffe-loss-accuracy所需文件
2018-03-29
caffe画acc和loss曲线修改后的plot_training_log.py(修改好版本）
2018-03-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人