- 博客(74)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 word解析
版式文档：•PDF和OFD为代表，按照固定布局来描述文档，无论在何种阅读器平台上都会呈现固定的版式。流式文档：•HTML文档、OOXML文档等，流式文档采用灌排的方式进行布局，格式中包含了丰富的信息。•页眉页脚、 节、段落、句、文字、表、图表、图形、公式、题注、表注、尾注、对象、锚点、段间距、 行间距、字体、字号等等。Word组成：对应xml：...
2019-09-17 20:01:22
1568
原创 python word解析 嵌套表格
研究生一直做文档解析相关，但是局限于段落文本内容， 对于表格解析没有涉及（如有疑问：可加微信13161411563），如下图的嵌套表格：可以使用python-docx进行解析：import docxfrom docx.document import Document as _Documentfrom docx.oxml.text.paragraph import CT_Pfro...
2019-09-17 10:44:39
2962
1
翻译 bash nohup 命令教程
背景 nohup的意思是“没有挂断”。 通常，当我们从系统注销时，所有正在运行的程序或进程都会挂起或终止。 如果要在注销或退出Linux操作系统后运行任何程序，则必须使用nohup命令。 有许多程序需要很长时间才能完成。 我们不需要长时间登录来完成命令的任务。 我们可以使用nohup命令在后台运行这些类型的程序并稍后检查输出。 使用nohup命令的一些示例是内存检查，服务器重启，同步等...
2019-09-04 17:05:45
8431
原创 pandas 读取文件 加入列索引
df = pd.read_csv("file.csv",names=['id','score'])注意names应该是[]，而不是{}，问题在于{}会随机选取，而[]则有顺序。
2018-01-27 10:52:05
7564
翻译 归并排序
参考算法第四版package offer;import java.util.ArrayList;import java.util.Arrays;public class Solution {private static int[] temp; public static void sort(int[] a){temp = new int[a.length];
2018-01-03 20:16:45
212
原创 dataframe sample
官方解释：http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.sample.html随机选取n个值
2017-12-25 21:08:58
3873
转载 enumerate python
enumerate()说明enumerate()是python的内置函数enumerate在字典上是枚举、列举的意思对于一个可迭代的（iterable）/可遍历的对象（如列表、字符串），enumerate将其组成一个索引序列，利用它可以同时获得索引和值enumerate多用于在for循环中得到计数例如对于一个seq，得到：(0, seq[0]), (1, seq[1]), (2
2017-12-25 09:45:37
234
原创 pandas中如何索引到某一列的特定值
首先df["列名"].isin(["值"]) 可以找到为该值，并转换为boolean在df[上面的值] 返回行
2017-12-15 10:07:23
8611
原创 kaggle中Titanic学到的知识
DataFrame.info() 输出dataframe的信息。notebook作图时，如何显示张中文plt.rc('font',family='SimHei',size=6)
2017-12-12 19:59:40
190
原创 排序算法之简单选择排序
简单选择排序就是每次选择一个比较小或者比较大的数放在最前面，每次只能选择一个数。void Select_Sort(datatype R[],int n){ //对排序表R[1].....R[n]进行冒泡排法，n是记录个数 for(i=1; i/*做n-1趟选取*/ { k=i; /*在i开始的n-i+1个记录中选关键码
2017-12-12 13:51:28
240
原创 python中相对路径
python中当前路径os.getcwd()python 中./就代表了当前路径。。。/代表上级目录，当前目录就是你这个python文件在的目录
2017-12-01 19:43:47
4409
转载 算法面试之回溯法
回溯法是一种暴力查找法，适合于探索路径，探索每一步的走法。如果符合就走下去，不符合就回溯，然后再去寻找。通过这点就能分辨出一道题是不是在考你回溯法。看我博客的人请注意，我写的不规范，这是方便自己理解，代码是不能运行的，有疑问请加qq：823071447 备注：回溯法算法框架.int n =0;void backtrack(int n){if(n=aim)
2017-11-30 09:46:55
255
原创 连接pandas以及数组转pandas
pandas转数组np.array(pandas)数组转pandaspandas.DataFrame(numpy)pandas连接，只是左右接上，不合并值df = pd.concat([suojindf,df], axis=1)
2017-11-22 10:44:15
4684
转载 list添加到dataframe中
版权声明：本文为作者创作，转载请注明出处:http://blog.csdn.net/claroja，如有商业用途请联系QQ：63183535。Python中将列表转换成为数据框有两种情况：第一种是两个不同列表转换成一个数据框，第二种是一个包含不同子列表的列表转换成为数据框。 第一种：两个不同列表转换成为数据框from pandas.core.frame import D
2017-11-14 10:29:06
41140
原创 代码鲁棒性
鲁棒代码非常的重要，如今我已经发觉到了这一点，在我写人机大战的代码时候，由于文件中最后一行的错误，导致一晚上的结果都没了，平时写代码一定要注意添加异常处理。
2017-11-14 08:03:29
592
原创 关于word2vec种的问题
这是我碰到的问题，对其他人不适用，所以记录简单。问题1：memoryError解决办法：将分词文件和训练词向量分开。问题2：python文件读写问题解决办法：使用ue转换，这是一个bijiaolow的做法rb和r的区别在于rb读完以后是二进制文件。keras种由于timeddisru。。这个函数不是在每个都返回的情况下不要使用
2017-11-13 15:20:44
529
原创 python3 读文件的问题
python3 读文件读出来的都是二进制，关键是解码的时候的问题，有一个问题就是某一行无法用utf-8来解析，我想跳过该行，使用try except进行解析，条件就是是否能decodewith open(filepath, 'rb') as network_file: for line in network_file.readlines(): try:
2017-11-12 21:14:57
412
转载 蒙特卡洛树和alpha go
对Alpha-zero很感兴趣，所以耐心阅读了mastering the game of go without human knowledge Deepmind 官网的介绍：AlphaGo Zero: Learning from scratch 在阅读的过程中，对蒙特卡洛树搜索算法不甚了解，下面翻译了youtube上一位英国教授的网络课程视频。蒙特卡洛树搜索（MCTS）算法
2017-11-12 19:42:06
1284
1
原创 numpy数组花式索引所造的错误 typeerror：只有整形的能作为索引
shuffle_ix = np.random.permutation(np.arange(len(x_train)))x_shuffled = x_train[shuffle_ix[0]] #由于未知原因，只能用该方法将text_processed来将数组随机打乱for i in shuffle_ix: if(i!=shuffle_ix[0]): x_shuffle
2017-11-11 10:29:10
313
原创 tensorflow中遇到的问题汇总
记录问题，分析原理，从而发散是我写这篇的原因。从普通问题到原理从而能解决通用问题。问题1：Lstm中#声明占位符x_data = tf.placeholder(tf.float32,[2,380,max_sequence_length])y_target = tf.placeholder(tf.int32,[None])cell = tf.nn.rnn_cell.BasicLS
2017-11-11 07:59:12
2407
原创 pandas的问题总结
1、pandas读取文件时，read_table("txt",names=['','','']) names后面的是索引2、pandas去除空白行 删除表中全部为NaN的行df.dropna(axis=0,how='all')
2017-11-10 11:33:28
401
原创 最简单的tensorflow 绘制准确率损失函数的画图
plt.plot(x,label=‘’x) x就是输入数据plt,plot(seq,x,label='x') seq就是x下标plt.legend(loc='upper left') plt.xlabelplt.ylabelplt.titleplt.show()
2017-11-10 10:49:10
24659
5
原创 tf.cast的使用
这些东西还是看官方文档才能理解的更加透彻。cast(x, dtype, name=None) 将x的数据格式转化成dtype.例如，原来x的数据格式是bool， 官方解释https://www.tensorflow.org/api_docs/python/tf/cast
2017-11-10 08:28:53
4277
原创 从RNN的输出结果到loss的计算
首先在得到embeddingout的结构后，声明一个RNN单元，大小为10cell = tf.nn.rnn_cell.BasticRNNCell(num_utis = 10)计算output和stateoutput,state = tf.nn.dynamic_rnn(cell,embedding_output,dtype = tf.float32)然后可以添加droupouto
2017-11-09 21:56:36
4611
原创 神经网络为什么要随机分配输入数据的顺序
这是一个BP神经网络的问题BP网络本质上是个支持向量机，对输入顺序进行随机化处理是为了保证能够有监督学习，同时使算法按照梯度下降法则进行学习。假如训练数据是有序的，那么会导致训练结果很难收敛到偏置值。只有保证数据的随机性才能使得BP算法训练结果尽可能地收敛。使用方法：np.random.permutation(np.arange(len(data)))np.arrang
2017-11-09 17:31:04
4137
原创 tensorflow中tf.contrib.learn.preprocessing.VocabularyProcessor理解
参数min_frequency，低于该词频的不会呗收录到词汇表中，最后的形式为[1,2,3,0,0,0] 含有第1，2，3，个词
2017-11-09 17:00:34
2241
原创 python中join的用法
join指的是 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串text_string = " I I love you"print ('\n'.join(text_string.split()))结果为IIloveyou每一个都会添加\n
2017-11-09 16:39:13
887
原创 python中re.sub的使用 正则表达式
在python中，re就是regular expression的缩写，代表正则表达式，import resub是sunstitute的缩写，代表替换 re.sub(r'([^\s\w]|_|[0-9])+','',text_string) 首先[^...]不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。这是个坑，^匹配的是
2017-11-09 16:32:19
2586
原创 python zip（）和zip（*）的区别
可以看成是解压和压缩的区别，zip相当与压缩 zip（*）相当于解压。举例说明：x=["a","1"]y=["b","2"]z = list(zip(x,y))print (list(zip(x,y)))print (list(zip(*z)))结果为：[('a', 'b'), ('1', '2')][('a', '1'), ('b', '2
2017-11-09 16:00:51
22768
2
原创 关于tensorflow经过embedding层维度的问题。
tensorflow其实没多难，感觉在理解了维度问题以后，慢慢的就懂了。经过embedding层，embedding_output = tf.nn.embedding_lookup(embedding_mat,self.xdata)embedding层的目的是要将data表示为lstm可以输入的onehot数据。如果data的shape为（100，50），在lstm中，100是batc
2017-11-09 09:59:55
6027
7
原创 python list转numpy 仍然有list
使用numy.array将list转为array时，这个问题主要时因为list的长度不一样，导致无法转成功。c= [[[1,2,3,4],[1,2,3,4]],[[1,2,3,4]]]print (np.array(c))结果很明显的可以看出由于list长度不一样，里面的list没有转换成功，而如果长度相同，结果将符合预期c= [[[1,2,3,4],
2017-11-08 19:59:24
4659
1
原创 莫烦 神经网络RNN例子
学了一段时间tensorflow以后，对于动手写代码的能力还是不行，看了下莫烦的视频，记录一下。是一个利用rnn来处理mnist数据集的例子。分为三部分：第一部分定义参数，第二部分定义网络，第三部分训练首先定义参数import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data
2017-10-31 10:57:55
3428
原创 python enumerate的解释
from tensorflow.models.rnn.ptb import readerimport tensorflow as tfimport numpy as npDATA_PATH = "data/"train_data,valid_data,test_data,_ = reader.ptb_raw_data(DATA_PATH)A = [[1,2,3,4],[2,3,4,5]
2017-10-24 20:35:43
313
转载 tf.nn.embedding_lookup简单介绍
结果为[[ 0.1 0.2 0.3] [ 2.1 2.2 2.3] [ 3.1 3.2 3.3] [ 1.1 1.2 1.3]]Tensor("embedding_lookup:0", shape=(4, 3), dtype=float64)==================[[[ 0.1 0.2 0.3] [ 2.1 2.2 2.3] [ 3
2017-10-24 20:04:20
173
原创 python中的import和from
from语句是import的一种扩展，可以直接引入模块中的变量模块只在第一次import或from的时候才会载入执行，并且只会执行以此，主要是由于该操作开销比较大。之后的操作都只会取出已加载的模块对象，import是指将整个模块对象赋值给变量名from将一个或多个变量名赋值给另一个模块中的同名对象
2017-10-23 22:17:37
567
原创 tensorflow 问题汇总
本人最开始在keras上跑深度学习项目，但是最近想把项目转到tensorflow上，对tensorflow实战谷歌框架这本书进行学习，第一个问题是#原因是这个函数，不能按以前的方式进行调用了，只能使用命名参数的方式来调用。#原来是这样的：tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y, y_))#修改成这样
2017-10-20 08:10:36
340
转载 python的执行过程
在说这个问题之前，我们先来说两个概念，PyCodeObject和pyc文件。我们在硬盘上看到的pyc自然不必多说，而其实PyCodeObject则是Python编译器真正编译成的结果。我们先简单知道就可以了，继续向下看。当python程序运行时，编译的结果则是保存在位于内存中的PyCodeObject中，当Python程序运行结束时，Python解释器则将PyCodeObject写
2017-10-18 10:56:20
284
转载 关于python with的用法
with 语句是从 Python 2.5 开始引入的一种与异常处理相关的功能（2.5 版本中要通过 from __future__ import with_statement 导入后才可以使用），从 2.6 版本开始缺省可用（参考 What’s new in Python 2.6?中 with 语句相关部分介绍）。with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行
2017-10-18 07:41:59
139
LoggerFactory等jar包
2016-05-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人