TH_NUM的博客

日常积累

排序:
默认
按更新时间
按访问量

python 读取文件时报错UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multib

python读取文件时提示”UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x80 in position 205: illegal multibyte sequence” 解决办法1. FILE_OBJECT= open(‘order.l...

2018-04-25 01:10:17

阅读数:84

评论数:0

pandas.DataFrame

pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)[source] Two-dimensional size-mutable, potentially heterogeneous tabula...

2018-04-23 22:09:35

阅读数:23

评论数:0

稀疏矩阵之python sparse实现

工程实践中,多数情况下,大矩阵一般都为稀疏矩阵,所以如何处理稀疏矩阵在实际中就非常重要。本文以python里中的实现为例,首先来探讨一下稀疏矩阵是如何存储表示的。 1.sparse模块初探 python中scipy模块中,有一个模块叫sparse模块,就是专门为了解决稀疏矩阵而生。本文的大部分...

2018-04-22 23:06:19

阅读数:43

评论数:0

scipy.sparse.hstack vstack

首先格式是符合 coo_matrix 才能使用sparse进行拼接。 hstack : 将矩阵按照列进行拼接 from scipy.sparse import coo_matrix, hstack,vstack A = coo_matrix([[1, 2], [3, 4]]) print(A...

2018-04-22 22:37:51

阅读数:685

评论数:0

基于sklearn 的one hot encoding

1.one hot编码的由来 在实际的应用场景中,有非常多的特征不是连续的数值变量,而是某一些离散的类别。比如在广告系统中,用户的性别,用户的地址,用户的兴趣爱好等等一系列特征,都是一些分类值。这些特征一般都无法直接应用在需要进行数值型计算的算法里,比如CTR预估中最常用的LR。那针对这种情况最...

2018-04-22 21:11:23

阅读数:48

评论数:0

vim清空文件所有内容

在使用vim编辑器的时候,有时候编辑一个文件,而文件内容比较多,如果需要快速清空整个文件,可以使用一下命令: 在命令模式下,首先执行 gg 这里是跳至文件首行 再执行:dG 这样就清空了整个文件! 还有一种方法就要退出VIM,然后使用echo >>...

2018-04-21 10:57:43

阅读数:116

评论数:0

通过Pandas读取大文件

当数据文件过大时,由于计算机内存有限,需要对大文件进行分块读取: import pandas as pd f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv') reader = pd.read_csv(f, sep=',', iterator=T...

2018-04-19 18:05:01

阅读数:78

评论数:0

pandas对列数据进行处理,将Nan变为0,将str变为0

test.csv文件内容: 1,2, 1,54 89,5 6,7,9 代码: import pandas as pd import numpy as np import re def format(x): value = re.compile(r'^\s*[-+]*[0-9]...

2018-04-19 17:54:28

阅读数:923

评论数:0

TensorFlow保存和加载训练模型

对于机器学习,尤其是深度学习DL的算法,模型训练可能很耗时,几个小时或者几天,所以如果是测试模块出了问题,每次都要重新运行就显得很浪费时间,所以如果训练部分没有问题,那么可以直接将训练的模型保存起来,然后下次运行直接加载模型,然后进行测试很方便。 在tensorflow中保存(save)和加载(...

2018-04-18 00:04:46

阅读数:182

评论数:0

python数据分析之numpy初始化

以下都用numpy的标准“import numpy as np” 1.numpy是同构数据多维容器,同构即数据类型相同 2.初始化: 2.1 np.arange([start,] end [, step])#与list的range相似 >&...

2018-04-18 00:02:49

阅读数:26

评论数:0

numpy做矩阵运算

矩阵运算 论numpy中matrix 和 array的区别: http://blog.csdn.net/vincentlipan/article/details/20717163 matrix 和 array的差别: Numpy matrices必须是2维的,但是 numpy array...

2018-04-17 23:57:56

阅读数:17

评论数:0

feed_dict tf 报错提示ValueError: setting an array element with a sequence.

print (sess.run(output,feed_dict={input1:[[1.0,2.0,3.0]],input2:[[2.0],[3.0],[4.0]]}))就能运行. 错误原因: feed_dict格式本身不能用tf.constant赋值的或者tf.get_variable赋值。

2018-04-17 18:18:29

阅读数:52

评论数:0

机器学习心得

神经网络为什么具有对非线性关系进行建模的能力? 1.每个神经元会先应用一个非线性激活函数。正是由于这个激活函数,神经网络具有对非线性关系进行建模的能力 持续更新中….. ...

2018-04-17 01:26:19

阅读数:38

评论数:0

python 实现 机器学习(周志华) 参考答案 第五章 神经网络 5.7 RBF 神经网络

#-*- coding:utf-8 -*- import re import xlrd import xdrlib,sys import xlwt import datetime import time import numpy as np def rand(a, b): #返回a 行 n 列 ...

2018-04-16 00:19:36

阅读数:88

评论数:0

HADOOP基本操作命令

HADOOP基本操作命令 在这篇文章中,我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭 启动HADOOP 1. 进入HADOOP_HOME目录。 2. ...

2018-04-14 12:20:27

阅读数:23

评论数:0

Java去除字符串中的空格

特别注意了 Strim或者Trip都是只能去除头部和尾部的空字符串。中间的部分是不能够去除的! 推荐使用ApacheCommonse的StringUtils.deleteWhitespace(“a b c”); 删除所有空格。 如果我自己写,我会采用foreache遍历每一个字符串中的字符然...

2018-04-14 12:12:44

阅读数:13

评论数:0

BufferedImage与byte[]互转

一、需要用到的类 java.awt.image.BufferedImage; javax.imageio.ImageIO; java.io.*; 二、为什么要将BufferedImage转为byte数组 在传输中,图片是不能直接传的,因此需要把图片变为字节数组,然后传输比较方便;只需要一...

2018-04-14 12:10:07

阅读数:41

评论数:0

java中判断文件是否是图片文件

使用Image读取文件时,如果是非图像文件,则会返回null。 参考代码: try { Image=ImageIO.read(new File(name)); if (image == null) { valid = false; ...

2018-04-14 12:08:11

阅读数:84

评论数:0

在HttpClient请求的时候,返回结果解析时出现java.io.IOException: Attempted read from closed stream. 异常,解决

原因是EntityUtils.toString(HttpEntity)(或者EntityUtils.toByteArray())方法被使用了多次。所以每个方法内只能使用一次。

2018-04-14 12:07:13

阅读数:32

评论数:0

HttpClient获取响应状态Status

HttpClient获取响应状态Status 我们HttpClient向服务器请求时, 正常情况 执行成功 返回200状态码, 不一定每次都会请求成功, 比如这个请求地址不存在 返回404 服务器内部报错 返回500 有些服务器有防采集,假如你频繁的采集数据,则返回403 拒绝你请求。...

2018-04-14 12:06:22

阅读数:123

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭