TH_NUM的博客

日常积累

Linux 系统下查看硬件信息命令大全

lscpu lscpu命令能够查看 CPU 和处理单元的信息。该命令没有任何其他选项或者别的功能。 lscpu 运行该命令会看到下面输出: lspci lspci是另一个命令行工具,可以用来列出所有的 PCI 总线,还有与 PCI 总线相连的设备的详细信息,比如 VGA 适配器、显卡...

2018-04-25 13:27:32

阅读数 70

评论数 0

windows Anaconda lightgbm 安装

更新:2018年4月25日测试,win和linux平台都可以通过pip install lightgbm安装最新的lightgbm了,现在版本是lightgbm-2.0.3。 下载whl https://pypi.python.org/pypi/lightgbm/2.0.3 安装 拷贝...

2018-04-25 13:10:54

阅读数 1084

评论数 0

Linux下安装anaconda

1.下载(直接到清华镜像下载) 下载链接:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/,选择合适的版本。 2.安装anaconda bash Anaconda3-4.3.1-Linux-x86.sh 安装完成之后要重启终...

2018-04-25 13:08:11

阅读数 356

评论数 0

KMeans与深度学习自编码AutoEncoder结合提高聚类效果

特征是用户的消费商品的消费金额,原始数据(部分)是这样的: id,goods_name,goods_amount 1,男士手袋,1882.0 2,淑女装,2491.0 3,淑女装,2492.0 2,女士手袋,345.0 4,基础内衣,328.0 5,商务正装,4985.0 5,时尚,969....

2018-04-25 01:14:54

阅读数 1285

评论数 0

python 读取文件时报错UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multib

python读取文件时提示”UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x80 in position 205: illegal multibyte sequence” 解决办法1. FILE_OBJECT= open(‘order.l...

2018-04-25 01:10:17

阅读数 986

评论数 1

pandas.DataFrame

pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)[source] Two-dimensional size-mutable, potentially heterogeneous tabula...

2018-04-23 22:09:35

阅读数 96

评论数 0

稀疏矩阵之python sparse实现

工程实践中,多数情况下,大矩阵一般都为稀疏矩阵,所以如何处理稀疏矩阵在实际中就非常重要。本文以python里中的实现为例,首先来探讨一下稀疏矩阵是如何存储表示的。 1.sparse模块初探 python中scipy模块中,有一个模块叫sparse模块,就是专门为了解决稀疏矩阵而生。本文的大部分...

2018-04-22 23:06:19

阅读数 1635

评论数 0

scipy.sparse.hstack vstack

首先格式是符合 coo_matrix 才能使用sparse进行拼接。 hstack : 将矩阵按照列进行拼接 from scipy.sparse import coo_matrix, hstack,vstack A = coo_matrix([[1, 2], [3, 4]]) print(A...

2018-04-22 22:37:51

阅读数 2666

评论数 0

基于sklearn 的one hot encoding

1.one hot编码的由来 在实际的应用场景中,有非常多的特征不是连续的数值变量,而是某一些离散的类别。比如在广告系统中,用户的性别,用户的地址,用户的兴趣爱好等等一系列特征,都是一些分类值。这些特征一般都无法直接应用在需要进行数值型计算的算法里,比如CTR预估中最常用的LR。那针对这种情况最...

2018-04-22 21:11:23

阅读数 174

评论数 0

vim清空文件所有内容

在使用vim编辑器的时候,有时候编辑一个文件,而文件内容比较多,如果需要快速清空整个文件,可以使用一下命令: 在命令模式下,首先执行 gg 这里是跳至文件首行 再执行:dG 这样就清空了整个文件! 还有一种方法就要退出VIM,然后使用echo >>...

2018-04-21 10:57:43

阅读数 8373

评论数 1

通过Pandas读取大文件

当数据文件过大时,由于计算机内存有限,需要对大文件进行分块读取: import pandas as pd f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv') reader = pd.read_csv(f, sep=',', iterator=T...

2018-04-19 18:05:01

阅读数 629

评论数 0

pandas对列数据进行处理,将Nan变为0,将str变为0

test.csv文件内容: 1,2, 1,54 89,5 6,7,9 代码: import pandas as pd import numpy as np import re def format(x): value = re.compile(r'^\s*[-+]*[0-9]...

2018-04-19 17:54:28

阅读数 5231

评论数 0

TensorFlow保存和加载训练模型

对于机器学习,尤其是深度学习DL的算法,模型训练可能很耗时,几个小时或者几天,所以如果是测试模块出了问题,每次都要重新运行就显得很浪费时间,所以如果训练部分没有问题,那么可以直接将训练的模型保存起来,然后下次运行直接加载模型,然后进行测试很方便。 在tensorflow中保存(save)和加载(...

2018-04-18 00:04:46

阅读数 497

评论数 0

python数据分析之numpy初始化

以下都用numpy的标准“import numpy as np” 1.numpy是同构数据多维容器,同构即数据类型相同 2.初始化: 2.1 np.arange([start,] end [, step])#与list的range相似 >&...

2018-04-18 00:02:49

阅读数 160

评论数 0

numpy做矩阵运算

矩阵运算 论numpy中matrix 和 array的区别: http://blog.csdn.net/vincentlipan/article/details/20717163 matrix 和 array的差别: Numpy matrices必须是2维的,但是 numpy array...

2018-04-17 23:57:56

阅读数 181

评论数 0

feed_dict tf 报错提示ValueError: setting an array element with a sequence.

print (sess.run(output,feed_dict={input1:[[1.0,2.0,3.0]],input2:[[2.0],[3.0],[4.0]]}))就能运行. 错误原因: feed_dict格式本身不能用tf.constant赋值的或者tf.get_variable赋值。

2018-04-17 18:18:29

阅读数 862

评论数 0

机器学习心得

神经网络为什么具有对非线性关系进行建模的能力? 1.每个神经元会先应用一个非线性激活函数。正是由于这个激活函数,神经网络具有对非线性关系进行建模的能力 持续更新中….. ...

2018-04-17 01:26:19

阅读数 124

评论数 0

python 实现 机器学习(周志华) 参考答案 第五章 神经网络 5.7 RBF 神经网络

#-*- coding:utf-8 -*- import re import xlrd import xdrlib,sys import xlwt import datetime import time import numpy as np def rand(a, b): #返回a 行 n 列 ...

2018-04-16 00:19:36

阅读数 188

评论数 0

HADOOP基本操作命令

HADOOP基本操作命令 在这篇文章中,我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭 启动HADOOP 1. 进入HADOOP_HOME目录。 2. ...

2018-04-14 12:20:27

阅读数 48

评论数 0

Java去除字符串中的空格

特别注意了 Strim或者Trip都是只能去除头部和尾部的空字符串。中间的部分是不能够去除的! 推荐使用ApacheCommonse的StringUtils.deleteWhitespace(“a b c”); 删除所有空格。 如果我自己写,我会采用foreache遍历每一个字符串中的字符然...

2018-04-14 12:12:44

阅读数 50

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭