2018年04月_蓝鲸123

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Linux 系统下查看硬件信息命令大全

lscpu lscpu命令能够查看 CPU 和处理单元的信息。该命令没有任何其他选项或者别的功能。lscpu运行该命令会看到下面输出： lspci lspci是另一个命令行工具，可以用来列出所有的 PCI 总线，还有与 PCI 总线相连的设备的详细信息，比如 VGA 适配器、显卡、网络适配器、usb 端口、SATA 控制器等。lspci -v | grep “VGA” -A ...

2018-04-25 13:27:32 544

原创 windows Anaconda lightgbm 安装

更新：2018年4月25日测试，win和linux平台都可以通过pip install lightgbm安装最新的lightgbm了，现在版本是lightgbm-2.0.3。下载whlhttps://pypi.python.org/pypi/lightgbm/2.0.3安装拷贝到scripts目录下；运行pip install lightgbn-2.0.3-py2.py3-o...

2018-04-25 13:10:54 2178

原创 Linux下安装anaconda

1.下载（直接到清华镜像下载）下载链接：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/，选择合适的版本。 2.安装anaconda bash Anaconda3-4.3.1-Linux-x86.sh 安装完成之后要重启终端，anaconda才能生效。在安装的过程中，会问你安装路径，直接回车默认就可以了。有个地方问你......

2018-04-25 13:08:11 1990

原创 KMeans与深度学习自编码AutoEncoder结合提高聚类效果

特征是用户的消费商品的消费金额，原始数据（部分）是这样的：id,goods_name,goods_amount1,男士手袋,1882.02,淑女装,2491.03,淑女装,2492.02,女士手袋,345.04,基础内衣,328.05,商务正装,4985.05,时尚,969.05,女饰品,86.06,专业运动,399.06,童装（中大童),2033.06,男士配件,3...

2018-04-25 01:14:54 5570 2

原创 python 读取文件时报错UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multib

python读取文件时提示”UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x80 in position 205: illegal multibyte sequence”解决办法1. FILE_OBJECT= open(‘order.log’,’r’, encoding=’UTF-8’)解决办法2.FILE_OBJECT= op...

2018-04-25 01:10:17 1495 1

pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)[source]Two-dimensional size-mutable, potentially heterogeneous tabular data structure with labeled axes (rows and column...

2018-04-23 22:09:35 358

原创稀疏矩阵之python sparse实现

工程实践中，多数情况下，大矩阵一般都为稀疏矩阵，所以如何处理稀疏矩阵在实际中就非常重要。本文以python里中的实现为例，首先来探讨一下稀疏矩阵是如何存储表示的。1.sparse模块初探 python中scipy模块中，有一个模块叫sparse模块，就是专门为了解决稀疏矩阵而生。本文的大部分内容，其实就是基于sparse模块而来的。第一步自然就是导入sparse模块from s...

2018-04-22 23:06:19 10874 2

原创 scipy.sparse.hstack vstack

首先格式是符合 coo_matrix 才能使用sparse进行拼接。hstack ：将矩阵按照列进行拼接from scipy.sparse import coo_matrix, hstack,vstackA = coo_matrix([[1, 2], [3, 4]])print(A)B = coo_matrix([[5,7], [6,8]])print(hstack([A,B]...

2018-04-22 22:37:51 9012

转载基于sklearn 的one hot encoding

1.one hot编码的由来在实际的应用场景中，有非常多的特征不是连续的数值变量，而是某一些离散的类别。比如在广告系统中，用户的性别，用户的地址，用户的兴趣爱好等等一系列特征，都是一些分类值。这些特征一般都无法直接应用在需要进行数值型计算的算法里，比如CTR预估中最常用的LR。那针对这种情况最简单的处理方式是将不同的类别映射为一个整数，比如男性是0号特征，女性为1号特征。这种方式最大的优点就是...

2018-04-22 21:11:23 601

原创 vim清空文件所有内容

在使用vim编辑器的时候，有时候编辑一个文件，而文件内容比较多，如果需要快速清空整个文件，可以使用一下命令：在命令模式下，首先执行 gg 这里是跳至文件首行再执行：dG 这样就清空了整个文件！还有一种方法就要退出VIM，然后使用echo >> file ，这样也能快速清空文件内容。...

2018-04-21 10:57:43 33647 4

原创通过Pandas读取大文件

当数据文件过大时，由于计算机内存有限，需要对大文件进行分块读取：import pandas as pdf = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv')reader = pd.read_csv(f, sep=',', iterator=True)loop = TruechunkSize = 100000chunks = []whi...

2018-04-19 18:05:01 1774

原创 pandas对列数据进行处理，将Nan变为0，将str变为0

test.csv文件内容:1,2,1,54 89,56,7,9代码：import pandas as pdimport numpy as npimport redef format(x): value = re.compile(r'^\s*[-+]*[0-9]+\.*[0-9]*\s*$') if value.match(str(x)): #不是数字...

2018-04-19 17:54:28 14850

原创 TensorFlow保存和加载训练模型

对于机器学习，尤其是深度学习DL的算法，模型训练可能很耗时，几个小时或者几天，所以如果是测试模块出了问题，每次都要重新运行就显得很浪费时间，所以如果训练部分没有问题，那么可以直接将训练的模型保存起来，然后下次运行直接加载模型，然后进行测试很方便。在tensorflow中保存（save）和加载（restore）模型的类是tf.train.Saver()，其中变量保存的是key-value，不传参...

2018-04-18 00:04:46 767

转载 python数据分析之numpy初始化

以下都用numpy的标准“import numpy as np” 1.numpy是同构数据多维容器，同构即数据类型相同 2.初始化： 2.1 np.arange([start,] end [, step])#与list的range相似 >>> np.arange(10) array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) &gt...

2018-04-18 00:02:49 1083

转载 numpy做矩阵运算

矩阵运算论numpy中matrix 和 array的区别： http://blog.csdn.net/vincentlipan/article/details/20717163matrix 和 array的差别： Numpy matrices必须是2维的,但是 numpy arrays (ndarrays) 可以是多维的（1D，2D，3D····ND）. Matrix是Array的一...

2018-04-17 23:57:56 564

原创 feed_dict tf 报错提示ValueError: setting an array element with a sequence.

print (sess.run(output,feed_dict={input1:[[1.0,2.0,3.0]],input2:[[2.0],[3.0],[4.0]]}))就能运行.错误原因： feed_dict格式本身不能用tf.constant赋值的或者tf.get_variable赋值。

2018-04-17 18:18:29 2255

原创机器学习心得

神经网络为什么具有对非线性关系进行建模的能力？1.每个神经元会先应用一个非线性激活函数。正是由于这个激活函数，神经网络具有对非线性关系进行建模的能力持续更新中….....

2018-04-17 01:26:19 387

原创 python 实现机器学习(周志华) 参考答案第五章神经网络 5.7 RBF 神经网络

#-*- coding:utf-8 -*-import reimport xlrdimport xdrlib,sysimport xlwtimport datetimeimport timeimport numpy as npdef rand(a, b): #返回a 行 n 列（0,1）的随机数矩阵 A=np.zeros((a,b)) from random ...

2018-04-16 00:19:36 1393

转载 HADOOP基本操作命令

HADOOP基本操作命令在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP 1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 关闭HADOOP 1. 进入...

2018-04-14 12:20:27 262

原创 Java去除字符串中的空格

特别注意了Strim或者Trip都是只能去除头部和尾部的空字符串。中间的部分是不能够去除的!推荐使用ApacheCommonse的StringUtils.deleteWhitespace(“a b c”); 删除所有空格。如果我自己写，我会采用foreache遍历每一个字符串中的字符然后利用StringBuilder追加或者使用 Replace进行替换，替换的时候对于多个空格可能匹配...

2018-04-14 12:12:44 421

原创 BufferedImage与byte[]互转

一、需要用到的类java.awt.image.BufferedImage;javax.imageio.ImageIO;java.io.*;二、为什么要将BufferedImage转为byte数组在传输中，图片是不能直接传的，因此需要把图片变为字节数组，然后传输比较方便；只需要一般输出流的write方法即可；而字节数组变成BufferedImage能够还原图像；三、如何取...

2018-04-14 12:10:07 1578

原创 java中判断文件是否是图片文件

使用Image读取文件时，如果是非图像文件，则会返回null。参考代码： try { Image=ImageIO.read(new File(name)); if (image == null) { valid = false; System.out.println("The file"+name+"could not ...

2018-04-14 12:08:11 2188

原创在HttpClient请求的时候，返回结果解析时出现java.io.IOException: Attempted read from closed stream. 异常，解决

原因是EntityUtils.toString(HttpEntity)（或者EntityUtils.toByteArray(））方法被使用了多次。所以每个方法内只能使用一次。

2018-04-14 12:07:13 1856 1

原创 HttpClient获取响应状态Status

HttpClient获取响应状态Status我们HttpClient向服务器请求时，正常情况执行成功返回200状态码，不一定每次都会请求成功，比如这个请求地址不存在返回404服务器内部报错返回500有些服务器有防采集，假如你频繁的采集数据，则返回403 拒绝你请求。这个获取状态码，我们可以用 CloseableHttpResponse对象 getStatusL...

2018-04-14 12:06:22 4861

转载 Java发送Http请求并获取状态码

通过Java发送url请求，查看该url是否有效，这时我们可以通过获取状态码来判断。try { URL u = new URL("http://10.1.2.8:8080/fqz/page/qizha/pros_add.jsp"); try { HttpURLConnection uConnection = (HttpURLConnection) u.op...

2018-04-14 12:04:38 7838

转载 java List<String>的初始化

List< String> name = new ArrayList();name.add(“xxx”);name.add(“yyy”);name.add(“zzz”);这样的方法似乎有点蠢，于是默默搜了下java listhttps://docs.oracle.com/javase/7/docs/api/java/util/List.html这个是list的官...

2018-04-14 12:02:02 1336

原创 Ubuntu终端Terminal常用快捷键暂停屏幕输出

快捷键功能 Tab 自动补全 Ctrl+a 光标移动到开始位置 Ctrl+e 光标移动到最末尾 Ctrl+k 删除此处至末尾的所有内容 Ctrl+u 删除此处至开始的所有内容 Ctrl+d 删除当前字符 Ctrl+h 删除当前字符前一个字符 Ctrl+w 删除此处到左边的单词 Ctrl+y 粘贴由 Ctrl+u ， Ctrl+d ， Ctrl+w 删除的单词 ...

2018-04-13 17:41:37 11880

转载 Java正则表达式匹配模式[贪婪型、勉强型、占有型]

对于这三种匹配模式也有叫： “最大匹配Greedy”“最小匹配Reluctant”“完全匹配Possessive”。现在将我对这三种匹配模式的理解写出来，并提供一些例子供大家参考。1、Greediness（贪婪型）：最大匹配X?、X*、X+、X{n，}都是最大匹配。例如你要用“<.+>”去匹配“a<tr>aava </tr>abb”，也许你所期待的结果...

2018-04-13 00:16:26 1188

转载 Java中比较两个字符串是否相等的问题

Java中，关于比较两个字符串是否相等的问题，经常会出现。下面将分析使用 ==（注意：Java中 = 是赋值运算符，== 是比较是否相等）和 equals()方法来比较两个字符串相等的区别：　　简单一句话，==比较的是两个字符串的地址是否为相等（同一个地址），equals()方法比较的是两个字符串对象的内容是否相同（当然，若两个字符串引用同一个地址，使用equals()比较也返回true）...

2018-04-13 00:08:47 1010

原创 java正则表达式转义和反斜杠

在其他语言中，\ 表示：我想要在正则表达式中插入一个普通的（字面上的）反斜杠，请不要给它任何特殊的意义。java中转义是:\\ 在 Java 中，\ \表示：我要插入一个正则表达式的反斜线，所以其后的字符具有特殊的意义。所以，在其他的语言中（如Perl），一个反斜杠 \ 就足以具有转义的作用，而在 Java 中正则表达式中则需要有两个反斜杠才能被解析为其他语言中的转义作用。也可以简单的理...

2018-04-12 23:55:27 5205 1

原创 Intellij IEDA: the working directory does not exist

1.首先找到打开设置Run -> Edit Configurations 2.在Working Directory中输入 . 其中. 代表当前路径

2018-04-12 16:58:07 4338

原创 HDFS：如何复制文件

hadoop复制文件 hadoop fs -cp /user/merge /user/search 上面的命令将merge文件下面的所有文件（包括merge文件夹）复制到search目录下。

2018-04-12 16:54:54 13371

转载 HDFS：如何将文件从HDFS复制到本地

下面两个命令是把文件从HDFS上下载到本地的命令。get使用方法：Hadoop fs -get [-ignorecrc] [-crc]复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。示例：hadoop fs -get /user/hadoop/file localfilehadoop fs -get hd...

2018-04-12 16:52:31 8994

原创邮件交换器记录（MX）的使用

首先，邮件交换器记录（MX）肯定是和邮件服务有关的，但并不是所有的邮件服务都需要用到它。下面举例说明：假设一、用户安装花生壳的计算机就是一台邮件服务器。那么这种情况下，用户不需要为他的邮件服务添加邮件交换器记录（MX）。当用户在线时用户就能自由的收发信件。收发邮件时所用的POP3和SMTP服务器都指向自己的域名即可。注意：当用户离线时所有当时发往该域的邮件都会丢失！假设二、...

2018-04-08 19:38:28 3299

原创 mysql查询结果输出到文件

mysql查询结果导出/输出/写入到文件方法一：直接执行命令：mysql> select count(1) from table into outfile '/tmp/test.xls';Query OK, 31 rows affected (0.00 sec) 在目录/tmp/下会产生文件test.xls 遇到的问题： mysql> select coun...

2018-04-04 09:57:40 3496

原创 SMTP具体发信的步骤

1、SMTP协议是基于TCP/IP协议的，所以通讯开始要进行tcp握手。2、SMTP服务器向javamail客户端发送 S: 220 163.com Anti-spam GT for Coremail System (163com[20141201])，表示服务器准备就绪。3、客户端发送C: EHLO ZGC-20120415XGV交换身份信息，打开通道。ZGC-20120415XGV是客...

2018-04-03 20:59:41 1813

转载什么是安全证书，访问者到底是怎么校验安全证书的，服务端返回安全证书后，客户端再向谁验证呢？

使用openssl实现ssl连接，有涉及到ssl证书。 https的作用有三：1加密传输 2认证 3数据完整性 ssl证书的主要是用来做认证和加密。大多数证书基于 X.509 v3 证书标准。下面以一次ssl连接进行说明。比如客户端要认证服务器，服务器怎么证明自己是真实的服务器，而不是钓鱼网站呢？这需要服务器有个证书。证书包含以下信息：使用者的公钥值。使用者标识...

2018-04-03 20:45:48 1550

原创 spring boot 访问服务器的文件

如果想要访问根目录下面 upload文件夹的图片文件？通过网页的url如何访问呢？http://127.0.0.1:80/static/foo.jpg通过配置application.properties Spring Boot 会自动扫描classpath下的application.properties文件，如果有就加载文件配置在添加下面的配置：#############...

2018-04-03 12:22:55 5635