自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 pandas的Datafram与numpy数组之间如何转换

首先:导库再说 import pandas as pd import numpy as np 把Datafram转换成数组:array = Dataframe_Name.values 把数组转换为Datafram: df = pd.Dataframe(array)

2019-06-09 21:54:08

阅读数 750

评论数 0

原创 再次Pyinstaller犯错之旅

总觉得Pyinstaller这个包挺好用,这不,今天又用上了 之前写过一些脚本来优化办公和一些杂事,比如一些刷课之类得小程序,今天是要打包一个GUI程序。 程序中用到了pandas、jieba、numpy、tkinter(不要问我为什么用tkinter,因为PtQt5得坑我还没有踩完!) 最...

2019-04-24 17:34:27

阅读数 291

评论数 9

原创 使用xshell连接linux之后出现/usr/bin/xauth: error in locking authority file /home/*/.Xauthority,只读文件系统 的解决方法

重启解决,我的一重启就解决了,我也很奇怪,上一次出现这个情况还是因为anaconda里的jupyter造成的,具体忘记了;这次是把默认启动方式设置为命令行启动之后,重启就解决了emmmm ...

2019-11-17 23:03:55

阅读数 8

评论数 0

原创 centos7下hadoop2.7.7--HA高可用全分布式搭建

一、概述 (1)hadoop-HA集群运作机制介绍   所谓HA,即高可用(7*24小时不中断服务)   实现高可用最关键的是消除单点故障   hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA (2)HDFS的HA机制详解   通过双namenode消除单点故...

2019-11-15 22:22:11

阅读数 5

评论数 0

原创 centos7下使用mysql.....tar.gz包安装mysql

软件: mysql-5.7.27-el7-x86_64.tar.gz 安装依赖: shell> yum search libaio # search for info shell> yum install libaio # install library 1.检查...

2019-11-15 22:00:09

阅读数 2

评论数 0

原创 关于Vmware下克隆centos7之后修改配置的方案

克隆之后由于是完全的克隆过来的Linux所以需要更改这几项:操作系统物理地址、IP地址、主机名、uuid。 使用vi命令删除网卡中的UUID和物理地址两行(这两行在Linux重启之后,操作系统会自动生成的,如果不进行更改会造成IP冲突),同时更改一个新的IP地址; vi /etc/sysconfi...

2019-11-15 10:44:30

阅读数 5

评论数 0

原创 linux与windows下java环境变量配置

window下: 新增系统变量: CLASSPATH .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar JAVA_HOME E:\Java\jdk1.8.0_202 系统path变量增加子变量: %JAVA_HOME%\bin\ 和 %JAVA_HOME...

2019-11-11 12:35:19

阅读数 3

评论数 0

原创 Vmware下Centos7配置静态IP

我的VMware: 网关:192.168.77.2 子网IP:192.168.77.0 掩码:255.255.255.0 1、vim /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR=192.168.77.7 IP地址 NETMASK=255.2...

2019-11-10 20:39:41

阅读数 3

评论数 0

原创 特征选择

一、什么是特征选择? 特征选择是对 根据所研究的问题 的 数据 根据数据字段与标签或者结果之间的相关程度进行选择,是效率(所研究问题的数据对问题结果的有效影响)达到最大化。 二、为什么要进行特征选择? 维度灾难 - 过度拟合 : 一般经验是当数据中的列数多于行数,可能会对模型产生不好的影响,即...

2019-10-24 21:58:34

阅读数 66

评论数 0

翻译 了解自编码器

1.什么是自编码器? 自动编码器是一种无监督的机器学习算法,该算法将图像作为输入并使用较少的位数来重建它。这听起来像是图像压缩,但是自动编码器和通用图像压缩算法之间的最大区别在于,在自动编码器的情况下,压缩是通过学习训练数据集来实现的。当图像类似于所使用的训练集时,虽然可以实现合理的压缩,但是自动...

2019-10-24 21:04:45

阅读数 40

评论数 0

翻译 概览激活函数-深度学习

一、什么是激活函数? 典型神经元的物理结构包括细胞体(cell body)、向其他神经元发送信号的轴突(axon)和接收其他神经元发送的信号或信息的树突(dendrites)。 上图中,红色圆圈代表两个神经元交流的区域。神经元通过树突接收来自其他神经元的信号。树突的权重叫作突触权值(synapt...

2019-10-24 20:33:19

阅读数 35

评论数 0

转载 深度学习笔记-收录

1. 训练误差和泛化误差 对于机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数,你也许发现了:当模型在训练数据集上更准确时,它在测试数据集上却不⼀定更准确。这是为什么呢? 因为存在着训练误差和泛化误差: 训练误差:模型在训练数据集上表现出的误差。 泛化误差:模型...

2019-10-24 20:27:56

阅读数 51

评论数 0

原创 关于Centos7防火墙命令使用

查看防火墙状态。得到结果是running或者not running firewall-cmd --state 在running 状态下,向firewall 添加需要开放的端口: 比如: firewall-cmd --permanent --zone=public --add-port=80/tc...

2019-10-22 21:59:25

阅读数 8

评论数 0

原创 Hbase javaAPI基础操作

首先,main函数如下: public static void main(String[] arg) throws Exception { Configuration conf = new Configuration(); //给conf设置地址与操作用户 ...

2019-10-22 21:56:47

阅读数 10

评论数 0

原创 Hbase shell过滤操作

Get 和 Scan 操作都可以使用过滤器来设置输出的范围,类似于 SQL 里面的 Where 查询条件。使用 show_filters 命令可以查看当前 HBase 支持的 过滤器类型。 show_filters 使用过滤器的语法格式: scan '表名',{Filter => ...

2019-10-22 21:53:31

阅读数 55

评论数 0

原创 Hbase shell基础操作

一、数据定义命令【表级别的操作、数据库级别的操作】 1.输入以下命令进入hbase控制台: hbase shell 2.查看所有的表: list 3.create创建表: create 'TestLab',{NAME=>'lUE’},VERSIONS=>3},{NA...

2019-10-22 21:49:42

阅读数 11

评论数 0

原创 python装饰器-总结一下

装饰器放在一个函数开始定义的地方,它就像一顶帽子一样戴在这个函数的头上。和这个函数绑定在一起。在调用这个函数的时候,第一件事并不是执行这个函数,而是将这个函数做为参数传入它头顶上这顶帽子,这顶帽子称之为 装饰器 。 实际上,装饰器并不是编码必须性,意思就是说,你不使用装饰器完全可以,它的出现,应该...

2019-10-22 20:58:31

阅读数 21

评论数 0

原创 HDFS shell基础操作

一、操作命令 HDFS的操作命令是以"hdfs dfs"开头的命令,其中hdfs是Hadoop系统在Linux系统中的主命令,dfs是子命令,用户通过命令可以完成hdfs文件的复制、移动、查找、删除等操作,HDFS Shell命令的一般格式如下: hdfs dfs [通用选项]...

2019-10-22 12:06:05

阅读数 8

评论数 0

原创 KNN-简单方法实现---《Python3机器学习与实战》总结+案例

KNN-简单方法实现,未总结KD树。 k-近邻算法是通过测量不同特征值之间的距离进行分类的。基本思路是:如果一个样本在特征空间中的k个最近邻样本中的大多数属于某一个类别,则该样本也属于这一个类别。该方法在决定类别上只依据最近的一个或几个样本的类别来决定待分类样本所属的类别,在KNN中所选择的邻居都...

2019-10-21 21:15:31

阅读数 10

评论数 0

原创 笔记: 常用数据预处理总结

数据清理 主要使将数据中缺失的值补充完整、消除噪声数据、识别和删除离群点并解决不一致性。 主要达到目标是:将数据格式标准化、异常数据清楚、错误纠正、重复数据的清楚 1.异常数据处理 寻找异常数据: 使用统计量进行判断:设有一个合理的范围,如果某个数据远远的超出其它数据,那么这个数据或者这些个...

2019-10-21 20:32:01

阅读数 10

评论数 0

提示
确定要删除当前文章?
取消 删除