大数据机器学习

转载 hive-site.xml修改之后不生效与一些beeline，hiveserver2的报错

这个是说关于hive.metastore.ds.retry.*这些配置已经不起作用，使用hive.hmshandler.retry.*来配置，这也是版本迭代更新的问题，不过警告在测试环境中，一般来说是没什么太大关系的，但是真实开发还是要好好关注下是什么情况。解释：如果你是用默认的配置文件，hive会连接自带的derby数据库，会在hive的根目录下生成derby.log这个日志文件，并且当启动两个bin/hive的时候，就会报错（如果是mysql就不会）它总是加载默认的配置文件，很烦。

原创 rpm安装的mysql8，密码忘了，重置密码

1.打开/etc/my.cnf在【mysqld】下添加skip-grant-tables2.重启服务 service mysqld restart3. 直接登录 mysql -uroot -p(mysql>中运行)4.刷新 flush privileges；5.运行use mysql；6.清空密码update user set authentication_string = '' where user = 'root';7.设置密码ALTER USER.

转载 linux中添加php7中的gd库

1、下载https://www.php.net/distributions/php-7.4.9.tar.gz2、准备（应该有多余的库）yum -y install patch gd-devel libxml2-devel libmcrypt-devel openldap-devel mhash-devel curl-devel libpng-devel libjpeg-devel freetype-devel sqlite-devel oniguruma-devel zlib-devel

原创 centos7 中php7 安装mysqli,mbstring扩展

1.安装mbstring 扩展：1.1安装依赖库yum install -y oniguruma oniguruma-devel1.2进入/usr/local/php-7.4.19/ext/mbstring目录运行/usr/local/php7/bin/phpize 生成configure,再运行：./configure --with-php-config=/usr/local/php7/bin/php-configmakemake install在/usr/local/ph..

原创 centos7 安装 php7

1.安装依赖库，安装好apache等yum -y install libxml2yum -y install libxml2-develyum -y install sqlite-devel2.下载phpphp-7.4.19.tar.gz3.解压tar -zxvfphp-7.4.19.tar.gz -C /usr/local4.进入php-7.4.19文件夹./configure --prefix=/usr/local/php7 --with-apxs2=/u...

转载 centos7安装Apache2.4

准备安装包：　　　apache安装之前，需要安装APR、APR-Util和PCRE依赖包，因为apache是依赖于它们的。具体下载地址如下　　APR和APR-Util：http://apr.apache.org/download.cgi　　PCRE：http://sourceforge.net/projects/pcre/files/pcre　　apache的下载地址为： http://httpd.apache.org/download.cgi　　笔者下载的版本具体为,...

转载 VSCode配置PHP开发环境 - Xdebug3

前言：网上参考了很多安装配置教程，最后都无法在vscode中断点调试，最终发现是Xdebug3.x版配置项更新了，和Xdebug2.x版配置项名称差异比较多，特写此文帮助大家一、下载XAMPP，安装XAMPP下载地址官网下载：https://www.apachefriends.org/zh_cn/download.html我下载的是 7.4.15版(xampp-portable-windows-x64-7.4.15-0-VC15-installer.exe)。安装过程中根据自己的需求选择安

转载 CentOS7安装MySQL8

1.下载 MySQL 所需要的安装包网址：https://dev.mysql.com/downloads/mysql/2.Select Operating System: 选择 Red Hat ，CentOS 是基于红帽的，Select OS Version: 选择 linux 73.选择 RPM Bundle 点击 Download4.点击No thanks, just start my download. 进行下载5.下载好了6.打开 VMware，选中要使用的...

转载 github或gitee上的laravel项目下载安装

首先是需要有 php 的环境；phpstudy配置虚拟主机及开启扩展 ;然后需要 composer ；下面都以 laravel-bjyblog 作为示例讲解；我们可以通过两种方式下载；可以直接 Download ZIP 下载 zip 压缩包；这种方式是只下载项目文件比较快；或者使用命令行把项目 clone 到本地；git clone https://github.com/baijunyao/laravel-bjyblog.git这种方式可以将项目的历史开发记录也都 clone 下来；以后

原创 php7.1开启mysqli扩展步骤

第一，确保你的PHP7已经安装好，并且PHP7与Apache之间的相关文件配置也搞定了，第二，下载好mysql的安装包，DOS窗口安装好mysql服务，好，mysql也安装好了，接下来讲PHP7与mysql文件如何配置文件配置：首先，打开php.ini文件，配置mysql：;extension_dir="ext"全部去掉前面的分号；如果有，就把前面的分号去掉，保存，重启Apache。第三：测试PHP是否能加载mysqli模块：在Apache的htdocs目录下，新建inf.

转载 关于overflow:hidden的作用（溢出隐藏、清除浮动、解决外边距塌陷等等）

一. overflow:hidden溢出隐藏给一个元素中设置overflow:hidden，那么该元素的内容若超出了给定的宽度和高度属性，那么超出的部分将会被隐藏，不占位。一般情况下，在页面中，一般溢出后会显示省略号，比如，当一行文本超出固定宽度就隐藏超出的内容显示省略号。二. overflow:hidden清除浮动一般而言，父级元素不设置高度时，高度由随内容增加自适应高度。当父级元素内部的子元素全部都设置浮动float之后，子元素会脱离标准流，不占位，父级元素检测不到子元素的高...

转载 Mysql 数据库查询和修改引擎

一 Mysql引擎Mysql有很多的表引擎，其中最常用的是MyISAM和InnoDB在说上面InnoDB的时候没有说删除，是因为InnoDB在处理Delete的时候没有重新建立表，而是一行一行的删除。还有InnoDB也不支持全文索引。二 单表引擎修改首先去查询show engines; -- 查看该数据库下支持的存储引擎show variables like '%stora...

原创 CentOS7进单用户模式修改密码失败解决方法

Cent SO7 root用户密码忘记，修改完密码之后系统启动后一直停留在转圈的界面（CentOS GUI版）。启动的时候在出现一行错误：faild to load SELinux policy freezing，解决方法：CentOS7单用户模式修改密码：1.出现启动菜单时按e编辑此OS启动菜单2.找到linux16字段中ro字段,将ro字段改为rw init=/sysr...

转载 【CNN】理解卷积神经网络中的通道 channel

在深度学习的算法学习中，都会提到 channels 这个概念。在一般的深度学习框架的 conv2d 中，如 tensorflow 、mxnet，channels 都是必填的一个参数。channels 该如何理解？先看一看不同框架中的解释文档。首先，是 tensorflow 中给出的，对于输入样本中 channels 的含义。一般的RGB图片，channels 数量是 3 （红、绿、蓝）；而...

原创 pyspark安装及使用

1.spark单机安装1>.下载spark，解压2.配置环境变量~/.bashrcexport SPARK_HOME=/home/cpp/software/spark#export HADOOP_CONF_DIR= #export YARN_CONF_DIR=export PATH="/opt/anaconda3/bin:$PATH:/home/cpp/software/spark/bin"...

转载 Boosting（Adboost、GBDT、Xgboost）

转载：https://www.cnblogs.com/willnote/p/6801496.html前言本文为学习boosting时整理的笔记，全文主要包括以下几个部分：对集成学习进行了简要的说明给出了一个Adboost的具体实例对Adboost的原理与学习过程进行了推导针对GBDT的学习过程进行了简要介绍针对Xgboost的损失函数进行了简要介绍给出了Adboost实例在代码上的简单实现文中的内...

转载 GBDT 原理

转载:https://www.cnblogs.com/ModifyRong/p/7744987.html首先gbdt 是通过采用加法模型（即基函数的线性组合），以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。 gbdt的训练过程        我们通过一张图片，图片来源来说明gbdt的训练过程:                           图 1：GBDT 的训练过程    ...

转载 决策树（ID3、C4.5、CART、随机森林、GBDT）

转载：http://blog.csdn.net/gumpeng/article/details/513977371、决策树基本问题1.1 定义我们应该设计什么的算法，使得计算机对贷款申请人员的申请信息自动进行分类，以决定能否贷款? 一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：女儿：多大年纪了？母亲：26。女儿：长的帅不帅？母亲：挺帅的。女儿：收入高不？母亲：不算很高，中等情况。女儿：...

转载 SMO优化算法（Sequential minimal optimization）

转载：http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.htmlSMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A...

转载 SVM原理以及Tensorflow 实现SVM分类(附代码)

SVM原理以及Tensorflow 实现SVM分类(附代码)转：http://www.cnblogs.com/vipyoumay/p/7560061.html1.1. SVM介绍SVM（Support Vector Machines）——支持向量机是在所有知名的数据挖掘算法中最健壮，最准确的方法之一，它属于二分类算法，可以支持线性和非线性的分类。发展到今天，SVM已经可以支持多分类了，但在这一章里...

转载 机器学习问题总结

转：https://bbs.aliyun.com/read.php?spm=5176.100258.100258.8.733bpZaspZaskU&tid=294564&displayMode=1&page=1&toread=1#tpc朴素贝叶斯P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)所以有：P(A|B)=P(B|A)*P(A)/P(B)对于给出的待分类

原创 windows 安装xgboost

https://www.lfd.uci.edu/~gohlke/pythonlibs/点击打开链接根据自己系统选择对应的文件。我自己的是win 64位，anaconda3默认的python3.6环境，所以选择的最后一个。下载下来之后把文件保存在一个文件夹中，如 D:\Anaconda3\mywhl。mywhl是在Anaconda3文件夹下自定义的一个文件夹。接下来启动 An

原创 jupyter notebook 如何修改工作路径

1.cmd下输入jupyter notebook --generate-config，会显示jupyter_notebook_config.py的完整路径打开jupyter_notebook_config.py，修改c.NotebookApp.notebook_dir为自己的目录 c.NotebookApp.notebook_dir = u'D:\\jupyter_workspace' 2.点击j...

转载 SVM 原理通俗讲解-1

转自：http://www.blogjava.net/zhenandaci/category/31868.html（一）SVM的简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建

转载 python2.x中函数在python3.x中的改动方法

一、pickle函数python2.x中：fw=open(filename,'w')和fr=open(filename,'r')，python3.x中：fw=open(filename,'wb')和fr=open(filename,'rb')。二、dict.keys()在python2.x中，dict.keys()返回一个列表，在python3.x中，dict.keys()返回

转载 tensorflow 知识点：

1.TensorFlow中的onehot有什么作用，为什么要使用onehot向量呢？TensorFlow导入数据的时候会令one_hot=True,为什么要这样做呢？onehot向量究竟是什么？考虑多类情况。非onehot，标签是类似0 1 2 3...n这样。而onehot标签则是顾名思义，一个长度为n的数组，只有一个元素是1.0，其他元素是0

原创 pandas.DataFrame.to_csv

pandas.DataFrame.to_csvDataFrame.to_csv(path_or_buf=None, sep=’, ’, na_rep=”, float_format=None, columns=None, header=True, index=True, index_label=None, mode=’w’, encoding=None, compression=None,

原创 pandas小数精度

Parameters:decimals : int, dict, SeriesNumber of decimal places to round each column to. If an int is given, round each column to the same number of places. Otherwise dict and Series round t

转载 pandas.read_csv参数详解

读取CSV（逗号分割）文件到DataFrame也支持文件的部分导入和选择迭代更多帮助参见：http://pandas.pydata.org/pandas-docs/stable/io.html参数：filepath_or_buffer : str，pathlib。str, pathlib.Path, py._path.local.LocalPath or any o

原创 numpy 随机数种类np.random.RandomState、np.random.rand、np.random.random、np.random_sample

0. np.random.RandomState计算机实现的随机数生成通常为伪随机数生成器，为了使得具备随机性的代码最终的结果可复现，需要设置相同的种子值；np.random.randn(…) ⇒ rng = np.random.RandomState(123)rng.randn(…)1. np.random.uniform()首先从numpy.rand

原创 xgboost使用步骤

1.user_index, training_data, label = make_train_set(train_start_date, train_end_date, test_start_date, test_end_date)X_train, X_test, y_train, y_test = train_test_split(training_data.values, labe

原创 numpy知识

使用numpy前需要先导入import numpy一、建立矩阵直接建立a = numpy.array([[1,2,3],[4,5,6],[7,8,9]])b = numpy.array([[1,2], [3,4]], dtype=complex )从tuple建立a = [[1,2,3],[4,5,6],[7,8,9]]b = numpy.array(a)

原创 xgboost 参数

XGBoost的参数XGBoost的作者把所有的参数分成了三类：1、通用参数：宏观函数控制。2、Booster参数：控制每一步的booster(tree/regression)。3、学习目标参数：控制训练目标的表现。在这里我会类比GBM来讲解，所以作为一种基础知识。通用参数这些参数用来控制XGBoost的宏观功能。1、booster[默认gbtree

原创 安装 scikit-learn

原创 python知识小结

1.当axis=0时，是把函数作用到每一列上，实质是列当axis=1时，是把函数作用到每一行上，实质是行2.

原创 centos6 安装 xgboost0.6

1.下载xgboost 的源码，解压。如果最新版不能安装，就试试老版本。（0.60版本在centos6上安装很麻烦，在这里安装0.47版本，如果是Centos7可以安装最新版本，因为最新版本xgboost 需要使用c++4.6以上版本，centos6 yum安装的是4.4版本）[root@server1 redhat]# wget https://github.com/dmlc/xgb

原创 安装python插件 pandas，matplotlib 等及问题

1.安装pandaspip install pandas -i http://pypi.douban.com/simple --trusted-host pypi.douban.com2.安装matplotlibpip install matplotlib -i http://pypi.douban.com/simple --trusted-host pypi.doub

原创 tensorflow1.1 和python3.5.3安装

一 。安装python3.5.31.安装tkinter（不需要这个模块的不用安装，import matplotlib.pyplot 需要此模块）下载ActiveTcl-8.5    tar -zxvf   ActiveTcl8.5.18.0.298892-linux-x86_64-threaded.tar.gz 解压进入文件夹  执行./install.sh  路径安装在/opt/ActiveTc...

转载 hive 加载数据跳过行首和行尾

有时候用hive读取外表数据时，比如csv这种类型的，需要跳过行首或者行尾一些和数据无关的或者自动生成的多余信息，这里可以用属性设置来实现，快速mark下，建表的时候设置如下Create external table testtable (name string, message string) row format delimited fields terminated by

原创 maven添加本地jar

将jar包随便放在一个地方，shift+右键打开cmd，执行：mvn install:install-file -Dfile=ojdbc6.jar(jar名字) -DgroupId=com.oracle -DartifactId=ojdbc6 -Dversion=11.2.0.4 -Dpackaging=jar参考maven配置：com.orac