- 博客(18)
- 资源 (28)
- 收藏
- 关注
RSS订阅原创 03_TF2 Guide、文档清单（数据输入、估计器、保存模型、加速器、性能调优等）、TF2库和扩展库（TensorBoard、数据集、TensorFlow Hub、概率和统计分析库、图像处理库）
对应位置：https://tensorflow.google.cn/guide1、TensorFlow GuideTensorFlow 2关注于简单性和易用性,更新快速、直观的高级API，在任何平台上的灵活构建。一些guide直接以Jupyter notebooks编写，并且直接在Google Colab（一个不需要设置的托管的notebook环境）上运行。在Google Colab按钮上点击运行。1.1 必要的文档有（以下英文地址将在后续替换成笔者博文）1、安装TensorFlow(Instal
2020-05-27 00:47:28
432
原创 02_tensorflow2环境安装、CUDA 10.1 和CUDnn 7.6.5 版本安装、https://tensorflow.google.cn/overview中概述翻译
1、新手入门1.1 介绍简介本章的目的是让你了解和运行 TensorFlow!在开始之前, 让我们先看一段使用 Python API 撰写的 TensorFlow 示例代码, 让你对将要学习的内容有初步的印象.这段很短的 Python 程序生成了一些三维数据, 然后用一个平面拟合它....
2020-05-26 20:36:34
1218
2
转载 01_关于TensorFlow、什么是数据流图（Data Flow Graph）、TensorFlow的特征、谁可以使用Tensorflow、为啥Google要开源这个神器？
1 关于TensorFlowTensorFlow™ 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。TensorFlow 最初由Google大脑小组（隶属于Google机器智能研究机构）的研究员和工程师们开发出来，用于机器学习和深度神经网络
2020-05-25 01:00:35
2130
原创 16_非监督学习、k-means 4阶段、kmeans API、Kmeans性能评估指标、案例
1、聚类算法介绍关于聚类算法，可以查看：常见的六大聚类算法2、k-means 4阶段K-means通常被称为劳埃德算法，这在数据聚类中是最经典的，也是相对容易理解的模型。算法执行的过程分为4个阶段。1.首先，随机设K个特征空间内的点作为初始的聚类中心。2.然后，对于根据每个数据的特征向量，从K个聚类中心中寻找距离最近的一个，并且把该数据标记为这个聚类中心。3.接着，在所有的数据都被标记过聚类中心之后，根据这些数据新分配的类簇，通过取分配给每个先前质心的所有样本的平均值来创建新的质心重,新对K个
2020-05-24 23:07:23
691
转载 常见的六大聚类算法：转自：https://blog.csdn.net/Katherine_hsr/article/details/79382249
1、K-Means(K均值)聚类算法步骤：(1) 首先我们选择一些类/组，并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。(2) 计算每个数据点到中心点的距离，数据点距离哪个中心点最近就划分到哪一类中。(3) 计算每一类中中心点作为新的中心点。(4) 重复以上步骤，直到每一类中心在每次迭代后变化不大为止。也可以多次随机初始化中心点，然后选择运行结果最好的一个。下图演示了K-Means进行分类的过程：优点：速度快，计算简便
2020-05-24 20:55:57
954
原创 15_岭回归-Ridge、岭回归API、线性回归和岭回归的对别；逻辑回归、sigmoid函数、逻辑回归公式、损失函数、逻辑回归API、逻辑回归案例、逻辑回归的优缺点、逻辑回归 VS 线性回归等
1、岭回归岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。1.1 Ridge线性回归sklearn APIsklearn.linear_model.Ridgeclass sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True, normalize=False, copy_
2020-05-24 12:42:10
2507
原创 6、HIVE JDBC开发、UDF、体系结构、Thrift服务器、Driver、元数据库Metastore、数据库连接模式、单/多用户模式、远程服务模式、Hive技术原理解析、优化等(整理的笔记)
目录：5 HIVE开发5.1 Hive JDBC开发5.2 Hive UDF6 Hive的体系结构6.2 Thrift服务器6.3 Driver6.4 元数据库Metastore6.5 数据库连接模式6.5.1 单用户模式6.5.2 多用户模式6.5.3 远程服务模式7 Hive技术原理解析7.1 Hive工作原理7.2.1 Hive编译器的组成7.2.2 Query Compiler7.2.3新版本Hive也支持Tez或Spark作为执行引擎8 Hive优化5 HIVE
2020-05-23 21:55:31
1717
原创 5、HIVE DML操作、load数据、update、Delete、Merge、where语句、基于分区的查询、HAVING子句、LIMIT子句、Group By语法、Hive 的Join操作等
目录：4.2.1 Load文件数据到表中4.2.2查询的数据插入到表中4.2.3将Hive查询的结果存到本地Linux的文件系统目录中4.2.4通过SQL语句的方式插入数据4.2.5 UPDATE4.2.6 Delete4.2.7 Merge4.3.2WHERE子句4.3.4基于分区的查询4.3.5 HAVING子句4.3.6 LIMIT子句4.3.7 Group By语法4.3.7.1简单案例4.3.8 Select 语句和group by子句4.3.8.1 Multi-Gr
2020-05-23 21:16:57
1915
原创 4、Hive数据操作，DDL操作,CRUD database,CRUD table,partition,view,index,show命令等
4.1DDL操作4.1.1Create/Drop/Alter/Use Database4.1.1.1Create Database4.1.1.2Drop Database4.1.1.3Alter Database4.1.1.4Use Database4.1.2Create Table4.1.2.1内部表和外部表4.1.2.2Storage Formats4.1.2.3Create内部表，表分区4.1.2.4Create外部表（External Tables）4.1.2.5 Create
2020-05-22 11:31:27
1014
原创 14_过拟合与欠拟合,过拟合和欠拟合产生的原因以及解决办法，正则化，L1和L2
问题：训练数据训练的很好啊，误差也不大，为什么在测试集上面有问题呢？比如：
2020-05-19 20:13:05
2607
原创 13_线性回归分析、线性模型、损失函数、最小二乘法之梯度下降、回归性能评估、sklearn回归评估API、线性回归正规方程，梯度下降API、梯度下降 和 正规方程对比
1.线性回归1.1 线性模型试图学得一个通过属性的线性组合来进行预测的函数：1.2 定义定义：线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合。一元线性回归：涉及到的变量只有一个。多元线性回归：涉及到的变量两个或两个以上。要注意的是：预测结果与真实值是有一定的误差的。单变量：多变量：1.3 损失函数(误差大小)如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）缺点：当特征过于复杂，求解速
2020-05-18 21:26:03
1193
原创 12_信息熵，信息熵公式，信息增益，决策树、常见决策树使用的算法、决策树的流程、决策树API、决策树案例、随机森林、随机森林的构建过程、随机森林API、随机森林的优缺点、随机森林案例
1 信息熵以下来自：https://www.zhihu.com/question/22178202/answer/1617326051.2 信息熵的公式先抛出信息熵公式如下：1.2 信息熵信息量是对信息的度量，就跟时间的度量是秒一样，当我们考虑一个离散的随机变量x的时候，当我们观察到的这个变量的一个具体值的时候，我们接收到了多少信息呢？多少信息用信息量来衡量，我们接受到的信息量跟具体发生的事件有关。信息的大小跟随机事件的概率有关。越小概率的事情发生了产生的信息量越大，如湖南产生的地震了；越大
2020-05-14 20:55:59
2374
原创 Ranger中对hive添加policy字后，hive登录用户可用，hive密码不管用的问题解决，HiveServer2 Authentication Custom的编写
1、Ranger中对Hive的库、表、列进行授权在做Hive的访问权限控制的时候，Ranger中对hive中添加了如下Policy权限控制。配置方式如下：2、默认情况下，Ambari中hiveserver2的HiveServer2 Authentication默认是None,如下：所以发现在服务器上进行访问hive的时候（类似：hive -n userName -p pwd），发现pwd随便写，都可以进入hive中。这个显然是有问题的。为了解决上面的问题，这里，我们自己定义HiveServer2
2020-05-14 17:31:09
1817
2
原创 11_模型的选择与调优,交叉验证,超参数搜索-网格搜索sklearn.model_selection.GridSearchCV
1、交叉验证交叉验证：为了让被评估的模型更加准确可信。交叉验证：将拿到的数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次（组）的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。2、超参数搜索-网格搜索通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。3、超参数搜索-网格
2020-05-11 16:50:41
1072
原创 10_分类算法-朴素贝叶斯算法应用场景、联合概率和条件概率、朴素贝叶斯介绍、朴素贝叶斯公式、朴素贝叶斯模型流程、半朴素贝叶斯分类器、sklearn朴素贝叶斯实现API、拉普拉斯平滑、优缺点、面试题
1、应用场景1.1 垃圾邮件分类2、概率基础概率定义为一件事情发生的可能性问题：1、女神喜欢的概率？2、职业是程序员并且体型匀称的概率？3、在女神喜欢的条件下，职业是程序员的概率？4、在女神喜欢的条件下，职业是产品，体重是超重的概率？2.1 联合概率和条件概率以下主要来自：https://blog.csdn.net/sinat_30353259/article/deta...
2020-05-11 15:49:41
2594
原创 LDAP简介，基本模型，安装LDAP,安装和配置LDAP管理工具PHPldapadmin
目录OpenLDAP 1.1. OpenLDAP简介 1.2. LDAP的基本模型 1.2.1. 目录树概念 1.2.2. DC、UID、OU、CN、SN、DN、RDN 1.2.3. 基本模型 1.3. LDAP的使用 1.4. 相关网址 1.5. 安装OpenLDAP 1.5.1. 系统环境信息 1.5.2. 基础的环境准备 1.5.3. OpenLDAP服务器的搭建 1.5.4. 安装和配置LDAP管理工具PHPldapadmin1.OpenLDAP1.1.OpenLD
2020-05-11 15:28:17
7809
1
原创 mysql基于.frm和.ibd进行mysql数据恢复
1、场景数据库的.frm和.idb的文件进行数据恢复2、找到mysql的数据目录最终恢复成的数据如下：3、恢复前置：在新安装的mysql目下执行以下操作将/opt/mysql目录下的数据文件都移动到 另外的备份目录中：/opt/backup，经过这个步骤之后，在/opt文件夹下将为空4、数据恢复一、将所有的文件夹拷贝到/opt/mysql中，如上图的ambari，druid等二...
2020-05-08 14:21:55
529
转载 Apache Hive JdbcStorageHandler 编程入门指南
以下博文转载自：https://www.iteblog.com/archives/2525.htmlApache Hive 从 HIVE-1555 开始引入了 JdbcStorageHandler ，这个使得 Hive 能够读取 JDBC 数据源，关于 Apache Hive 引入 JdbcStorageHandler 的背景可以参见 《Apache Hive 联邦查询（Query Federa...
2020-05-07 17:11:38
1250
easyui资料
2014-02-22
17个在线编辑器，包括kindeditor，STEditor，HTMLArea3.0last20071025等
2012-07-22
二手购物网源码
2012-05-31
强大的购物网代码（java）
2012-05-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人