自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(34)
  • 资源 (3)
  • 收藏
  • 关注

原创 2021-06-23

Tensorflow2程序设计案例1.单层神经网络-Fashion-MNIST1.1目标与步骤本题完成解析图片识别时尚衣服单品的功能,以此达到或者掌握Tensorflow2的单层神经网络的知识点。实施步骤如下:1:准备数据如数据源所示,据由一些图片构成,里面的内容是时尚单品;2:利用Tensorflow2单层神经网络推断出图片分类代表0-9中的哪个类别,首先收集导入Tensorflow2的支持,加载数据集,浏览数据,预处理数据,构建模型,编译模型,训练模型,评估模型,预测模型,详细代码见5.1

2021-06-23 23:07:00 353

原创 Mysql之表操作

4.表操作1.数据库设计​ 系统设计中一个重要的环节就是数据库设计.​ 数据库设计的时候需要先进行数据建模(实体关系图 E-R图)​ 数据建模的依据就是前期所做的需求分析​ 实体-关系图(Entity Relationship Diagram),也称为E-R图,提供了表示实体、属性和关系的方法,用来描述现实世界的概念模型。​ 构成E-R图的基本要素是实体、属性和关系​ 实体(Entity):实体用来表示具有相同特征和性质的事物(类似于java的类),实体由实体名和实体属性来表示。​ 属

2021-06-16 22:37:37 363

原创 Mysql之安装配置、基本操作

Mysql数据库1.安装配置Mysql​ 1.Windows操作Mysql服务器​ 安装成功Mysql之后,会在"控制面板->管理工具->服务"中出现Mysql服务,选中Mysql服务右键选择启动,停止,重启选项。​ 2.Linux操作Mysql服务器​ 0.在线安装​ sudo apt install mysql-sever-5.7​ (Ubuntu 16.10和17.04这两个版本对于5.7支持比较好)​ 在安装过程中有一个需要输入“root(此root非彼r

2021-06-14 21:11:15 218 1

原创 JVM运行时数据区域图

2021-06-14 21:08:59 110

原创 Hadoop的shuffle流程图

2021-06-14 21:07:15 123

原创 Hive之UDF、Java客户端操作、与Hbase交互

2.自定义函数UDF1.创建一张表create table t_student_udf(id int,name string,tel string)row format delimitedfields terminated by ','stored as textfile;2.上传数据load data local inpath '/home/hdfs/data_getarea' into table t_student_udf;文件内容:1,张三,138341122332,李四,1

2021-06-14 21:03:47 1407 1

原创 Hive之内置函数

5Hive函数1.内置函数1.创建表create table t_student(id int,name string)row format delimitedfields terminated by ','stored as textfile;2.上传数据load data local inpath '/home/hdfs/data_student' into table t_student;文件内容如下:1,terry2,kiven3,larry4,renee3.函数测

2021-06-14 21:01:49 449

原创 Hive之数据类型、查询操作

3.数据类型,表以及表的操作1.数据类型tinyint/smallint/int/biginty s lfloat/double/decimalbooleanstring/varchar/chartimestamp/date/intervalbinaryArray 数组 Map 键值对 Struct 对象2.表•Table 内部表•External Table 外部表•Partition 分区表•Bucket Tabl

2021-06-14 21:00:03 3186

原创 Hive之认识、搭建

Hive1.什么是Hive,Hive运行架构Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。通过Hive,我们可以方便地进行ETL(extract抽取/transform转化/load加载)的工作。1.Hive与Hbase的区别Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能。Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,H

2021-06-14 20:58:40 267 1

原创 Hbase之滤器Filter

3.基本命令 hbase shell​ 在终端输入hbase shell命令进入hbase命令行。hbase shell1.输入help命令,查看帮助文档hbase(main):000:0> helphbase(main):000:0> help '分组名称'练习:help 'ddl'help 'dml'help 'namespace'2.输入list命令,查看表列表hbase(main):000:0> list#案例:#查看有哪些命名空间list_n

2021-06-14 20:43:26 3172

原创 Hbase之JavaAPI操作、表设计优化

3.JAVA API操作​ C:/window/System32/Drivers/etc/hosts​ 修改hosts文件,配置主机与虚拟机的映射信息​1.编写流程​ 1.HBaseConfiguration​ Configuration conf = HBaseConfiguration.create();​ conf.set(“hbase.zookeeper.quorum”,“standalone:2181”)​ 2.Connection​ Connection co

2021-06-14 20:41:45 213

原创 Hbase之认识、搭建集群

1.What Hbase结论​ 1.分布式列式数据库​ 2.基于键值对的数据库​ 3.基于四维表格的数据库​ 4.NoSql的数据库​ 5.对非结构化和结构化数据友好的数据库​ 6.BigTable 十亿行*百万列 表被分割成不同的Region由来​ Hadoop database > Hadoop的数据库​ 1.数据库-------存储数据​ 2.HDFS分布式文件系统存储数据与Hbase存储数据的有什么区别?​ 1.文件系统读取数据是顺序读写的,效率比较低。​ 2.数

2021-06-14 20:17:01 1282 1

原创 修改Spark源码满足业务需求

背景说明今年换了一份新工作,最近业务需求里面涉及到一些点,发现不能通过配置Spark达到支持的目的。因此就涉及到修改Spark源码了,特意在此记录一下修改过程。具体操作定位到需要修改的源码所在类,如果可以通过扩展的方式来修改源码是最为方便的。但不幸的是,我此次修改的代码是在object里面,Scala的单例对象中,不能被继承扩展。直接将该源文件中所有内容复制粘贴到自己的专门修改源代码的项目中,并按照源文件的包名目录结构定义存放。根据业务逻辑需求,修改对应代码。打包。生成到对应的maven .

2021-05-17 23:08:54 294

原创 第五章 Spark-SQL进阶(三)之SQL函数

第五章 Spark-SQL进阶(三)3.SQL函数3.1内置函数3.1.1数学函数*返回类型**姓名(签名)**描述*DOUBLEround(DOUBLE a)返回的舍入BIGINT值a。DOUBLEround(DOUBLE a, INT d)返回a四舍五入到d小数位。DOUBLEbround(DOUBLE a)返回a使用HALF_EVEN舍入模式的舍入后的BIGINT值(从Hive 1.3.0,2.0.0开始)。也称为高斯舍入或银行家舍入。例如:bro

2021-05-08 22:52:25 1315

原创 第五章 Spark-SQL进阶(二)之数据源

第五章 Spark-SQL进阶(二)2.数据源数据以各种不同的格式提供电子表格可以用 XML,CSV,TSV 表示应用程序指标可以用原始文本或 JSON 写出每个用例都有针对它定制的特定数据格式在大数据领域,我们通常会遇到 Parquet、ORC、Avro、JSON、CSV、SQL 和 NoSQL 数据源以及纯文本文件等格式。我们可以将这些数据格式大致分为三类:结构化、半结构化和非结构化数据。2.1结构化数据结构化数据源定义数据的模式。利用有关底层数据的额外信息,结构化数据源可提供

2021-05-08 22:50:56 200

原创 第五章 Spark-SQL进阶(一)之Dataset用法

第五章 Spark-SQL进阶(一)1.核心语法1.1DataFrame第一种方式通过读取外部数据集spark.read.数据源方法()DataFrameReader对象中有Spark内置支持数据源读取数据的方法eg:parquet csv text json jdbc table orc等第二种方式通过createDataFrame方法传递RDD或Seq参数createDataFrame[A <: Product : TypeTag](rdd: RDD[A])c

2021-05-08 22:49:45 289

原创 第四章 Spark-SQL基础(二)之Dataset优势

第四章 Spark-SQL基础(二)8.核心对象8.1SparkSessionSpark-SQL组件中的一个会话对象。SparkSession对象中构建SparkSession的核心源代码如下:@Stableobject SparkSession extends Logging { /** * Builder for [[SparkSession]]. */ @Stable class Builder extends Logging { private[thi

2021-05-08 22:46:57 184

原创 第四章 Spark-SQL基础(一)之Spark SQL优点

第四章 Spark-SQL基础(一)1.认识Spark-SQLSpark SQL是Spark中处理结构化数据的模块。提供了一种新的编程抽象DataFrame/Dataset,并且可以充当分布式SQL查询引擎。集成:无缝地将SQL查询集成到Spark程序中。统一数据访问:使用统一的方式连接到常见数据源。Hive兼容:通过配置可以直接兼容Hive,运行查询Hive数据。标准的连接:通过JDBC、ODBC连接。Spark SQL包括具有行业标准JDBC和ODBC连接的服务器模式。2.Spark

2021-05-08 22:34:39 1616

原创 第三章 Spark-Core编程进阶(二)之Spark优化

第三章 Spark-Core编程进阶(二)6.管道命令Spark在RDD上提供pipe方法,可以让我们使用任意一种语言(只要能读写Unix标准流)实现Spark作业中的部分逻辑。pipe方法的源代码如下:/** * Return an RDD created by piping elements to a forked external process. */def pipe(command: String): RDD[String] = withScope { // Simila

2021-05-08 22:16:40 561

原创 第三章 Spark-Core编程进阶(一)之高性能操作

第三章 Spark-Core编程进阶(一)1.回顾思考,运行以下案例,看看会产生什么现象?class MyCoolRddApp { val param = 3.14 def work(rdd: RDD[Int]) { rdd.map(x => x + param) .foreach(println) }}object Test{ def main(args:Array[String])={ val conf=new SparkConf con

2021-05-08 22:14:32 145

原创 Spark基础篇-Spark-Core核心模型(二)

第二章 Spark-Core核心模型(二)3.分区计算Spark中RDD的计算是以分区为单位的,每个RDD都会实现compute函数以达到这个目的。/** * :: DeveloperApi :: * Implemented by subclasses to compute a given partition. */@DeveloperApidef compute(split: Partition, context: TaskContext): Iterator[T]注意,该属性

2021-05-08 22:10:05 370

原创 Spark基础篇-Spark-Core核心模型(一)

第二章 Spark-Core核心模型1.RDD弹性分布式数据集(Resilient Distributed Dataset)是Spark中最基本的数据抽象。不可变(只读)可分区可并行计算自动容错位置感知性调度RDD是Spark的核心抽象模型,本质上是一个抽象类。RDD源代码部分重点代码实现如下:abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transie

2021-05-05 22:06:14 1011

原创 Spark基础篇-初识Spark

第一章 初识Spark1.认识SparkSpark是加州大学伯克利分校AMP实验室开发基于内存的通用并行计算框架。思考:已经学习了MapReduce,为什么要学习Spark?1.1并行计算并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程,是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是:用多个处理器来协同求解同一问题。注意,其实就是将被求解的问题分解成若干个部分,各部分均由一个独立的处理机来并行计算并行计算系统:既可以是专门设

2021-05-05 21:47:58 430

原创 机器学习-整理1

1.机器学习分类目前机器学习主流分为:有监督学习,无监督学习,强化学习。 1.有监督学习: 通过学习许多有标签的样本,然后对新的数据做出预测。例如,准确识别新照片上的水果(分类)或者预测二手房的售价(回归)。 有监督学习可分为回归和分类。 回归:即给出一堆自变量X和因变量Y,拟合出一个函数,这些自变量X就是特征向量,因变量Y就是标签。 而且标签的值连续的,例LR。 分类:其数据集,由特征向量X和它们的标签Y组成,当你利用数据训练出模型后,给你一个只知道特征向量不知道标签的数据,让你

2020-05-28 14:12:10 227

原创 使用Yolo3进行目标检测实现流程记录1

上个月需要使用目标检测进行项目开发,简单了解了下目标检测的技术之后,果断选择使用yolo来进行尝试。在查看了无数篇博客之后,头疼脑热,各种花样的问题之后,果断记录了自行爬坑的过程,希望对后续使用yolo3目标检测的小伙伴有所帮助。

2020-05-07 22:08:11 1934 3

转载 几种常见的激活函数

本课程笔记是基于今年斯坦福大学Feifei Li, Andrej Karpathy &amp; Justin Johnson联合开设的Convolutional Neural Networks for Visual Recognition课程的学习笔记。目前课程还在更新中,此学习笔记也会尽量根据课程的进度来更新。今天终于可以开始讲神经网络啦~~1.一个简单的介绍我们先把那些关于人脑、神经什么...

2019-03-15 16:55:27 391

转载 【深度学习】神经网络入门(最通俗的理解神经网络)

转载自:https://blog.csdn.net/lyl771857509/article/details/78990215form:http://tieba.baidu.com/p/3013551686?pid=49703036815&amp;see_lz=1#先从回归(Regression)问题说起。我在本吧已经看到不少人提到如果想实现强AI,就必须让机器学会观察并总结规律的言论。具体地...

2019-03-14 11:38:06 156

原创 深度学习之逻辑回归

使用逻辑回归解决分类问题第一步:将线性方程转化为矩阵计算之后代入Sigmoid函数第二步:获取最大似然估计第三步:计算W使得最大似然估计值最大第四步:编码实现一个最简单的分类,是在平面上画一条直线,左边为类0,右边为类1,直线表示为z=ax+by+c这是一个分类器,输入(x,y),那么,要求的参数有三个:a,b,c。另外注意c的作用,如果没有c,这条直线一定会过原点。第一步:将线性方程转化为矩...

2019-03-13 10:50:26 1380

原创 Scala类型系统与隐式操作

Scala类型系统与隐式操作Scala类型系统(了解)1泛型(了解)1.1泛型类1.2泛型特质1.3泛型函数2类型系统(了解)2.1类型界定:2.1.1上下界2.1.2.视图界定2.1.3.多重界定2.2.类型约束2.3.型变Scala隐式转换(理解)1隐式转换(掌握)2利用隐式转化丰富现有类库的功能(掌握)3引入隐式转换(掌握)4隐式转换规则(掌握)5隐式参数(掌握)6利用隐式参数进行隐式转换(...

2019-03-12 14:58:12 271

原创 Scala面向对象程序编程

Scala面向对象程序编程1 Scala类(重点)1.1类定义1.2 getter、setter1.3主构造器(primary constructor)1.4辅助构造器(auxiliary constructor)2 Scala对象(重点)2.1单例对象2.2伴生对象(重点)2.3样例类case class2.4扩展类或者特质的对象2.5 apply方法3 Scala继承(理解)3.1抽象类3.2...

2019-03-12 14:39:04 266

原创 深度学习基础之线性回归

理解线性回归线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w’x+e,e为误差服从均值为0的正态分布。回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。...

2019-03-11 10:32:58 5497 4

原创 学习TensorFlow数学基础知识准备阶段1

最近准备入手TensorFlow深度学习,奈何很多数学基础知识全部都已经回交给各位老师了。因此从刚开始的无从下手,到现在还可以推导一些公式。把我在这个过程中回顾整理的内容,自我留档,同时也分享给大家,希望可以对有兴趣学习TensorFlow但又无从下手的朋友有一些提示作用。这篇博客只是整理了推导 线性回归 和 逻辑回归 所使用到的数学内容。后期整理出其他部分内容的再给大家分享。以下数学内容都属于基础知识,涵盖了高中和大学学习的部分内容,主要体现在导数(高中数学),高等数学(上册),线性代数,

2019-03-05 17:28:54 1826

原创 Scala中的函数式编程总结

函数式编程:函数式编程是种编程方式,它将电脑运算视为函数的计算。函数编程语言最重要的基础是λ演算(lambda calculus),而且λ演算的函数可以接受函数当作输入(参数)和输出(返回值)。和指令式编程相比,函数式编程强调函数的计算比指令的执行重要。和过程化编程相比,函数式编程里函数的计算可随时调用。简单说,“函数式编程"是一种"编程范式”(programming paradigm),...

2019-03-04 08:50:37 542 1

原创 Scala知识笔记1

Scala知识笔记11 认识Scala1.什么是Scala2.Scala是面向对象编程语言3.Scala是函数式编程语言4.Scala是静态类型的5.Scala是可扩展的6.Scala互操作2 Scala基础语法(一)1.变量 val/var1.1 val 不可变的1.2 声明与赋值同时定义2.方法 def2.1 格式:2.2 过程2.3 当方法为非递归方法时,可以将返回类型省略2.4 方法调用 ...

2019-03-01 16:40:02 644

tf2-keras-yolo3.zip

搭建yolo3目标检测的源码以及对应的修改设置,下载解压之后,进入目录,使用python3 yolo_video.py --image 命令 测试 ;输入图片名称 0007.jpg 观察是否可以出现一张标注出各种物体的图片。

2020-05-09

Spark-Core学习知识笔记整理

Spark-Core文档是本人经三年总结笔记汇总而来,对于自我学习Spark核心基础知识非常方便,资料中例举完善,内容丰富。具体目录如下: 目录 第一章 Spark简介与计算模型 3 1 What is Spark 3 2 Spark简介 3 3 Spark历史 4 4 BDAS生态系统 4 5 Spark与Hadoop的差异 5 6 Spark的适用场景 6 7 Spark成功案例 6 第二章 Spark开发环境搭建 8 1 Spark运行模式 8 2 Spark环境搭建 8 2.1Scala的安装 8 2.2Spark的单节点配置 9 2.3Spark-Standalone集群配置 9 2.4Spark-on-Yarn模式配置 12 2.5Spark-on-Mesos模式配置 13 2.6Hive-on-Spark配置 13 第三章 Spark计算模型 15 1 RDD编程 15 1.1弹性分布式数据集RDD 15 1.2构建RDD对象 15 2RDD操作 15 2.1将函数传递给Spark 16 2.2了解闭包 16 2.3Pair RDD模型 17 2.4Spark常见转换操作 18 2.5Spark常见行动操作 20 2.6RDD持久化操作 21 2.7注意事项 23 2.7并行度调优 24 2.8分区方式 25 3Examle:PageRank 27 第四章 Spark编程进阶 29 1共享变量 29 1.1累加器 30 1.2广播变量 31 2基于分区进行操作 32 3与外部程序间的管道 33 4数值RDD的操作 34 5 Spark Shuffle机制 34 第五章 Spark调优与调试 39 1开发调优: 40 1.1调优概述 40 1.2原则一:避免创建重复的RDD 40 1.3原则二:尽可能复用同一个RDD 41 1.4原则三:对多次使用的RDD进行持久化 42 1.5原则四:尽量避免使用shuffle类算子 43 1.6原则五:使用map-side预聚合的shuffle操作 44 1.7原则六:使用高性能的算子 45 1.8原则七:广播大变量 46 1.9原则八:使用Kryo优化序列化性能 47 1.10原则九:优化数据结构 48 2资源调优 48 2.1调优概述 48 2.2 Spark作业基本运行原理 49 2.3资源参数调优 50 第六章 Spark架构和工作机制 52 1 Spark架构 52 1.1 Spark架构组件简介 52 1.2 Spark架构图 54 2 Spark工作机制 54 2.1 Spark作业基本概念 54 2.2 Spark程序与作业概念映射 55 2.3 Spark作业运行流程 55 3 Spark工作原理 55 3.1 作业调度简介 55 3.2 Application调度 56 3.3 Job调度 56 3.4 Tasks延时调度 56 第七章 Spark运行原理 57 1 Spark运行基本流程 57 2 Spark在不同集群中的运行架构 58 2.1 Spark on Standalone运行过程 59 2.2 Spark on YARN运行过程 60

2019-03-01

jquery3.1.chm 中文 API

jquery3.1 API 中文 JQquery凭借简洁的语法和跨平台的兼容性, 极大的简化了javascript开发人员遍历HTML文档,操作DOM,处理事件,执行动画和开发AJAX(javascript + xml + json ), 其理念:write less,do more

2017-10-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除