yanzhelee

大数据小菜

交叉熵

文章转自:https://blog.csdn.net/tsyccnh/article/details/79163834 关于交叉熵在loss函数中使用的理解 交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距。以前做一些分类问题的时候,没有过多的注...

2018-08-29 17:01:44

阅读数 266

评论数 0

linux后台执行命令:&和nohup

当我们在终端或控制台工作时,可能不希望由于运行一个作业而占住了屏幕,因为可能还有更重要的事情要做,比如阅读电子邮件。对于密集访问磁盘的进程,我们更希望它能够在每天的非负荷高峰时间段运行(例如凌晨)。为了使这些进程能够在后台运行,也就是说不在终端屏幕上运行,有几种选择方法可供使用。 &am...

2018-08-07 11:00:37

阅读数 145

评论数 0

windows 下 python3操作hive

安装依赖 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive windows安装sasl报错,解决方案 下载对应版本预编译的包 https://www.lfd.uci.edu/~...

2018-07-23 15:54:08

阅读数 1344

评论数 0

Linux使用Shell脚本实现ftp自动上传

#!/bin/bash FTILE_NAME=$1 ftp -n <<- EOF open 59.151.127.55 user username password bin put $FTILE_NAME bye EOF rm $FTILE_NAME ...

2018-07-20 13:33:00

阅读数 512

评论数 0

Python正则表达式 知识思维导图

2018-04-27 00:09:08

阅读数 157

评论数 0

spark生态及运行原理

spark 生态及运行原理 spark 特点 运行速度快 => Spark拥有DAG执行引擎,支持在内存中对数据进行迭代计算。适用场景广泛 => 大数据分析统计,实时数据处理,图计算及机器学习易用性 => 编写见到那,支持80多种以上的高级算子,支持多种语...

2018-02-24 14:51:32

阅读数 270

评论数 0

深度学习——感知器

参考博文:https://www.zybuluo.com/hanbingtao/note/433855 深度学习是啥 在人工智能领域,有一个方法叫机器学习。在机器学习这个方法里,有一类算法叫神经网络。神经网络如下图所示: 上图中每个圆圈都是一个神经元,每条线表示神经元之间的连接。我们可以...

2017-12-22 14:37:23

阅读数 354

评论数 3

java操作xml——JDom使用详解

java操作xml——JDom使用详解JDom是一个开源项目,它基于树形结构,利用纯JAVA的技术对XML文档实现解析、生成、序列化以及多种操作。JDom简介JDom直接为JAVA变成服务。它利用更为有力的java语言的诸多特性(方法重载、集合概念以及映射),把SAX和DOM的功能有效地结合起来。...

2017-11-20 16:20:10

阅读数 230

评论数 0

解决java向mysql数据表中插入html代码问题

解决java向mysql数据表中插入html代码问题最近在写一个爬虫程序,其中要把网页中的html代码插入到mysql数据库中,结果程序一直提示报错,错误信息提示我的sql语句有错,但是我检查了半天都没发现程序有问题。之后我将要插入的html字符串内容换成一个简单的字符串(比如”hello wor...

2017-11-20 15:43:44

阅读数 1669

评论数 0

Spark性能优化之shuffle调优

Spark性能优化之shuffle调优以下内容源自美团网Spark工程师总结的关于Spark性能优化的方案中的部分内容。调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对s...

2017-10-26 18:45:45

阅读数 317

评论数 0

Spark性能调优之数据倾斜调优

Spark性能调优之数据倾斜调优以下内容源自美团网Spark工程师总结的关于Spark性能优化的方案中的部分内容。调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证S...

2017-10-26 18:40:52

阅读数 260

评论数 0

Spark性能优化之资源调优

Spark性能优化之资源调优以下内容源自美团网Spark工程师总结的关于Spark性能优化的方案中的部分内容。调优概述在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要...

2017-10-26 18:39:09

阅读数 292

评论数 0

Spark性能优化之开发调优

Spark性能优化之开发调优以下内容源自美团网Spark工程师总结的关于Spark性能优化的方案中的部分内容。调优概述Spark性能优化的第一步,就是要在开发Spark作业的过程中注意和应用一下性能优化的基本原则。开发调优,就是要让大家了解以下一些Spark基本开发原则,包括:RDD lineag...

2017-10-26 18:37:38

阅读数 299

评论数 0

Spark Scheduler内部原理剖析

Spark Scheduler内部原理剖析分布式运行框架Spark可以部署在多种资源管理平台,例如Yarn、Mesos等,Spark本身也实现了一个简易的资源管理机制,称之为Standalone模式。由于工作中接触较多的是Spark on Yarn,以下所述表示Spark on Yarn。Spar...

2017-10-26 18:33:47

阅读数 602

评论数 0

Scala类型参数(二)

Scala类型参数(二)1 Ordering与Ordered特质在介绍上下文界定之前,我们对scala中的Ordering和Ordered之间的关联与区别惊醒讲解,先看Ordering、Ordered的类继承层次体系:通过上面两张图可以看到Ordering混入了java中的Comparator接口...

2017-10-06 11:33:27

阅读数 296

评论数 0

一张图入门python

一张图入门python

2017-10-05 20:12:41

阅读数 373

评论数 0

Scala隐式转换和隐式参数

Scala隐式转换和隐式参数在scala语言中,隐式转换是一项强大的语言功能,他不仅能够简化程序设计,也能够使程序具有很强的灵活性。要想更进一步地掌握scala语言,了解其隐式转换的作用和原理是很有必要的,否则很难得以应手的处理日常开发中的问题。在scala语言中,隐式转换是无处不在的,只不过sc...

2017-10-05 13:47:10

阅读数 453

评论数 0

Scala类型参数(一)

Scala类型参数(一)类型参数是对泛型的范围进一步的界定,那么介绍类型参数之前先聊聊泛型。Scala类型参数。类型参数是对泛型的范围进一步的界定,那么介绍类型参数之前先聊聊泛型。泛型用于指定方法或类可以接受任意类型参数,参数在实际使用时才 被确定,泛型可以有效的增强程序的使用行,使用泛型可以使得...

2017-10-04 16:31:01

阅读数 573

评论数 0

Scala模式匹配

Scala模式匹配1 前言Scala中的模式匹配可以看成是更好的java switch语句。比如如下java代码:public void testSwitch(){ for(int i = 0; i < 100; i++){ switch(i){ case 10 : ...

2017-10-03 18:06:59

阅读数 324

评论数 0

linux之零拷贝(ZeroCopy)

linux之零拷贝(ZeroCopy)传统的数据传输方式:像这种在文件读取数据然后将数据通过网络传输给其他的程序的方式(大部分应用服务器都是这种方式,包括web服务器处理静态内容时,ftp服务器,邮件服务器等等)其核心操作就是如下两个调用:File.read(fileDesc,buf,len); ...

2017-10-02 17:16:28

阅读数 815

评论数 0

提示
确定要删除当前文章?
取消 删除