- 博客(256)
- 资源 (6)
- 收藏
- 关注
转载 FCM聚类算法介绍
FCM聚类算法介绍FCM算法是一种基于划分的聚类算法,它的思想就是使得被划分到同一簇的对象之间相似度最大,而不同簇之间的相似度最小。模糊C均值算法是普通C均值算法的改进,普通C均值算法对于数据的划分是硬性的,而FCM则是一种柔性的模糊划分。在介绍FCM具体算法之前我们先介绍一些模糊集合的基本知识。1 模糊集基本知识 首先说明隶属度函数的概念。隶属度函数是表示一个对象x隶属于集合A的程度的函数,通...
2018-03-23 17:06:29
10381
1
转载 Redis主从复制
概述一般来说,要将Redis运用于工程项目中,只使用一台redis是万万不能的,原因如下:从结构上,单个Redis服务器会发生单点故障,并且一台服务器需要处理所有的请求负载,压力较大;从容量上,单个Redis服务器内存容量有限,就算一台Redis服务器内容容量为256G,也不能将所有内容用作Redis存储内存,一般来说,单台Redis最大使用内存不应该超过20G。本文先讨论
2017-08-28 17:47:31
637
转载 深度学习参数技巧
1:优化器机器学习训练的目的在于更新参数,优化目标函数,常见优化器有SGD,Adagrad,Adadelta,Adam,Adamax,Nadam。其中SGD和Adam优化器是最为常用的两种优化器,SGD根据每个batch的数据计算一次局部的估计,最小化代价函数。学习速率决定了每次步进的大小,因此我们需要选择一个合适的学习速率进行调优。学习速率太大会导致不收敛,速率太小收敛速度慢。
2017-07-13 19:24:59
2242
转载 kafka在zookeeper中对应目录
Zookeeper DirectoriesThe following gives the zookeeper structures and algorithms used for co-ordination between consumers and brokers.NotationWhen an element in a path is denoted [xyz], that m
2017-07-13 16:17:45
1483
原创 Tensorflow contrib.layers 模块介绍
在tf.contrib.layers内部,有许多产生layer操作及其相关权重和偏差变量的函数。这些大部分都是用来构建不同深度学习架构的。也有些函数是提供归一化,卷积层,dropout层(注:Dropout是在训练过程中以一定概率1-p将隐含层节点的输出值清0),‘one-hot’编码等。下面来粗略浏览一下:tf.contrib.layers.optimizers模块:tf.contr
2017-07-13 15:54:48
14252
转载 Spark core 核心算子优化
算子优化 MapPartitionsspark中,最基本的原则,就是每个task处理一个RDD的partition。MapPartitions操作的优点:如果是普通的map,比如一个partition中有1万条数据;ok,那么你的function要执行和计算1万次。但是,使用MapPartitions操作之后,一个task仅仅会执行一次function,functi
2017-03-16 21:27:59
728
转载 Spark常用函数讲解之键值RDD转换
摘要:RDD:弹性分布式数据集,是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作,一个RDD代表一个分区里的数据集RDD有两种操作算子: Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进行转换,仅仅是记住 了数据集的逻辑操作
2017-03-12 21:21:09
394
转载 SparkStreaming之窗口函数
WindowOperations(窗口操作) Spark还提供了窗口的计算,它允许你使用一个滑动窗口应用在数据变换中。下图说明了该滑动窗口。如图所示,每个时间窗口在一个个DStream中划过,每个DSteam中的RDD进入Window中进行合并,操作时生成为窗口化DSteam的RDD。在上图中,该操作被应用在过去的3个时间单位的数据,和划过了2个
2017-03-12 10:42:07
765
转载 flume + kafka + sparkStreaming + HDFS 构建实时日志分析系统
搭建前提:Hadoop2.6、spark1.6-hadoop-2.6集群都是正确搭建并可运行一 、需求描述 日志文件预处理:运营商数据 kafka做队列缓冲 flume分发 streaming计算 HDFS存储二、 系统搭建No.1 flume-ng 1.6集群 1.下载安装并配置好flume的运行环境2.编写配置文件# ---
2017-03-10 20:53:15
2023
转载 Hadoop2.0的HA介绍
Hadoop2.0的HA介绍时间 2014-05-03 17:42:25 Linux公社原文 http://www.linuxidc.com/Linux/2014-05/101174.htm主题 Hadoop NFS前一篇文章介绍了Hadoop2.0(hadoop2.0架构,具体版本是hadoop2.2.0)的安装和最基本的配置(见 http://www.l
2017-03-08 21:57:10
389
转载 JS中使用EL表达式
分两种情况1. JS代码在JSP页面中, 这可以直接使用EL表达式. 如:[html] view plain copy print?script type="text/javascript"> $(function () { new BacklogOverview("${param.al
2017-02-19 20:23:30
411
原创 申论语句
1、我们既要成为现行国际体系的建设者,又要增强规则制定能力、议程设置能力、舆论宣传能力、统筹协调能力,引导国际社会共同塑造更加公正合理的国际新秩序。不论国际形势如何变幻,我们要保持战略定力、战略自信、战略耐心,坚持以全球思维谋篇布局,坚持统筹发展和安全,坚持底线思维,坚持原则性和策略性相统一,把维护国家安全的战略主动权牢牢掌握在自己手中。
2017-02-19 20:20:15
351
转载 JVM调优总结(2):调优方法
调优设置堆大小设置JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。典型设置:java -Xmx355
2016-12-08 21:15:21
392
转载 JVM调优总结(1):基本垃圾回收算法
数据类型 Java虚拟机中,数据类型可以分为两类:基本类型和引用类型。基本类型的变量保存原始值,即:他代表的值就是数值本身;而引用类型的变量保存引用值。“引用值”代表了某个对象的引用,而不是对象本身,对象本身存放在这个引用值所表示的地址的位置。 基本类型包括:byte,short,int,long,char,float,double,Boolean,returnAd
2016-12-08 21:14:11
322
转载 JVM原理和优化
VM工作原理和特点主要是指操作系统装入JVM是通过jdk中Java.exe来完成,通过下面4步来完成JVM环境.1.创建JVM装载环境和配置2.装载JVM.dll3.初始化JVM.dll并挂界到JNIENV(JNI调用接口)实例4.调用JNIEnv实例装载并处理class类。在我们运行和调试Java程序的时候,经常会提到一个JVM的概念.JVM是Ja
2016-12-08 20:41:03
260
转载 JVM 优化经验总结
Java 虚拟机有自己完善的硬件架构, 如处理器、堆栈、寄存器等,还具有相应的指令系统。JVM 屏蔽了与具体操作系统平台相关的信息,使得 Java 程序只需生成在 Java 虚拟机上运行的目标代码 (字节码), 就可以在多种平台上不加修改地运行。Java 虚拟机在执行字节码时,实际上最终还是把字节码解释成具体平台上的机器指令执行。注意:本文仅针对 JDK7、HotSPOT Java 虚拟机
2016-12-08 20:32:46
390
转载 Spark的位置优先: TaskSetManager 的有效 Locality Levels
在Spark Application Web UI的 Stages tag 上,我们可以看到这个的表格,描述的是某个 stage 的 tasks 的一些信息,其中 Locality Level 一栏的值可以有PROCESS_LOCAL、NODE_LOCAL、NO_PREF、RACK_LOCAL、ANY 几个值。这篇文章将从这几个值入手,从源码角度分析 TaskSetManager 的 Loca
2016-12-08 20:12:00
694
转载 spark rdd checkpoint的用法注意点
/** * Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint * directory set with `SparkContext#setCheckpointDir` and all references to its parent * RDDs will be
2016-12-08 07:16:57
536
转载 Spark累加器(Accumulator)陷阱及解决办法
Accumulator简介Accumulator是spark提供的累加器,顾名思义,该变量只能够增加。只有driver能获取到Accumulator的值(使用value方法),Task只能对其做增加操作(使用 +=)。你也可以在为Accumulator命名(不支持Python),这样就会在spark web ui中显示,可以帮助你了解程序运行的情况。Accumulator使
2016-12-08 06:59:32
453
转载 hive数据倾斜原因和解决方法
在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得这些平均值能代表的价值降低。Hive的执行是分阶段的,map处理数据量的差异取决于上一个stage的reduce输出,所以如何将数据均匀的
2016-12-02 22:45:53
1800
转载 hive中order by,sort by, distribute by, cluster by作用以及用法
1. order byHive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reducer)。但是对于大量数据这将会消耗很长的时间去执行。 这里跟传统的sql还有
2016-12-02 22:44:04
423
转载 hive 分组+组内排序 , 求topN
================================新的实例 更好理解数据:四列的表,第一列id,第二列渠道,第三列系统,第四类访问日期0: jdbc:hive2://hadoop009.dx.momo.com:2181,ha> select * from dc_dev.tmp_row_num;tmp_row_num.muid tmp_row_num.channel
2016-12-02 22:40:27
1096
转载 jvm的工作原理及调优
一、 JVM的生命周期1. JVM实例对应了一个独立运行的Java程序它是进程级别a) 启动;启动一个Java程序时,一个JVM实例就产生了,任何一个拥有public static void main(String[] args)函数的class都可作为JVM实例运行的起点b) 运行;main()作为该程序初始线程的起点,任何其他线程均由该线程启动。JVM内部有两种线程:
2016-12-02 22:27:30
579
转载 Redis配置文件详解(redis.conf)
摘要: # vi redis.conf daemonize yes #是否以后台进程运行 pidfile /var/run/redis/redis-server.pid #pid文件位置 port 6379#监听端口 bind 127.0.0.1 #绑定地址,如外网需要连接,设置0.0.0.0...# vi redis.confdaemonize yes
2016-12-02 21:31:30
552
转载 如何区分Oracle的数据库,实例,服务名,SID
在实际的开发应用中,关于Oracle数据库,经常听见有人说建立一个数据库,建立一个Instance,启动一个Instance之类的话。其实问他们什么是数据库,什么是Instance,很可能他们给的答案就是数据库就是Instance,Instance就是数据库啊,没有什么区别。在这里,只能说虽然他们Oracle用了可能有了一定的经验,不过基础的概念还是不太清楚。 什
2016-11-30 19:34:21
792
转载 Redis的Java客户端Jedis的八种调用方式(事务、管道、分布式)介绍
阅读目录一、普通同步方式二、事务方式(Transactions)三、管道(Pipelining)四、管道中调用事务五、分布式直连同步调用六、分布式直连异步调用七、分布式连接池同步调用八、分布式连接池异步调用九、需要注意的地方十、测试十一、完整的测试代码jedis是一个著名的key-value存储系统,而作为其官方推荐的java版客户端jedis也非常强大和稳定,支持事务、管
2016-11-30 19:31:09
288
转载 Redis 常见的性能问题和解决方法
1.Master写内存快照,save命令调度rdbSave函数,会阻塞主线程的工作,当快照比较大时对性能影响是非常大的,会间断性暂停服务,所以Master最好不要写内存快照。 2.Master AOF持久化,如果不重写AOF文件,这个持久化方式对性能的影响是最小的,但是AOF文件会不断增大,AOF文件过大会影响Master重启的恢复速度。 3.Master调用BGR
2016-11-30 19:29:20
343
转载 Redis核心知识之—— 时延问题分析及应对、性能问题和解决方法
参考网址:Redis时延问题分析及应对:http://www.cnblogs.com/me115/p/5032177.htmlRedis常见的性能问题和解决方法:http://www.searchdatabase.com.cn/showcontent_63439.htmRedis主从配置详细过程:http://sofar.blog.51cto.com/353572/8612
2016-11-30 19:27:46
1339
转载 Hive 基础之:分区、桶、Sort Merge Bucket Join
Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了,虽然也有 Impala 等后起之秀,但目前从功能、稳定性等方面来说,Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的,Join 是整个 MR/Hive 最为核心的部分之一,是每个Hadoop/Hive/DW RD 必须掌握的部分,之前也有几篇文章聊到过 MR/Hive 中的 join
2016-11-30 19:26:15
320
转载 Flume+Kafka+Spark-Streaming的实时流式处理完整流程
基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程1、环境准备,四台测试服务器spark集群三台,spark1,spark2,spark3kafka集群三台,spark1,spark2,spark3zookeeper集群三台,spark1,spark2,spark3日志接收服务器, spark1日志收集服务器,Redis
2016-11-30 19:24:50
644
转载 Spark分析窗口函数
Spark1.4发布,支持了窗口分析函数(window functions)。在离线平台中,90%以上的离线分析任务都是使用Hive实现,其中必然会使用很多窗口分析函数,如果SparkSQL支持窗口分析函数,那么对于后面Hive向SparkSQL中的迁移的工作量会大大降低,使用方式如下:1、初始化数据创建表[sql] view p
2016-11-30 19:18:24
3191
转载 Kafka+Spark Streaming+Redis实时计算整合实践
转自:http://shiyanjun.cn/archives/1097.html基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们基于1.3.
2016-11-30 19:13:43
514
转载 java 利用Future异步获取多线程任务结果
Future接口是Java标准API的一部分,在java.util.concurrent包中。Future接口是Java线程Future模式的实现,可以来进行异步计算。有了Future就可以进行三段式的编程了,1.启动多线程任务2.处理其他事3.收集多线程任务结果。从而实现了非阻塞的任务调用。在途中遇到一个问题,那就是虽然能异步获取结果,但是Future的结果需要通过isdone来判断是否
2016-11-29 20:45:13
388
转载 Callable<V>、Future<V>详解 | Executor框架
一:关于 Callable的源码Java代码 package java.util.concurrent; public interface Callable { /** * Computes a result, or throws an exception if unable to do so. * * @return
2016-11-29 20:34:27
914
转载 深入理解ThreadLocal
学习一个东西首先要知道为什么要引入它,就是我们能用它来干什么。所以我们先来看看ThreadLocal对我们到底有什么用,然后再来看看它的实现原理。ThreadLocal如果单纯从名字上来看像是“本地线程"这么个意思,只能说这个名字起的确实不太好,很容易让人产生误解,ThreadLocalVariable(线程本地变量)应该是个更好的名字。我们先看一下官方对ThreadLocal的描述:该类
2016-11-29 19:51:59
457
转载 大数据Web日志分析 用Hadoop统计KPI指标实例
可以带着下面问题来阅读文章问题:1.MapReduce在日志分析的作用思考:该如何架构kpi系统,需要考虑什么问题。kpi:关键绩效指标法,即KPI绩效考核,是企业绩效考核的方法之一,其特点是考核指标围绕关键成果领域进行选取,均对关键绩效指标考核法的应用及其特点有所介绍。前言Web日志包含着网站最重要的信息,通过日志分析,我们可以知道网站的访问量,哪个网页访
2016-11-28 21:09:38
11125
转载 hadoop日志分析系统
环境:centos7+hadoop2.5.2+hive1.2.1+mysql5.6.22+indigo service 2思路:hive加载日志→Hadoop分布式执行→需求数据进入MySQL注意:hadoop日志分析系统网上资料很多,但是大多都有写小问题,无法顺利运行,但本文中都是经过亲自验证的,可以一气呵成。另外还包括可能遇到的异常的详细解释及相关解决方案。1) 日志格
2016-11-28 20:51:44
2759
转载 网站日志分析项目案例(三)统计分析
一、借助Hive进行统计1.1 准备工作:建立分区表 为了能够借助Hive进行统计分析,首先我们需要将清洗后的数据存入Hive中,那么我们需要先建立一张表。这里我们选择分区表,以日期作为分区的指标,建表语句如下:(这里关键之处就在于确定映射的HDFS位置,我这里是/project/techbbs/cleaned即清洗后的数据存放的位置)hive>CREATE EX
2016-11-28 20:41:13
1050
转载 网站日志分析项目案例(二)数据清洗
一、数据情况分析1.1 数据情况回顾 该论坛数据有两部分: (1)历史数据约56GB,统计到2012-05-29。这也说明,在2012-05-29之前,日志文件都在一个文件里边,采用了追加写入的方式。 (2)自2013-05-30起,每天生成一个数据文件,约150MB左右。这也说明,从2013-05-30之后,日志文件不再是在一个文件里边。 图1展示
2016-11-28 20:40:06
1571
转载 网站日志分析项目案例(一)项目介绍
一、数据情况分析1.1 数据情况回顾 该论坛数据有两部分: (1)历史数据约56GB,统计到2012-05-29。这也说明,在2012-05-29之前,日志文件都在一个文件里边,采用了追加写入的方式。 (2)自2013-05-30起,每天生成一个数据文件,约150MB左右。这也说明,从2013-05-30之后,日志文件不再是在一个文件里边。 图1展示
2016-11-28 20:35:12
3555
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人