- 博客(1400)
- 收藏
- 关注
RSS订阅转载 JVM系列三:JVM参数设置、分析
原文：http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具
2017-08-12 13:32:50
292
转载 IO - 同步，异步，阻塞，非阻塞概念
原文：写的太赞了，http://blog.csdn.net/historyasamirror/article/details/5778378当你发现自己最受欢迎的一篇blog其实大错特错时，这绝对不是一件让人愉悦的事。《 IO - 同步，异步，阻塞，非阻塞 》是我在开始学习epoll和libevent的时候写的，主要的思路来自于文中的那篇link 。写完之后发现很多人都很喜欢，我还是非
2017-08-11 17:23:13
299
转载 卷积神经网络(CNN)反向传播理论推导
原文：http://www.voidcn.com/blog/hearthougan/article/p-6633632.html 本文首先简单介绍CNN的结构，并不作详细介绍，若需要了解推荐看CS231n课程笔记翻译：卷积神经网络笔记。本文只要讲解CNN的反向传播，CNN的反向传播，其实并不是大多所说的和全连接的BP类似，CNN的全连接部分的BP是与它相同，但是CNN中卷积--池化、池
2017-08-11 16:29:54
1399
转载 卷积神经网络CNN(基础理论)
原文：http://blog.csdn.net/xierhacker/article/details/53463525最开始先把这篇笔记的博客和网络上面的资源先贴出来，方便大家查找。至于书在一开始的笔记中就已经提到过了，这里就不再反复写了。 http://neuralnetworksanddeeplearning.com/chap6.html http://cs231n.git
2017-08-11 16:01:35
1010
原创 Akka Actor入门示例
什么是Akka？Akka通常是指一个分布式工具集，用于协调远程计算资源来进行一些工作，是Actor并发模型的一种实现。Actor的起源？一篇论文提出了一种并发计算的理论模型。什么是Actor？在Actor模型中，Actor是一个并发原语。Actor和消息传递如果多线程同时读取并修改同一值，那么可能就需要进行同步并加锁。Actor和对象的不同之
2017-08-10 10:23:22
663
原创 HBase Coprocessor编程案例
1. 启用协处理器Aggregation(Enable Coprocessor Aggregation)两种方法：(1) 启动全局aggregation，能够操作所用表上的数据。通过修改hbase-site.xml文件实现，property> name>hbase.coprocessor.user.region.classesname> value>org.apac
2017-08-09 11:22:47
733
转载 近实时运算的利器---presto在公司实践
原文：http://blog.csdn.net/joomlaer/article/details/458897591.起因公司Hadoop集群里的datanonde和tasktracker节点负载主要集中于晚上到凌晨，平日工作时间负载不是很高。但在工作时间内，公司业务人员有实时查询需求，现在主要借助于Hive提供业务人员日常查询。总所周知，hive是一个基于MR的类SQL查询工具，
2017-08-09 10:22:55
437
转载 Presto实现原理和美团的使用实践
原文：https://tech.meituan.com/presto.htmlFacebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。在以前，Facebook的科学家和分析师一直依靠Hive来做数据分析。但Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hi
2017-08-09 10:13:15
1066
转载 Impala介绍及与Hive比较
原文：http://www.aboutyun.com/thread-10425-1-1.html1. Impala架构Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的 Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query C
2017-08-09 10:07:17
672
转载 海量数据相似度计算之simhash和海明距离
原文：http://blog.jobbole.com/46839/我们采集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用，如果我们的爬虫每天采集的数据以千万计算，我们如何对于这些海量
2017-08-08 14:21:24
673
原创 计算文本相似度计算方法之一
1)余弦相似度：通过对两个文本分词，TF-IDF算法向量化，对比两者的余弦夹角，夹角越小相似度越高，但由于有可能一个文章的特征向量词特别多导致整个向量维度很高，使得计算的代价太大不适合大数据量的计算。2)SimHash：算法的主要思想是降维，将高维的特征向量映射成一个f-bit的指纹(fingerprint)，通过比较两篇文章的f-bit指纹的Hamming Distance来确定文章是否重复
2017-08-08 14:04:46
1313
转载 Java写入文件的几种方法（指定编码）
原文：http://www.111cn.net/jsp/Java/57796.html一，FileWritter写入文件FileWritter, 字符流写入字符到文件。默认情况下，它会使用新的内容取代所有现有的内容，然而，当指定一个true （布尔）值作为FileWritter构造函数的第二个参数，它会保留现有的内容，并追加新内容在文件的末尾。1. 替换所有现有
2017-08-08 13:52:30
29970
转载 Spark性能优化第七季之Spark Tungsten 钨丝计划
原文：http://blog.csdn.net/sundujing/article/details/51424491一：“钨丝计划”产生的本质原因1，Spark作为一个一体化多元化的（大）数据处理通用平台，性能一直是其根本性的追求之一，Spark基于内存迭代（部分基于磁盘迭代）的模型极大的满足了人们对分布式系统处理性能的渴望，但是有Spark事采用Scala+Java语言编写的
2017-08-07 13:31:30
1102
原创 Java8重复注解与类型注解
Java8对注解处理提供了两点改进：可重复的注解及可用于类型的注解。一、重复注解package com.expgiga.Java8;import java.lang.annotation.Repeatable;import java.lang.annotation.Retention;import java.lang.annotation.RetentionPolicy;
2017-08-07 10:04:30
551
原创 Java8时间日期格式化
时区的处理：ZonedDate/ZonedTime/ZonedDateTimepackage com.expgiga.Java8;import java.time.LocalDateTime;import java.time.ZoneId;import java.time.ZonedDateTime;import java.time.format.DateTimeFo
2017-08-06 19:17:19
24989
原创 Java8时间校正器
TemporalAdjuster：时间校正器。TemporalAdjusters：该类通过静态方法提供了大量的常用TemporalAdjuster的实现。package com.expgiga.Java8;import java.time.DayOfWeek;import java.time.LocalDateTime;import java.time.temporal.Tem
2017-08-06 19:00:59
468
原创 Java8新时间与日期API—本地时间与时间戳
LocalDate/LocalTime/LocalDateTime类的实例是不可变的对象。分别表示使用ISO-8691日历系统的日期、时间、日期和时间。它们提供了简单的日期或时间，并不包含当前的时间信息。也不包括与时区相关的信息。package com.expgiga.Java8;import java.time.*;/** * */public class TestLo
2017-08-06 17:12:50
1656
原创 Java传统的时间格式化的线程安全问题
以下代码会报错：package com.expgiga.Java8;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Date;import java.util.List;import java.util.concurrent.*;/** * 测试传统时间格式化的线程
2017-08-06 16:19:50
2488
原创 Java8接口中默认方法和静态方法
Java8接口中允许有实现的方法称为默认方法，用default修饰。接口默认方法的"类优先"原则：若一个接口定义了一个默认的方法，而另外一个父类或接口中又定义了一个同名的方法时：1.选择父类中的方法2.接口冲突要求必须实现该方法。接口中的静态方法：调用方式一样。接口名.静态方法名
2017-08-06 15:48:08
362
原创 Java8 Optional类
避免空指针异常。package com.expgiga.Java8;import java.util.Optional;/** * */public class TestOptional { /* * Optional.of(T t):创建实例 * Optional.empty():创建一个空的Optional实例 * Optional.
2017-08-06 15:25:11
307
原创 Java8 Stream 归约 使用示例
package com.expgiga.Java8;/** * */public class Employee { private String name; private int age; private double salary; private int id; private Status status; public Empl
2017-08-06 14:56:46
2019
1
原创 Java8 Stream的终止操作使用示例
package com.expgiga.Java8;/** * */public class Employee { private String name; private int age; private double salary; private int id; private Status status; public Empl
2017-08-06 14:14:51
914
原创 Java8 Stream排序
/* * 排序 * sorted():自然排序(Comparable) * sorted(Comparator com)：定制排序(Comparator) */List list3 = Arrays.asList("aa", "bb", "cc", "dd", "ee");list3.stream() .sorted() .forEach(System.
2017-08-06 00:25:59
9549
1
原创 Java8 Stream映射
package com.expgiga.Java8;/** * */public class Employee { private String name; private int age; private double salary; private int id; public Employee() { } public E
2017-08-06 00:14:15
1562
原创 Java8 Stream的筛选和切片
写多了Spark/Scala，这个是比较简单的。package com.expgiga.Java8;/** * */public class Employee { private String name; private int age; private double salary; private int id; public Empl
2017-08-05 23:47:42
4016
原创 Java8 Stream API之创建Stream示例
package com.expgiga.Java8;import java.util.ArrayList;import java.util.Arrays;import java.util.List;import java.util.stream.Stream;/** * Java8 Stream * * 一、Stream的三个操作步骤： * 1. 创建Stream * 2.
2017-08-05 22:53:54
378
原创 Java8方法引用和构造器引用示例
package com.expgiga.Java8;import java.io.PrintStream;import java.util.Comparator;import java.util.function.*;/** * 一、方法引用：若Lambda体中的内容有方法已经实现了，可以使用"方法引用"(可以理解为方法引用是Lambda表达式的另外一种表现形式) * * 主要有
2017-08-05 21:00:33
1404
原创 Java8中内置的四大核心函数式接口
package com.expgiga.Java8;import java.util.ArrayList;import java.util.Arrays;import java.util.List;import java.util.function.Consumer;import java.util.function.Function;import java.util.functio
2017-08-05 20:15:38
1380
2
原创 Java8 Lambda语法 示例
package com.expgiga.Java8;/** * */@FunctionalInterfacepublic interface MyFunction { public Integer getValue(Integer num);}package com.expgiga.Java8;import java.net.Inet4Address;
2017-08-05 18:57:27
456
原创 Java8 Lambda表达式和Stream API示例 （像Scala了）
Lambda是一个匿名函数，可以将Lambda表达式理解为是一段可以传递代码。package com.expgiga.Java8;/** * */public class Employee { private String name; private int age; private double salary; public Employee(
2017-08-05 16:07:34
724
转载 hbase 通过mapreduce方式对hbase表的备份及恢复（export import）
1, hbase自带的备份恢复工具hbase org.apache.hadoop.hbase.mapreduce.Export 'table1' /home/fred/table1hbase org.apache.hadoop.hbase.mapreduce.Import 'table1' /home/fred/table1导入时必须先创建表结构。http://www.itey
2017-08-04 14:57:58
2362
转载 java.util.Queue使用示例
队列是一种特殊的线性表，它只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作。进行插入操作的端称为队尾，进行删除操作的端称为队头。队列中没有元素时，称为空队列。在队列这种数据结构中，最先插入的元素将是最先被删除的元素；反之最后插入的元素将是最后被删除的元素，因此队列又称为“先进先出”（FIFO—first in first out）的线性表。在java5中
2017-08-04 11:02:35
406
转载 打造企业级云深度学习平台——小米云深度学习平台的架构设计与实现
原文：http://geek.csdn.net/news/detail/201311
2017-08-04 09:52:22
448
转载 自然语言处理技术（NLP）在推荐系统中的应用
原文：http://geek.csdn.net/news/detail/208281作者： 张相於，58集团算法架构师，转转搜索推荐部负责人，负责搜索、推荐以及算法相关工作。多年来主要从事推荐系统以及机器学习，也做过计算广告、反作弊等相关工作，并热衷于探索大数据和机器学习技术在其他领域的应用实践。 责编：何永灿（heyc@csdn.net） 本文为《程序员》原创文章，更多精彩文
2017-08-03 17:22:13
5700
转载 JAVA正则表达式：Pattern类与Matcher类详解
java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包。它包括两个类：Pattern和Matcher Pattern 一个Pattern是一个正则表达式经编译后的表现模式。 Matcher 一个Matcher对象是一个状态机器，它依据Pattern对象做为匹配模式对字符串展开匹配检查。 首先一个Pattern实例订制了一个所用语法与PERL的类似的正则表达式经编
2017-08-03 16:32:45
288
原创 Java Comparator和Comparable介绍与示例
示例：public final class String implements java.io.Serializable, Comparable, CharSequence {List strList = new ArrayList();strList.add("a");strList.add("b");strList.add("g");strList.add("d")
2017-08-03 15:59:36
450
原创 Docker核心概念
Docker的主要目标是：Builder,Ship and Run Any App, Anywhere，即通过对用应用组件的封装(Packaging),(Distribution),(Deployment),(Runtime)等生命周期的管理，达到应用组件级别的"一次封装，到处运行"。这里的应用组件，既可以是一个Web应用，也可以是一套数据库服务，甚至是一个操作系统或编译器。Docke
2017-08-03 15:31:26
507
1
转载 关联规则FpGrowth算法
上一篇介绍了关联规则挖掘的一些基本概念和经典的Apriori算法，Aprori算法利用频繁集的两个特性，过滤了很多无关的集合，效率提高不少，但是我们发现Apriori算法是一个候选消除算法，每一次消除都需要扫描一次所有数据记录，造成整个算法在面临大数据集时显得无能为力。今天我们介绍一个新的算法挖掘频繁项集，效率比Aprori算法高很多。 FpGrowth算法通过构造一个树结构来压缩数据记录，
2017-08-03 14:17:59
1108
转载 CentOS 6.2 安装OpenSSH Server
原文：http://www.cnblogs.com/eastson/archive/2012/06/29/2570163.html安装好了CentOS 6.2，我想让它作为一个服务器，可以让我的Windows 7电脑远程登录。 安装OpenSSH Server首先，我们搜索一下CentOS的软件库里面有没有已经定义好的SSH服务器包：$ yum search ssh
2017-08-03 10:17:35
1045
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人