互联网
文章平均质量分 74
小草君
其实,你不快乐的根源,是因为你不知道要什么!你不知道要什么,所以你不知道去追求什么,你不知道追求什么,所以你什么也得不到
展开
-
java内存回收
java垃圾回收机制,内存泄露 ,内存分配原创 2015-01-06 22:28:16 · 691 阅读 · 0 评论 -
使用scala实现pageRank算法
使用scala实现pageEank算法原创 2016-06-02 19:13:40 · 1746 阅读 · 0 评论 -
使用scala实现pageRank算法
使用scala实现pageRank算法 使用scala实现pageRank算法 使用scala实现pageRank算法 使用scala实现pageRank算法原创 2016-06-02 19:38:31 · 3021 阅读 · 0 评论 -
Alpha、Beta、RC、GA版本 说明
Alpha、Beta、RC、GA版本 说明原创 2016-06-07 16:57:43 · 379 阅读 · 0 评论 -
详细探究Spark的shuffle实现和hadoop mapreduce shuffle原理
详细探究Spark的shuffle实现和hadoop mapreduce原理 详细探究Spark的shuffle实现和hadoop mapreduce原理转载 2016-06-25 16:36:47 · 4538 阅读 · 0 评论 -
Spark架构深入剖析
Spark架构深入剖析Spark架构深入剖析转载 2016-06-12 11:30:53 · 1237 阅读 · 0 评论 -
搭建hadoop2.6.0 HA及YARN HA
搭建hadoop2.6.0 HA及YARN HA转载 2016-06-06 18:01:53 · 670 阅读 · 0 评论 -
HBase -ROOT-和.META.表结构
HBase -ROOT-和.META.表结构转载 2016-06-14 20:10:01 · 4117 阅读 · 1 评论 -
ZooKeeper原理及使用
ZooKeeper原理及使用转载 2016-06-15 10:10:22 · 744 阅读 · 0 评论 -
Storm架构分析
Storm架构分析 Storm架构分析转载 2016-06-18 22:45:26 · 956 阅读 · 0 评论 -
Hadoop中Partition解析 和 storm的grouping
解析PartitionMap的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通过OutputFormat,进行输出,下面我们就来分析参与这个过程的类。Mapper的结果,可能送到Combiner做合并,Combiner在系统中并没有自己的基类,而是用Reducer作为Combiner的基类,他们对外的功能是一样的,只是使用的位置和使用时原创 2016-06-19 14:23:03 · 964 阅读 · 0 评论 -
Spark 应用程序调优
Spark 应用程序调优转载 2016-07-06 20:14:04 · 2660 阅读 · 0 评论 -
深入HBase架构解析
深入HBase架构解析深入HBase架构解析深入HBase架构解析深入HBase架构解析转载 2016-06-12 20:36:57 · 8238 阅读 · 0 评论 -
Flume 数据采集系统 性能优化和关键问题汇总
Flume 性能优化 和关键问题汇总 Flume 数据采集系统 性能优化和关键问题汇总 Flume 数据采集系统 性能优化和关键问题汇总原创 2016-06-01 20:02:56 · 13417 阅读 · 0 评论 -
大数据和云服务领域的我的思考(拙见)
大数据和云服务领域的我的思考(拙见)原创 2016-05-07 19:30:37 · 992 阅读 · 0 评论 -
hive大数据倾斜总结
关键词情形后果Join其中一个表较小,但是key集中分发到某一个或几个Reduce上的数据远高于平均值大表与大表,但是分桶的判断字段0值或空值过多这些空值都由一个reduce处理,灰常慢group bygroup by 维度过小,某值的数量过多处理转载 2015-03-22 22:46:15 · 2047 阅读 · 0 评论 -
hive优化之------控制hive任务中的map数和reduce数
一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2. 举例: a) 假设input目录下有原创 2015-03-22 22:26:22 · 559 阅读 · 0 评论 -
ZH奶酪:编程语言入门经典100例【Python版】
无论学习哪门计算机语言,只要把100例中绝大部分题目都做一遍,就基本掌握该语言的语法了。【程序1】题目:有1、2、3、4个数字,能组成多少个互不相同且无重复数字的三位数?都是多少?#Filename:001.pycnt = 0#count the sum of resultfor i in range(1,5): for j in range(1,5):转载 2015-07-11 14:36:39 · 1300 阅读 · 0 评论 -
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
转载至: http://blog.csdn.net/licongcong_0224/article/details/12972889历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为菜鸟真心被各种折磨,不过当wordcount给出结果的那一刻,兴奋的不得了~~(文当中若有错误之处或疑问欢迎指正,互相学习)PS:转载请注明来源:http://blog.csd转载 2015-08-27 16:20:46 · 672 阅读 · 0 评论 -
分布式系统开发常见问题-1. session的复制与共享 2. 分布式缓存的设计
1. session的复制与共享在web应用中,为了应对大规模访问,必须实现应用的集群部署.要实现集群部署主要需要实现session共享机制,使得多台应用服务器之间会话统一, tomcat等多数主流web服务器都采用了session复制以及实现session的共享. 但问题还是很明显的:在节点持续增多的情况下,session复制带来的性能损失会快速增加.特别是当session中转载 2015-08-06 15:36:00 · 639 阅读 · 0 评论 -
管理系统的权域设计
管理系统的权域设计原创 2016-03-27 16:53:34 · 962 阅读 · 1 评论 -
2014年终研发工程师工作总结【转】
总想写点什么,这东西其实在给人力的excel有,但是为啥还要写呢。一是感觉那个版本写的总有点束缚;二是作为一个年末的工作总结,这里不只是技术,更多的工作的环节问题,不管对不对,都是自己的感悟。工作中沟通:先说和领导的沟通,往年的工作经验我和领导的关系可以算作朋友,话说我还做过领导的家人还有同事车去鸟巢看国际田径比赛,可以说是关系很好的那种,跟其他部门的领导也是。但是什么都有不同,不转载 2014-12-26 17:35:10 · 2793 阅读 · 1 评论 -
HDFS的工作原理
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的 机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统。原创 2016-04-18 10:51:23 · 798 阅读 · 0 评论 -
hadoop 多表关联
hadoop mapreduce实现表关联,笛卡尔集。 hadoop 多表关联转载 2016-05-26 13:11:20 · 2467 阅读 · 0 评论 -
Spark RDD详解
RDD:Spark的核心概念是RDD (resilientdistributed dataset),指的是一个只读的,可分区的分布式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。转载 2016-05-07 18:23:21 · 2494 阅读 · 0 评论 -
Flume+kafka+spark streaming+scala(sbt编译) 例子演示
Flume+kafka+spark streaming+scala(sbt编译) 例子演示 原创。原创 2016-05-18 14:20:34 · 3073 阅读 · 3 评论 -
HBase深入分析之RegionServer
http://www.binospace.com/index.php/hbase-in-depth-analysis-of-the-regionserver/?utm_source=tuicool&utm_medium=referral所有的用户数据以及元数据的请求,在经过Region的定位,最终会落在RegionServer上,并由RegionServer实现数据的读写操作。转载 2016-06-22 23:28:00 · 4767 阅读 · 0 评论