关注
分享
小草君
其实，你不快乐的根源，是因为你不知道要什么！你不知道要什么，所以你不知道去追求什么，你不知道追求什么，所以你什么也得不到
展开
-
java内存回收
java垃圾回收机制，内存泄露 ，内存分配原创 2015-01-06 22:28:16 · 679 阅读 · 0 评论 -
使用scala实现pageRank算法
使用scala实现pageEank算法原创 2016-06-02 19:13:40 · 1712 阅读 · 0 评论 -
使用scala实现pageRank算法
使用scala实现pageRank算法 使用scala实现pageRank算法 使用scala实现pageRank算法 使用scala实现pageRank算法原创 2016-06-02 19:38:31 · 3002 阅读 · 0 评论 -
Alpha、Beta、RC、GA版本 说明
Alpha、Beta、RC、GA版本 说明原创 2016-06-07 16:57:43 · 366 阅读 · 0 评论 -
详细探究Spark的shuffle实现和hadoop mapreduce shuffle原理
详细探究Spark的shuffle实现和hadoop mapreduce原理 详细探究Spark的shuffle实现和hadoop mapreduce原理转载 2016-06-25 16:36:47 · 3923 阅读 · 0 评论 -
Spark架构深入剖析
Spark架构深入剖析Spark架构深入剖析转载 2016-06-12 11:30:53 · 1219 阅读 · 0 评论 -
搭建hadoop2.6.0 HA及YARN HA
搭建hadoop2.6.0 HA及YARN HA转载 2016-06-06 18:01:53 · 656 阅读 · 0 评论 -
HBase -ROOT-和.META.表结构
HBase -ROOT-和.META.表结构转载 2016-06-14 20:10:01 · 4081 阅读 · 1 评论 -
ZooKeeper原理及使用
ZooKeeper原理及使用转载 2016-06-15 10:10:22 · 732 阅读 · 0 评论 -
Storm架构分析
Storm架构分析 Storm架构分析转载 2016-06-18 22:45:26 · 919 阅读 · 0 评论 -
Hadoop中Partition解析 和 storm的grouping
解析PartitionMap的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出，下面我们就来分析参与这个过程的类。Mapper的结果，可能送到Combiner做合并，Combiner在系统中并没有自己的基类，而是用Reducer作为Combiner的基类，他们对外的功能是一样的，只是使用的位置和使用时原创 2016-06-19 14:23:03 · 941 阅读 · 0 评论 -
Spark 应用程序调优
Spark 应用程序调优转载 2016-07-06 20:14:04 · 2623 阅读 · 0 评论 -
深入HBase架构解析
深入HBase架构解析深入HBase架构解析深入HBase架构解析深入HBase架构解析转载 2016-06-12 20:36:57 · 8169 阅读 · 0 评论 -
Flume 数据采集系统 性能优化和关键问题汇总
Flume 性能优化 和关键问题汇总 Flume 数据采集系统 性能优化和关键问题汇总 Flume 数据采集系统 性能优化和关键问题汇总原创 2016-06-01 20:02:56 · 13311 阅读 · 0 评论 -
大数据和云服务领域的我的思考（拙见）
大数据和云服务领域的我的思考（拙见）原创 2016-05-07 19:30:37 · 977 阅读 · 0 评论 -
hive大数据倾斜总结
关键词情形后果Join其中一个表较小，但是key集中分发到某一个或几个Reduce上的数据远高于平均值大表与大表，但是分桶的判断字段0值或空值过多这些空值都由一个reduce处理，灰常慢group bygroup by 维度过小，某值的数量过多处理转载 2015-03-22 22:46:15 · 2036 阅读 · 0 评论 -
hive优化之------控制hive任务中的map数和reduce数
一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例： a) 假设input目录下有原创 2015-03-22 22:26:22 · 546 阅读 · 0 评论 -
ZH奶酪：编程语言入门经典100例【Python版】
无论学习哪门计算机语言，只要把100例中绝大部分题目都做一遍，就基本掌握该语言的语法了。【程序1】题目：有1、2、3、4个数字，能组成多少个互不相同且无重复数字的三位数？都是多少？#Filename:001.pycnt = 0#count the sum of resultfor i in range(1,5): for j in range(1,5):转载 2015-07-11 14:36:39 · 1287 阅读 · 0 评论 -
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程~（心血之作啊~~）
转载至： http://blog.csdn.net/licongcong_0224/article/details/12972889历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）PS：转载请注明来源：http://blog.csd转载 2015-08-27 16:20:46 · 637 阅读 · 0 评论 -
分布式系统开发常见问题-1. session的复制与共享 2. 分布式缓存的设计
1. session的复制与共享在web应用中，为了应对大规模访问,必须实现应用的集群部署.要实现集群部署主要需要实现session共享机制,使得多台应用服务器之间会话统一, tomcat等多数主流web服务器都采用了session复制以及实现session的共享. 但问题还是很明显的：在节点持续增多的情况下,session复制带来的性能损失会快速增加.特别是当session中转载 2015-08-06 15:36:00 · 623 阅读 · 0 评论 -
管理系统的权域设计
管理系统的权域设计原创 2016-03-27 16:53:34 · 916 阅读 · 1 评论 -
2014年终研发工程师工作总结【转】
总想写点什么，这东西其实在给人力的excel有，但是为啥还要写呢。一是感觉那个版本写的总有点束缚；二是作为一个年末的工作总结，这里不只是技术，更多的工作的环节问题，不管对不对，都是自己的感悟。工作中沟通：先说和领导的沟通，往年的工作经验我和领导的关系可以算作朋友，话说我还做过领导的家人还有同事车去鸟巢看国际田径比赛，可以说是关系很好的那种，跟其他部门的领导也是。但是什么都有不同，不转载 2014-12-26 17:35:10 · 2771 阅读 · 1 评论 -
HDFS的工作原理
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的 机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。原创 2016-04-18 10:51:23 · 781 阅读 · 0 评论 -
hadoop 多表关联
hadoop mapreduce实现表关联，笛卡尔集。 hadoop 多表关联转载 2016-05-26 13:11:20 · 2444 阅读 · 0 评论 -
Spark RDD详解
RDD：Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。转载 2016-05-07 18:23:21 · 2477 阅读 · 0 评论 -
Flume+kafka+spark streaming+scala(sbt编译) 例子演示
Flume+kafka+spark streaming+scala(sbt编译) 例子演示 原创。原创 2016-05-18 14:20:34 · 3051 阅读 · 3 评论 -
HBase深入分析之RegionServer
http://www.binospace.com/index.php/hbase-in-depth-analysis-of-the-regionserver/?utm_source=tuicool&utm_medium=referral所有的用户数据以及元数据的请求，在经过Region的定位，最终会落在RegionServer上，并由RegionServer实现数据的读写操作。转载 2016-06-22 23:28:00 · 4711 阅读 · 0 评论