云计算
富的只剩下代码
富的只剩下代码
展开
-
调试大规模服务器集群的五大策略
摘要:对于开发者而言,是否具备一个完善的服务器调试策略将对整个部署维护工作有着至关重要的影响。Alex Zhitnitsky经常帮助Java、Scala开发人员解决服务器端的错误和对常用软件进行测试,本文是他分享的一些经验。【编者按】随着互联网迅速发展,用户访问量以及服务器规模的越来越大,因此,创建一个可靠、稳定、优质的互联网服务是开发者的首要目标。而对于开发者而言,是否具备一个完善的服务器调试策略将对整个部署维护工作有着至关重要的影响。作者Alex Zhitnitsky现就职于Takipi,其经常帮助原创 2015-01-13 16:45:25 · 561 阅读 · 0 评论 -
Storm over Gearpump & StreamingSQL on Spark解析
原文地址:http://geek.csdn.net/news/detail/54405在第二次上海大数据流处理聚会上,来自 Intel,大众点评与 Cloudera 的大数据工程师与大家分享时下大数据流处理最火热的话题。张天伦:Storm over GearpumpIntel大数据工程师张天伦演讲开始前,张天伦通过介绍自己的工作表达了对s转载 2016-02-03 13:01:02 · 1651 阅读 · 0 评论 -
飞驰在Mesos的涡轮引擎上
原文地址:http://geek.csdn.net/news/detail/95699声明: CSDN作者原创投稿文章,未经许可,禁止转载。 作者:蔡伟伟,本科毕业于同济大学,从事Java开发多年,后端码农一枚。先后从事ETL、AdHoc报表、垂直爬虫、App制作云服务、动态用户分群等产品的设计研发工作。在互联网领域混迹多年,各方面均有所涉猎。现任MaxLeap数据分析组开发人员,转载 2016-08-21 07:56:24 · 824 阅读 · 0 评论 -
深入理解HBase的系统架构
https://blog.csdn.net/Yaokai_AssultMaster/article/details/72877127#hfileHBase的构成RegionsHBase的HMasterZooKeeperHBase各组成部分之间的合作HBase的第一次读写HBase的META tableRegion Server的组成HBase的写操作步骤步骤一步骤二HBase的MemStoreHB...转载 2018-05-10 13:22:02 · 182 阅读 · 0 评论 -
spark内核揭秘-14-Spark性能优化的10大问题及其解决方案
https://blog.csdn.net/stark_summer/article/details/42981201问题1:reduce task数目不合适解决方案:需要根据实际情况调整默认配置,调整方式是修改参数spark.default.parallelism。通常的,reduce数目设置为core数目的2-3倍。数量太大,造成很多小任务,增加启动任务的开销;数目太小,任务运行缓慢。所以要合...转载 2018-05-19 21:16:37 · 357 阅读 · 0 评论 -
spark性能优化:数据倾斜调优
https://blog.csdn.net/lw_ghy/article/details/51419877调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。数据倾斜发生时的现象 1、绝大多数task执行得都非常快,但个别task执行极慢。比如,...转载 2018-05-19 21:22:14 · 128 阅读 · 0 评论 -
Connection reset by peer
Connection reset by peer的常见原因:1)服务器的并发连接数超过了其承载量,服务器会将其中一些连接关闭; 如果知道实际连接服务器的并发客户数没有超过服务器的承载量,则有可能是中了病毒或者木马,引起网络流量异常。可以使用netstat -an查看网络连接情况。2)客户关掉了浏览器,而服务器还在给客户端发送数据;3)浏览器端按了Stop; 这两种情况一般不会影...转载 2018-07-26 17:17:01 · 1160 阅读 · 0 评论 -
hbase windows 单机版安装
大数据开发工作中,有时候开发和测试集群独立安装在特定的网段中,有时候想在本机上进行基于hbase的测试而又不想连接到大数据集群上,这个时候就可以将hbase在windows上安装个单机版。1.环境:windows:jdk:1.8hbase:1.1.2hadoop:2.配置环境变量:JAVA_HOMEHADOOP_HOMEHBASE...原创 2018-08-16 17:02:40 · 7320 阅读 · 0 评论 -
Spark方面的大牛博客地址收集!
http://blog.51cto.com/36006798/1872498Spark方面的大牛博客地址收集! 1、石山园 http://www.cnblogs.com/shishanyuan/ 2、段智华的博客 http://blog.csdn.net/duan_zhihua 3、西红柿炒土豆 http://blog.cs...转载 2018-10-25 16:56:29 · 243 阅读 · 0 评论