![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习之路
文章平均质量分 73
田小雨
厚积才能薄发!自己选择的路,再苦再累也要坚持走下去
展开
-
Hadoop 1.0 到 Hadoop 3.0版本功能概述
2003-2004年,Google公布了部分GFS和MapReduce思想的细节,受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。2005年,Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年2月被分离出来,成为一套完整独立的软件,起名为HadoopHadoop名字不是一个缩写,而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛.原创 2021-11-22 19:04:02 · 2310 阅读 · 0 评论 -
金融企业数字化中台建设全景图
中台是否可以包治百病? 很多企业期望中台能够把业务增长慢、企业运作效率低、组织架构臃肿、缺乏创新等问题都解决,幻想着中台战略短期内一步到位,长期能够包治百病,真做起来的时候才发现无从下手或者缺乏清晰目标,最终很难落地。 中台并不是什么都做,中台的建设应该采用产品化思维,要清晰地定义中台的边界,明确中台在企业架构、应用架构中的位置,明确中台上下游中与其他系统的关系,要提供哪些基本的基础服务于服务能力,要对接哪些能力,同时为谁服务,也需要明确建设的目标及考核指标。 中台...原创 2021-11-13 16:57:02 · 1214 阅读 · 0 评论 -
数字化转型的本质:“研产供销服”各环节的敏捷化
数字化转型是企业通过“研产供销服”各环节的数字化,实现大规模的个性化产品制造,即通过市场数字化手段与产品数字化手段,洞察客户需求,快速完成产品的定义与验证,缩短产品研发时间,减少试错成本;通过生成过程的数字化,实现制造的横向集成与纵向集成,提高个性化生成的能力,提高产品质量;通过供应链的数字化,建立完备、高效的物流与供应链体系,实现资源整合,提高效率,防止风险;通过营销的数字化,连接客户与企业,构建客户的全渠道触达,实现精准互动与交易,让营销资源的利用更加高效,推广成本降低;通过客户服务的数字化...原创 2021-11-08 12:04:14 · 6819 阅读 · 1 评论 -
HBase场景优化之regions过多、region过大
# Regions过多优化 通过OGG接入大量小表或者某些场景下,会出现HBase集群regions“过多”的情况,在某集群上有看到不到10个节点的集群,regions将近1万,其中一张不到1TB的表,有将近4000个region。 一般情况下,单个region的大小建议控制在5GB以内,可以通过参数hbase.hregion.max.filesize来设置,单个regionserver下的regions个数控制在200个以内。regions过多会导致集群不堪重负、regionserve...原创 2021-10-27 11:40:57 · 2572 阅读 · 0 评论 -
系统架构师成长之路(二)
第一部计算机并没有操作系统。这是由于早期个人电脑的建立方式(如同建造机械计算机)与效能不足以执行如此程序。但在1947年发明了晶体管,以及莫里斯·威尔克斯(Maurice Vincent Wilkes)发明的微程序方法,使得电脑不再是机械设备,而是电子产品。系统管理工具以及简化硬件操作流程的程序很快就出现了,且成为操作系统的基础。原创 2016-05-08 22:39:54 · 3477 阅读 · 0 评论 -
系统架构师成长之路(一)
系统架构师是近几年来在国内外迅速成长并发展良好的一个职业,它对系统开发和信息化建设的重要性及给IT业所带来的影响是不言而喻的。做为一个职场新人,如何发展成为架构师,架构师都需要具备哪些素质?原创 2016-05-07 19:23:35 · 12438 阅读 · 0 评论 -
系统架构师成长之路(五)
在计算机发展的初期,“大容量”硬盘的价格还相当高,解决数据存储安全性问题的主要方法是使用磁带机等设备进行备份,这种方法虽然可以保证数据的安全,但查阅和备份工作都相当繁琐。为什么大数据集群不需要做Raid?在集群规模达到一定规模的时候,为什么需要使用DNS?原创 2016-05-16 11:28:00 · 1078 阅读 · 0 评论 -
系统架构师成长之路(三)
“冰山在海上之所以显得庄严宏伟,是因为他只有八分之一露出水面。”数据之所以显得能量巨大,是因为需要巨大的数据量为支撑,通过分析挖掘搞清楚水下的“八分之七”,才能得出最精华的结论。搞清楚水下,就是未来的机会所在原创 2016-05-10 22:49:07 · 5390 阅读 · 0 评论 -
Haoop集群为何不使用RAID?
第一次做集群服务器时还以为需做raid,原来Hadoop集群服务器根本不需要使用Raid,因为···原创 2015-05-19 17:21:21 · 1155 阅读 · 0 评论