- 博客(3)
- 收藏
- 关注
RSS订阅原创 hadoop底层原理(一)
hadoop是apache基金会所开发的并行计算和分布式存储系统，最核心的模块是hadoop common、hdfs和mapreduce。HDFS hdfs是分布式文件管理系统(hadoop distributed file system)的缩写，为分布式计算引擎提供了底层支持。采用java语言编写，可以部署在廉价的机器上，以集群的机器数量积达到大型主机的处理性能。 ...
2020-04-30 15:23:48
3815
转载 磁盘IO的概念
在数据库优化和存储规划过程中，总会提到IO的一些重要概念，在这里就详细记录一下，对这个概念的熟悉程度也决定了对数据库与存储优化的理解程度，以下这些概念并非权威文档，权威程度肯定就不能说了。读/写IO，最为常见说法，读IO，就是发指令，从磁盘读取某段扇区的内容。指令一般是通知磁盘开始扇区位置，然后给出需要从这个初始扇区往后读取的连续扇区个数，同时给出动作是读，还是写。磁盘收到这条
2018-01-10 16:29:51
1592
转载 浅谈数据分析和数据建模
浅谈数据分析和数据建模 大数据应用有几个方面，一个是效率提升，帮助企业提升数据处理效率，降低数据存储成本。另外一个是对业务作出指导，例如精准营销，反欺诈，风险管理以及业务提升。过去企业都是通过线下渠道接触客户，客户数据不全，只能利用财务数据进行业务运营分析，缺少围绕客户的个人数据，数据分析应用的领域集中在企业内部经营和财务分析。数字时代到来之后，企业经营的各个阶段都可以被记录下来，产品
2016-06-03 22:44:50
3764
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人