大数据
田心山人
平时会不断更新,总结知识点,欢迎加关注。
展开
-
大数据闲谈及前景展望
首先我们承认一个事实,所有的计算机的硬盘里每天都在增加信息,物质守恒定律对于信息这种东西仿佛不管用,信息只会越来越多。古代及现代我们用书籍存储知识,现在我们用硬盘记录信息,书会随着时间老化,硬盘其实也会老化,所以应该把重要的信息提取出来,加以利用。这是一方面,另一方面产生了大量数据,怎么来处理这些数据呢?我们处理数据会放在数据库中,为啥不直接放在硬盘里,放在硬盘相当于用操作系统对数据进行增删改查,原创 2017-04-16 21:07:57 · 562 阅读 · 0 评论 -
Hadoop的优点及需要考虑的问题
Hadoop是分布式系统,就是从多个硬盘中同时读取数据,假如还是从一个硬盘里读数据就浪费资源了,这些数据可能还需要拼接起来,所以优点1:并行读写数据速度快,解决的读写速度慢的问题。并行读写对保证数据的正确性是一个挑战。还有一个问题是所有系统需要考虑的问题,硬件故障,所以需要数据备份,怎么备份需要一个合适的解决方案,比如一份数据需要备份几份,备份的数据需要放在那里,Hadoop的方案是我们大多都能想原创 2017-04-16 22:16:04 · 1130 阅读 · 1 评论