![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
媛测
这个作者很懒,什么都没留下…
展开
-
概念普及-云计算 大数据 Hadoop BI
云计算最早是 2006 年由 Google 提出。云计算定义:云计算是一咱可以通过网络方便地接入共享资源池,按需获取计算资源的服务模型。资源包括:网络、服务器、存储、应用、服务等共享资源池中的资源可以通过较少的管理代价和简单业务交互过程,而快速部署和发布。云计算特点:按需提供服务:以服务的形式为用户提供应用程序、数据存储、基础设施等资源,根据用户需求自动分配资源。...原创 2019-05-21 20:46:51 · 6885 阅读 · 0 评论 -
事务ACID特性和分布式事务BASE理论
文章目录1、事务2、事务特性3、分布式事务4、BASE 理论1、事务事务 Transaction,最初特指数据库事务,是数据库管理系统执行过程中的一个逻辑单元,由一个有限的数据库操作序列(数据读写)构成。后面扩展为广义上的一组特定的操作集合,通常由高级数据库操纵语言或编程语言(如 SQL,C++ 或 Java)书写,并用形如 begin transaction 和 end transact...原创 2019-05-25 17:52:19 · 569 阅读 · 0 评论 -
Hadoop常用shell命令
总结一些 Hadoop 常用的 shell 命令:命令说明hadoop fs -help查看命令帮助hadoop fs -ls /查看 hdfs 根目录下的文件列表hadoop fs -put localsrc dsthadoop fs -f -put localsrc dst上传本地文件到 hdfs,若文件已存在则报错;若文件存在,则覆盖上传hado...原创 2019-05-26 23:19:36 · 762 阅读 · 0 评论 -
Hadoop启动报错常见问题
部署好 Hadoop 和 Yarn 之后,执行启动命令 ./sbin/start-dfs.sh,但是却出现各种报错问题,在此记录一下常见的两个问题。1、Could not resolve hostname报错信息:19/05/17 21:31:18 WARN hdfs.DFSUtil: Namenode for null remains unresolved for ID null. Ch...原创 2019-05-23 18:57:25 · 7115 阅读 · 0 评论 -
什么是大数据血缘?
今天跟一个测试同事聊天:我:最近忙什么项目呢?他:在测大数据血缘我:啥?他:血缘啊我:啥血缘?他:大数据血缘啊我:血缘是啥?他:就是数据血缘啊我:...看看,天就是这么被聊死的,我忍不住内心OS(怪不得你秃顶还没女朋友)我赶紧回来问问 google,分析了各路答案之后,可以总结成两句话:通常我们会对原始数据进行多个步骤的各种加工,最后产生出新的数据,在这个过程中会产生很...原创 2019-06-19 20:55:11 · 21786 阅读 · 6 评论