![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 80
主要发布关于Hadoop等学习笔记
盛者无名
有些梦虽然遥不可及,但是并不是不可能实现,只要我足够的强
展开
-
HiveQL
当用户向传统数据库写入数据的时候,不管是采用装载外部数据的方式,还是采用将一个查询的输出结果写入的方式,或者使用UPDATE语句,等等,数据库对于存储都具有完全的控制力。MapReduce job中传输的所有数据都是按照键值对的方式进行组织的,因此Hive在将用户的查询语句转换成MapReduce job时,其必须在内部使用这个功能。Hive中数据库的概念本质仅仅是表的一个目录或者命名空间,然而,对于具有很多组和用户的大集群来说,这是非常有用的,因为这样可以避免表明名冲突。数据分区的一般概念存在已久。原创 2022-10-27 17:19:08 · 1066 阅读 · 0 评论 -
关于大数据系统及Hadoop系统中的概念
大数据(Big Data)姑且定义为无法被符合服务等级协议(service level agreement,SLA)的单台计算机处理或存储的任何数据集。理论上讲,单台计算机可以处理任意规模的数据,对于超过单台计算机存储量的海量数据,可以存放到类似网络附属存储(network attached storage,NAS)这样的共享存储设备中,然后输入到单台计算机去计算处理。但是这样处理数据所花费的时间往往会大大超过允许的数据处理时间。原创 2022-10-18 16:10:39 · 844 阅读 · 0 评论 -
Hadoop分布式部署
hadoop分布式搭建原创 2022-10-19 21:07:05 · 632 阅读 · 0 评论 -
Hadoop中配置文件重要属性释义
Hadoop集群中的每台计算节点都有自己的一组配置文件。这些配置文件中的配置项可以覆盖上述提到的默认配置文件中的相同配置项,它们是集群的最终配置值。此外,有两种类型的配置文件:*-default.xml 和 *-site.xml。*-site.xml 中的配置项覆盖 *-default.xml的相同配置项。Hadoop集群中的每个节点必须要有配置文件的一个拷贝,包括集群的客户端节点。4) *-default.xml 文件中的默认值,这个文件是集群中的所有节点都相同。2)客户端节点的 *-site.xml。原创 2022-10-20 15:11:50 · 1593 阅读 · 0 评论