![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 94
仰望星空的尘埃程
专注于云计算、大数据、人工智能、区块链等技术;希望志同道合的小伙伴一起在技术的海洋畅游
展开
-
大数据MR模型以及代码实现
数据: [customers.txt] 1,tom,12 2,tom,13 3,tom,14 4,tom,15 [orders.txt] 1,no001,12.23,1 2,no001,12.23,1 3,no001,12.23,2 4,no001,12.23,2 5,no001,12.23,...原创 2018-10-16 18:30:16 · 1680 阅读 · 0 评论 -
Hive知识总结
hive-------------- 数据仓库,在线分析处理。 HiveQL,类似sql语言。 表,metadata->rdbms. hive处理的数据是hdfs. MR,聚合操作。1)内部表,2)管理表,3)托管表----------------------- 内部表的特点:hive,drop ,数据也删除外部表--------...原创 2018-10-21 15:58:23 · 222 阅读 · 0 评论 -
大数据的简介及Hadoop单机和分布式安装方法1
hadoop:开源软件,可靠的、分布式、可伸缩的大数据软件(是一个生态体系包括但不限于:hive、spark、MR、persto、kylin)国家提出去IOE战略:IBM //ibm大、小型机 Oracle //oracle数据库服务器 RAC EMC //EMC共享存储设备。数据量的技术;目前互联网公司产生的数据量是非常大的...原创 2018-10-21 18:05:21 · 6908 阅读 · 9 评论 -
Hadoop完全分布式安装2
hadoop简介: 1.独立模式(standalone|local)单机模式;所有的产品都安装在一台机器上且本地磁盘和副本可以在接下来的xml文件中 nothing! 本地文件系统。 不需要启用单独进程。 2.pesudo(伪分布模式) 等同于完全分布式,只有一个节点。 SSH: //(S...原创 2018-10-24 16:57:59 · 163 阅读 · 0 评论 -
大数据—zookeeper介绍-配置-安装-使用命令
zookeeper------------- 1.管理大量主机的协同服务。 2.分布式应用,实现分布式读写技术。 3.zk提供的服务 Naming service //按名称区分集群中的节点.(DNS的功能) Configuration management //对加入节点的最新化处理。() ...原创 2018-11-29 16:05:35 · 241 阅读 · 0 评论