Hadoop
文章平均质量分 82
Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Michael阿明
两个孩子的父亲,8年机械工程师,已转行互联网做算法,一起继续加油!高举智慧,她就使你高升;怀抱智慧,她就使你尊荣。-- 箴言(4:8)
展开
-
WIN 10 安装 Hadoop 2.7.7 + Spark 2.4.7 记录
文章目录0. 常规解压安装,并添加环境变量1. 下载并覆盖 bin 文件夹2. 使VERSION文件的clusterID一致3. 贴下单机配置测试0. 常规解压安装,并添加环境变量1. 下载并覆盖 bin 文件夹下载 hadooponwindows-master.zip下载地址:https://pan.baidu.com/s/1o7YTlJO将下载好的 hadooponwindows-master.zip 解压,将解压后的 bin目录下的所有文件直接覆盖Hadoop的 bin目录2. 使VE原创 2021-04-27 20:13:48 · 541 阅读 · 0 评论 -
数据仓库 Hive(内含大数据镜像下载)
文章目录1. 特点2. Hive 体系架构3. 安装 Hive3.1 安装 MySQL3.2 安装 Hive3.3 配置 Hive安装没成功:直接用现成的镜像大数据Linux实验环境虚拟机镜像文件 http://dblab.xmu.edu.cn/blog/1645-2/cloudera-quickstart-vm-集成了大数据平台的虚拟机镜像1. 特点查询语言与 SQL 接近并行执行使用 HDFS 存储支持多种数据格式不支持数据更新不支持索引执行延迟高(不适合在线数据查询)可扩展性原创 2021-03-29 23:24:33 · 1624 阅读 · 0 评论 -
MapReduce 编程实践:统计对象中的某些属性
文章目录1. 生成数据2. 编写实体类参考书:《Hadoop大数据原理与应用》1. 生成数据超市消费者 数据: id, 时间,消费金额,会员/非会员使用 Python 生成虚拟数据import randomimport timeconsumer_type = ['会员', '非会员']vip, novip = 0, 0vipValue, novipValue = 0, 0with open("consumer.txt",'w',encoding='utf-8') as f: for i原创 2021-03-26 19:23:46 · 401 阅读 · 2 评论 -
MapReduce 编程实践
文章目录1. MapReduce 作业流程2. 实践2.1 启动 hadoop2.2 创建 java 项目参考书:《Hadoop大数据原理与应用》1. MapReduce 作业流程2. 实践2.1 启动 hadoopstart-dfs.shstart-yarn.shmr-jobhistory-daemon.sh start historyserver# 第三条可以用下面的命令,上面的显示过期了,以后弃用mapred --daemon start historyserver2.2 创原创 2021-03-25 20:35:50 · 1119 阅读 · 0 评论 -
HDFS Java API 实践
文章目录1. 启动 Hadoop 集群2. 使用 HDFS Shell3. 使用 HDFS Web UI1. 启动 Hadoop 集群安装集群:https://michael.blog.csdn.net/article/details/114607857启动命令:start-dfs.shstart-yarn.shmr-jobhistory-daemon.sh start historyserver# 第三条可以用下面的命令,上面的显示过期了,以后弃用mapred --daemon start原创 2021-03-17 00:29:02 · 435 阅读 · 0 评论 -
hadoop 多机全分布式安装步骤(虚拟机1master+2slave)
文章目录1. 虚拟机安装Centos71. 虚拟机安装Centos7安装3台虚拟机,centos7,一个master,两个slave原创 2021-03-11 23:32:23 · 3686 阅读 · 13 评论 -
hadoop 单机伪分布式安装步骤
文章目录1. 安装 Java2. 配置SSH无密码登录3. 下载 hadoop4. 配置环境变量5. 报错处理参考环境 Centos7参考:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htmlhttps://blog.csdn.net/bingduanlbd/article/details/518741951. 安装 Java注意版本要求:https://cwiki.原创 2021-03-04 23:39:29 · 384 阅读 · 1 评论