大数据
偷偷玩两下
能力一般,水平有限。
展开
-
Google 早期三驾马车之 BigTable 论文学习与研读
前言Google,作为全球最大的搜索引擎公司,其伟大之处不仅在于建立了一个强大的搜索引擎,还在于它创造了3项革命性的技术,即:GFS、MapReduce 和 BigTable。作为 Google 早期三驾马车,这三项革命性的技术不仅在大数据领域广为人知,更直接或间接性的推动了大数据、云计算、乃至如今火爆的人工智能领域的发展。2006年11月6—8日,Google 在美国西雅图召开的第...原创 2019-12-14 23:49:27 · 1244 阅读 · 0 评论 -
Google 早期三驾马车之 MapReduce 论文学习与研读
前言Google,作为全球最大的搜索引擎公司,其伟大之处不仅在于建立了一个强大的搜索引擎,还在于它创造了3项革命性的技术,即:GFS、MapReduce 和 BigTable。作为 Google 早期三驾马车,这三项革命性的技术不仅在大数据领域广为人知,更直接或间接性的推动了大数据、云计算、乃至如今火爆的人工智能领域的发展。2004年12月5日,Google 在美国旧金山召开的第6届...原创 2019-12-14 23:48:45 · 1987 阅读 · 0 评论 -
Google 早期三驾马车之 GFS 论文学习与研读
前言Google,作为全球最大的搜索引擎公司,其伟大之处不仅在于建立了一个强大的搜索引擎,还在于它创造了3项革命性的技术,即:GFS、MapReduce 和 BigTable。作为 Google 早期三驾马车,这三项革命性的技术不仅在大数据领域广为人知,更直接或间接性的推动了大数据、云计算、乃至如今火爆的人工智能领域的发展。2003年10月19—22日,Google 在美国纽约召开的...原创 2019-12-14 23:47:54 · 1015 阅读 · 0 评论 -
大数据学习之 Hadoop 基础环境配置(用户、SSH server、Java 环境、安装 Hadoop)
前言注1:本文转载于 http://dblab.xmu.edu.cn/blog/install-hadoop/,系厦门大学数据库实验室出品。注2:鉴于原文采用 Hadoop 版本为 Hadoop2.X,对于最新的 Hadoop3.X 版本,某些文件与设置不尽相同,需要手动 Google 问题。本教程由厦门大学数据库实验室/给力星出品,转载请注明。本教程适合于原生 Hadoop 2,...转载 2019-12-14 23:51:10 · 774 阅读 · 0 评论 -
大数据学习之 Hadoop 分布式集群安装配置
前言注1:本文转载于 http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/,系厦门大学数据库实验室出品。在安装配置 Hadoop 分布式集群之前,需要完成基础环境配置,在大数据学习之 Hadoop 基础环境配置(用户、SSH server、Java 环境、安装 Hadoop)中介绍。注2:鉴于原文采用 Hadoop 版本为 Hadoop...转载 2019-12-14 23:51:41 · 238 阅读 · 0 评论 -
大数据学习踩坑之操作文件权限问题 Permission denied:user=dr.who,access=WHERE,inode="/user":hdfs:hadoop:drwxr-xr-x
利用大数据集群的 web 管理页面删除上传的文件时,系统提示如下:主要原因是当前用户对于此路径或此路径下的文件权限不够导致,无法读、写、或者执行等操作。关于 dr.who:core-default.xml 文件中 介绍 dr.whoThe user name to filter as, on static web filters while rendering content....原创 2019-12-09 22:40:11 · 1447 阅读 · 0 评论 -
大数据学习踩坑之 HADOOP_HOME and hadoop.home.dir are unset.
问题描述java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.本地远程连接 Hadoop 集群异常,日志如下:java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. at org.apache.had...原创 2019-12-08 00:00:31 · 19720 阅读 · 5 评论 -
大数据学习笔记之一:Hadoop 常用指令集合与启动注意项
常用指令集合:0. 配置 Hadoop 的 PATH 变量:vim ~/.bashrcexport PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin1. 启动 Hadoop:start-dfs.shstart-yarn.shmr-jobhistory-daemon.sh start historyserver...原创 2019-12-06 16:24:21 · 196 阅读 · 0 评论