Hadoop
文章平均质量分 59
Hadoop那些事
當幸福来敲门
抬头看天,不忘低头看路。
展开
-
Hadoop-虚拟机环境准备
传送门:https://static.app.yinxiang.com/embedded-web/profile/#/join?guid=4fdf4d09-ddc8-4c67-8bf7-cca1c913fce5&channel=copylink&shardId=s49&ownerId=33016767原创 2021-08-22 23:02:55 · 266 阅读 · 0 评论 -
CentOS安装教程
CentOS安装教程备注:除了虚拟机部分,其他安装流程一样。1.检查BIOS虚拟化支持,如图1-16所示图1-16 检查BIOS虚拟化支持2.新建虚拟机,如图1-17所示图1-17 新建虚拟机3.新建虚拟机向导,如图1-18所示图1-18 新建虚拟机向导4.创建虚拟空白光盘,如图1-19所示图1-19 创建虚拟空白光盘5.安装Linux系统对应的CentOS版,如图1-20所示图1-20 安装操作系统...原创 2021-08-22 22:18:49 · 340 阅读 · 0 评论 -
SSH无密登录配置
SSH无密登录配置1. 配置ssh(1)基本语法 ssh另一台电脑的ip地址(2)ssh连接时出现Host key verification failed的解决方法ssh hadoop103出现:The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:...原创 2021-01-16 10:55:05 · 77 阅读 · 0 评论 -
集群分发脚本xsync
1. scp(secure copy)安全拷贝(1)scp定义:scp可以实现服务器与服务器之间的数据拷贝。(fromserver1toserver2)(2)基本语法scp-r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称(3)案例实操(a)在hadoop101上,将hadoop101中/opt/m...原创 2021-01-16 10:10:47 · 356 阅读 · 0 评论 -
HDFS Java 客户端使用(Windows开发环境)
1.加入依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.4</version>&原创 2018-12-02 07:17:36 · 763 阅读 · 0 评论 -
Windows 10下编译安装Hadoop2.6
转自:https://www.linuxidc.com/Linux/2016-08/134131.htmWindows 10下安装Hadoop2.6,Windows10下编译64位Hadoop2.x。详细记录了Windows10版本下对Hadoop的编译、安装步骤,以及相关包或者软件下载安装过程。 不需要在Cygwin下安装Hadoop,官方也不推荐使用Cygwin。 Hado...转载 2018-11-25 15:21:26 · 1056 阅读 · 0 评论 -
从Hive导出数据到Oracle数据库--Sqoop
首先解释一下各行代码: sqoop export# 指定要导入到Oracle的那张表(通常与hive中的表同名)--table TABLE_NAME # host_ip:导入oracle库所在的ip:导入的数据库--connect jdbc:oracle:thin:@HOST_IP:DATABASE_NAME # oracle用户账号--username USERN...转载 2018-12-02 07:41:46 · 3139 阅读 · 1 评论 -
hadoop系统 hdfs 命令行操作
转自:https://blog.csdn.net/sjhuangx/article/details/79796388Hadoop文件系统shell命令列表: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html命令查看: hadoop fs[hado...转载 2018-10-12 09:04:01 · 245 阅读 · 0 评论 -
hadoop集群安装
一、简述 本次集群安装基于4台虚拟集群下进行。hadoop版本使用 2.6.4操作系统为 centos6.5jdk版本为 jdk-7u67-linux-x64.tar.gz二、准备创建hadoop用户 #分别在4台机器中创建hadoop用户useradd hadoop#给hadoop用户授权——如下【图1】vi /etc/sudoers【图1】...原创 2018-10-11 21:59:12 · 426 阅读 · 0 评论 -
hadoop命令大全
转自:https://blog.csdn.net/m0_38003171/article/details/79086780hadoop命令大全hdfs常用命令:第一部分:hdfs文件系统命令第一类:文件路径增删改查系列:hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息...转载 2018-10-11 15:11:23 · 480 阅读 · 0 评论