- 博客(10)
- 收藏
- 关注
原创 VMware虚拟机开机黑屏解决办法
最近打开VMware虚拟机却出现了开机一直黑屏的情况,挂起时能够看到显示,但是开机就黑屏。 具体解决方法: 挂起时可以看到显示,但是开机就黑屏,如下图所示。 首先我们在开始菜单的搜索栏搜索“CMD”,找到命令提示符,我们鼠标右键点击“命令提示符”,弹出菜单之后选择“以管理员身份运行”,如下图所示。 在命令提示符窗口中输入“netsh wins...
2020-06-29 09:58:33
1742
原创 Sqoop 概述及安装环境搭建
一、Sqoop简介 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如: MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。 Sq
2020-06-28 20:40:23
178
原创 Hive 的分区详解
一、数据准备 create database if not exists myhive; use myhive; drop table if exists student; create table student( stuid int, stuname string, stuage int, department string ) row format delitmited fields terminated by ' ' ; select * from student
2020-06-17 19:18:08
840
原创 Zepplin安装使用
一 下载安装包 http://zeppelin.apache.org/download.html 选择zeppelin-0.8.1-bin-all.tgz 二 上传并解压 上传到Linux tar -zvxf zeppelin-0.8.1-bin-all.tgz -C /root 进入目录 cd /root/zeppelin-0.8.1-bin-all/ 安装完成。 But,还需要修改一下配置文件 三 修改 配置文件 cp zeppel...
2020-06-14 20:13:41
159
原创 Hive DML 数据操纵语言详解
一、数据导入 1.1 向表中装载数据(Load) 1.语法 load data:表示加载数据 local:表示从本地加载数据到hive表;否则从HDFS加载数据到hive表 inpath:表示加载数据的路径 overwrite:表示覆盖表中已有数据,否则表示追加 into table:表示加载到哪张表 student:表示具体的表 partition:表示上传到指定分区 2.实操案例 (0)创建一张表 (1)加载本地文件到hive (2)加载HDFS文件到hive中 上传文件到HDFS
2020-06-12 15:48:08
120
原创 Hive DDL 数据定义语言详解
一、创建数据库 1)创建一个数据库,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2)避免要创建的数据库已经存在错误,增加if not exists判断。 hive (default)> create database db_hive; FAILED: Execution Error, return code 1 from org.apache.hadoop.h
2020-06-11 23:26:44
282
原创 Elasticsearch (6.2.2) 分布式安装
前言 ELK是三个开源软件的缩写,分别表示:Elasticsearch 、Logstash、Kibana。作为大数据入门的基本功,让我们在虚拟机上对以上三个软件进行安装,小伙伴们平时还需要多加练习。 Elasticsearch:是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash:主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/
2020-06-07 16:49:56
237
原创 linux系统设置免密登录
在linux系统下设置本机免密登录 首先,生成A主机的公私钥:(以下操作均在A主机上) ssh-keygen -t rsa -P '' 连续按3次空格使用默认设置,此时会将A主机的公私钥生成在 ~/.ssh 这个路径下,这个路径下会有两个文件 id_rsa id_rsa.pub 其中id_rsa保存的是A主机的私钥,is_rsa.pub保存的是公钥 到这里,第一大步就算完成了 接下来,将A主机的公钥放在B主机上。当然,肯定不是随便放在一个地方就可以的。(接下来的操作都在B机器上执行)
2020-06-07 15:59:31
742
原创 Hadoop安装
首先准备好hadoop的安装包,我们准备的是260版本。 用Xftp工具将压缩包拖到我们的虚拟机内。 解压hadoop-2.6.0-cdh5.14.2.tar.gz 解压后执行以下命令,将解压后的文件移动到soft文件夹下,并修改文件名为hadoop260 进入hadoop260/etc/hadoop 查看以下jdk的版本,复制 ...
2020-06-01 17:57:17
166
原创 初始Linux--Linux的一些基本命令
很多刚开始学习Linux的小伙伴,对Linux系统还不太熟悉,今天就来介绍一下Linux系统的一些概念和命令。 Linux目录操作命令 pwd:查看当前所在目录 cd:打开目录 ls-a:查看目录下文件 ll:以列的方式显示目录下的文件列表 mkdir:创建文件目录 rm -rf:删除文件或目录 rm ri:删除文件前询问用户 cp:复制文件命令 mv:移动或修改文件名 Linux文件操作命令 head -n:显示指定文件开始的n行...
2020-05-13 23:42:44
98
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人