- 博客(14)
- 收藏
- 关注
原创 Sqoop安装及案例导入导出数据(基于Hadoop环境)
Sqoop安装及案例导入导出数据(基于Hadoop环境)Sqoop主要用于在Hadoop(Hive)与传统的数据库MySQL间进行数据的传递可以将一个关系型数据库(如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。原理:将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行定制一、Sqoop的安装1、将Sqoop的安
2021-11-27 16:41:52
1780
原创 Flume的安装
Flume的安装Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFSAgent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的Agent 主要有 3 个部分组成,Source、Channel(缓冲区,管道)、Sink1、将Flume的安装包拷贝到/opt/software目录下[mnlg@XJ202 ~]$ cd /opt/software/[mnlg@XJ202 software]$ tar -xf apache-flume-1.9.0-bin.tar
2021-11-27 16:40:08
2313
原创 Hadoop集群操作
Hadoop集群操作一、启动集群1.如果集群是第一次启动,需要在 hadoop102 节点格式化 NameNode注意:格式化NameNode,会产生新的集群 id,导致 NameNode 和 DataNode 的集群 id 不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化 NameNode 的话,一定要先停止namenode 和 datanode 进程,并且要删除所有机器的data 和 logs 目录,然后再进行格式化。[mnlg@hadoop102 hadoop-3.1.
2021-11-19 16:25:51
1520
原创 Hadoop大数据基础篇
Hadoop大数据基础篇一、Hadoop特点1. Hadoop优势:高可靠性,高扩展性,高效性(MapReduce),高容错性2. Hadoop的组成:HDFS(分布式存储系统):NameNode,Client,DataNodeMapReduce(分布式计算系统):Input(InputFormat),Map,Shuffle,Reduce,Output(OutputFormat)Yarn(hadoop的资源调度系统):ResourceManager ,NodeManager,Hist
2021-11-19 16:24:49
1146
原创 Hive中MySQL数据库的安装及绑定
Hive中MySQL的安装及绑定Hive 默认使用的元数据库为 derby,开启 Hive 之后就会占用元数据库derby数据库只支持单用户访问且不与其他客户端共享数据将 Hive 的元数据地址改为 MySQL数据库[mnlg@XJ202 ~]$ my_hadoop.sh start //启动hadoop[mnlg@XJ202 ~]$ cd /opt/module/hive-3.1.2 //进入hive目录[mnlg@XJ202 hive-3.1.2]$ bin/hive
2021-11-18 15:49:17
2206
1
原创 JDK的安装与卸载
JDK、JRE、JVMJDK:Java Development Kit (Java开发工具)JRE:Java Runtime Environment (Java运行时环境)JVM:Java Virtual Machine (Java虚拟机)卸载JDK删除 JDK 安装的目录(右键点击我的电脑—属性—高级系统设置—环境变量—找到 JAVA_HOME—找到JDK安装的目录—打开目录—永久删除里面文件)删除环境变量里面的 JAVA_HOME删除环境变
2021-11-16 17:09:38
462
原创 Typora使用详解(Markdown编辑器)
Typora的使用方法 Typora是一款轻便简洁的Markdown编辑器,支持即时渲染技术,这也是与其他Markdown编辑器最显著的区别。即时渲染使得你写Markdown就想是写Word文档一样流畅自如,不像其他编辑器的有编辑栏和显示栏。文章目录Typora的使用方法一、标题二、字体三、引用四、分割线五、图片六、超链接七、列表八、表格九、代码块十、快捷键一、标题 标题总共有六级标题,一级标题用“ # + 空格键 ”写出你的文字之后回车即可生成一级标题,
2021-11-14 11:14:09
1202
1
原创 Visio简单画图使用方法
Visio使用方法相信有很多初学者跟我一样,只会使用Word进行简单的画图。本章主要讲述如何使用Visio来画图(版本为2010)一、系统流程图、数据流程图、ER图画法1.打开Visio软件,创建简单模板2.根据需求点击左侧"基本流程图",选中需要的图形,拖动到空白面板中(注意不要松手)3.点击面板上的图形后,进行如下三步骤:(这里介绍的是常规画法)去填充选线条粗细去阴影4.系统流程图(此图为例) 整张图里的形状尽量保持大小一致,所以我们先画文字最多的’员工信息
2021-11-13 16:41:18
44517
3
原创 HBase 在集群中对表(ddl)和数据(dml)的相应操作
HBase 在集群中对表(ddl)和数据(dml)的相应操作HBase特点要开启hbase之前必须先开启hdfs和zookeeper(关闭将start改为stop即可)启动hdfs:my_hadoop.sh start启动zookeeper:zk.sh start启动hbase:bin/start-hbase.sh表(ddl):增加:create,修改:alter,删除:drop,查看所有:list,查看版本号:describe数据(dml):增加:put,修改:put
2021-11-13 11:04:31
1214
原创 HBase 在idea中对表(ddl)和数据(dml)的相应操作
HBase 在idea中对表(ddl)和数据(dml)的相应操作新建Idea—项目工程名为HBaseDemo11.pom.xml文件(在文件末尾加入如下代码,导入依赖)<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId>
2021-11-12 17:49:29
4280
原创 Hive(HQL)数据库的安装及配置
Hive的特点Hive与SQL语句相像能将SQL语句转变成MapReduce任务来执行Hive要依赖于yarn只能用于结构化Hive只能处理离线数据,处理大型数据Hive在集群上的操作1.Hive安装及配置(1)点击Shell,进入到 cd /opt/software目录下cd /opt/software/(2)把apache-hive-3.1.2-bin.tar.gz压缩包上传到Shell的 cd /opt/software目录下(3)解压apache-hive-3.1.2-b
2021-11-12 16:05:03
1996
2
原创 电脑常用快捷键
简单快捷键复制:Ctrl+C粘贴:Ctrl+V全选:Ctrl+A剪切:Ctrl+X撤销:Ctrl+Z保存:Ctrl+S本地快捷键永久删除:shift+delete打开运行窗口:Windows+R打开我的电脑:Windows+E打开任务管理器:Ctrl+shift+Esc显示桌面:Windows+D(再按一次可返回上次任务界面)窗口快捷键关闭窗口:Alt+F4刷新窗口:Ctrl+Fn+F5(是否+Fn,具体看电脑)
2021-11-09 17:08:51
1220
2
原创 MarkDown编辑器学习
MarkDown学习标题三级标题四级标题字体Hello,World!Hello,World!Hello,World!Hello,World!引用选择狂神说Java,走向人生巅峰分割线图片超链接点击跳转到狂神博客列表 A B C 表格名字 性别 生日 张三 男 1997.1.1 代码public ...
2021-11-09 15:37:47
251
原创 写博客的重要性
为什么要写博客呢?1、需要总结和思考。有时候我们一直在赶路,却忘了放慢脚步。2、提升文笔组织能力。(公司大多需要这种能力,每周需要上交周报,也就是写技术代码的帮助文档。)3、提升学习总结能力。4、提升逻辑思维能力。冰冻三尺非一日之寒,写博客也是,短期内可能看不到效果,但是长期坚持,对自己的提升很有帮助。...
2021-11-09 11:25:36
150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人