- 博客(14)
- 收藏
- 关注
RSS订阅原创 Sqoop安装及案例导入导出数据（基于Hadoop环境）
Sqoop安装及案例导入导出数据（基于Hadoop环境）Sqoop主要用于在Hadoop(Hive)与传统的数据库MySQL间进行数据的传递可以将一个关系型数据库（如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。原理：将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行定制一、Sqoop的安装1、将Sqoop的安
2021-11-27 16:41:52
1780
原创 Flume的安装
Flume的安装Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFSAgent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的Agent 主要有 3 个部分组成，Source、Channel(缓冲区，管道)、Sink1、将Flume的安装包拷贝到/opt/software目录下[mnlg@XJ202 ~]$ cd /opt/software/[mnlg@XJ202 software]$ tar -xf apache-flume-1.9.0-bin.tar
2021-11-27 16:40:08
2313
原创 Hadoop集群操作
Hadoop集群操作一、启动集群1.如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode注意：格式化NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止namenode 和 datanode 进程，并且要删除所有机器的data 和 logs 目录，然后再进行格式化。[mnlg@hadoop102 hadoop-3.1.
2021-11-19 16:25:51
1520
原创 Hadoop大数据基础篇
Hadoop大数据基础篇一、Hadoop特点1. Hadoop优势：高可靠性，高扩展性，高效性(MapReduce)，高容错性2. Hadoop的组成：HDFS(分布式存储系统)：NameNode，Client，DataNodeMapReduce(分布式计算系统)：Input(InputFormat)，Map，Shuffle，Reduce，Output(OutputFormat)Yarn(hadoop的资源调度系统)：ResourceManager ，NodeManager，Hist
2021-11-19 16:24:49
1146
原创 Hive中MySQL数据库的安装及绑定
Hive中MySQL的安装及绑定Hive 默认使用的元数据库为 derby，开启 Hive 之后就会占用元数据库derby数据库只支持单用户访问且不与其他客户端共享数据将 Hive 的元数据地址改为 MySQL数据库[mnlg@XJ202 ~]$ my_hadoop.sh start //启动hadoop[mnlg@XJ202 ~]$ cd /opt/module/hive-3.1.2 //进入hive目录[mnlg@XJ202 hive-3.1.2]$ bin/hive
2021-11-18 15:49:17
2206
1
原创 JDK的安装与卸载
JDK、JRE、JVMJDK：Java Development Kit (Java开发工具)JRE：Java Runtime Environment (Java运行时环境)JVM：Java Virtual Machine (Java虚拟机)卸载JDK删除 JDK 安装的目录（右键点击我的电脑—属性—高级系统设置—环境变量—找到 JAVA_HOME—找到JDK安装的目录—打开目录—永久删除里面文件）删除环境变量里面的 JAVA_HOME删除环境变
2021-11-16 17:09:38
462
原创 Typora使用详解(Markdown编辑器)
Typora的使用方法 Typora是一款轻便简洁的Markdown编辑器，支持即时渲染技术，这也是与其他Markdown编辑器最显著的区别。即时渲染使得你写Markdown就想是写Word文档一样流畅自如，不像其他编辑器的有编辑栏和显示栏。文章目录Typora的使用方法一、标题二、字体三、引用四、分割线五、图片六、超链接七、列表八、表格九、代码块十、快捷键一、标题 标题总共有六级标题，一级标题用“ # + 空格键 ”写出你的文字之后回车即可生成一级标题，
2021-11-14 11:14:09
1202
1
原创 Visio简单画图使用方法
Visio使用方法相信有很多初学者跟我一样，只会使用Word进行简单的画图。本章主要讲述如何使用Visio来画图（版本为2010）一、系统流程图、数据流程图、ER图画法1.打开Visio软件，创建简单模板2.根据需求点击左侧"基本流程图"，选中需要的图形，拖动到空白面板中（注意不要松手）3.点击面板上的图形后，进行如下三步骤：(这里介绍的是常规画法)去填充选线条粗细去阴影4.系统流程图（此图为例） 整张图里的形状尽量保持大小一致，所以我们先画文字最多的’员工信息
2021-11-13 16:41:18
44517
3
原创 HBase 在集群中对表(ddl)和数据(dml)的相应操作
HBase 在集群中对表(ddl)和数据(dml)的相应操作HBase特点要开启hbase之前必须先开启hdfs和zookeeper(关闭将start改为stop即可)启动hdfs：my_hadoop.sh start启动zookeeper：zk.sh start启动hbase：bin/start-hbase.sh表(ddl)：增加：create，修改：alter，删除：drop，查看所有：list，查看版本号：describe数据(dml)：增加：put，修改：put
2021-11-13 11:04:31
1214
原创 HBase 在idea中对表(ddl)和数据(dml)的相应操作
HBase 在idea中对表(ddl)和数据(dml)的相应操作新建Idea—项目工程名为HBaseDemo11.pom.xml文件（在文件末尾加入如下代码，导入依赖）<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId>
2021-11-12 17:49:29
4280
原创 Hive（HQL）数据库的安装及配置
Hive的特点Hive与SQL语句相像能将SQL语句转变成MapReduce任务来执行Hive要依赖于yarn只能用于结构化Hive只能处理离线数据，处理大型数据Hive在集群上的操作1.Hive安装及配置（1）点击Shell，进入到 cd /opt/software目录下cd /opt/software/（2）把apache-hive-3.1.2-bin.tar.gz压缩包上传到Shell的 cd /opt/software目录下（3）解压apache-hive-3.1.2-b
2021-11-12 16:05:03
1996
2
原创 电脑常用快捷键
简单快捷键复制：Ctrl+C粘贴：Ctrl+V全选：Ctrl+A剪切：Ctrl+X撤销：Ctrl+Z保存：Ctrl+S本地快捷键永久删除：shift+delete打开运行窗口：Windows+R打开我的电脑：Windows+E打开任务管理器：Ctrl+shift+Esc显示桌面：Windows+D（再按一次可返回上次任务界面）窗口快捷键关闭窗口：Alt+F4刷新窗口：Ctrl+Fn+F5（是否＋Fn，具体看电脑）
2021-11-09 17:08:51
1220
2
原创 MarkDown编辑器学习
MarkDown学习标题三级标题四级标题字体Hello,World!Hello,World!Hello,World!Hello,World!引用选择狂神说Java，走向人生巅峰分割线图片超链接点击跳转到狂神博客列表 A B C 表格名字 性别 生日 张三 男 1997.1.1 代码public ...
2021-11-09 15:37:47
251
原创 写博客的重要性
为什么要写博客呢？1、需要总结和思考。有时候我们一直在赶路，却忘了放慢脚步。2、提升文笔组织能力。（公司大多需要这种能力，每周需要上交周报，也就是写技术代码的帮助文档。）3、提升学习总结能力。4、提升逻辑思维能力。冰冻三尺非一日之寒，写博客也是，短期内可能看不到效果，但是长期坚持，对自己的提升很有帮助。...
2021-11-09 11:25:36
150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人