- 博客(7)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop3.x
Hadoop重点内容：1、重点理解Hadoop的优势（需结合Hadoop的组成）2、了解Hadoop 三大发行版本3、熟练掌握Hadoop环境搭建（需回顾Linux\Shell命名）4、完全分布式运行模式 > xsync 集群分发脚本 > ssh无密登录配置(必须配置，重点记忆)课上笔记：1、大数据可以做什么？解决海量数据的采集、存储和分析计算问题（TB、PB、EB）补充了解：分布式存储（同一数据源多地存储）分布式计算（多人共同完成一个计算）2、大数据特点4v3
2021-10-18 18:50:59
562
原创 Flink（1.12版本）
一、Flink的重要特点分层APIFlink与Spark的对比FlinkSpark①流处理批处理②事件驱动型，节省资源，被动时间驱动型，浪费资源（主动）③在流的基础上做批处理在批的基础上做流处理④Flink窗口比Spark灵活-⑤精准一次语义保证，优于Spark-⑥延迟较低（毫秒）、吞吐量较小、可靠性强-Flink的其他特点：二、Flink快速上手案例：wordCount2.1 批处理（1）设置执行环境
2021-10-16 16:58:38
1118
原创 shell
Shell重点内容：1、 11个重要目录2、 常用命令 --- 文件目录类、文件权限类1、Shell概述（了解）1 - 1 Shell是一个命令行解释器，提供了Shell解析器它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序，用户可以用Shell来启动，挂起，停止或者编写一些程序1 - 2 查看有哪些解析器 cat /etc/shells可以看到有：/bin/sh /bin/bash sh是bash的子集/usr/bin/sh
2021-10-13 14:21:24
138
原创 linux
Linux重点内容：1、 11个重要目录2、 常用命令 --- 文件目录类、文件权限类1、Linux中比较重要的目录(11个)（重点）/bin 存放常用命令/sbin 存放系统管理员能够使用的命令 super 加密/home 存放普通用户的主目录，包含所有普通用户，一般以用户名命名/root 管理员的主目录，单独存放管理员/boot 引导区，系统开机时会加载的目录/mnt 系统默认的硬盘挂载区域/media 系统默认的u盘、光驱的
2021-10-13 09:00:04
132
原创 hive源码
第 1 章 HQL 是如何转换为 MR 任务的1.1 Hive 的核心组成介绍1）用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBUI（浏览器访问 hive） CLI：bin/hive 启动的客户端 JDBC：通过hiveserver2 jdbc方式连接的客户端2）元数据：Metastore 元数据包括：表名、表所属的数据库（默认是 default）、表的拥有者、列/分区字段、表的类型（是
2021-10-11 16:17:38
361
原创 HIVE基础
hive执行顺序1）SQL的书写顺SELECT- DISTINCT- FROM- JOIN ON- WHERE- GROUP BY- HIVING- ORDER BY- LIMIT2）真正执行的顺序：随着Mysql版本的更新换代，其优化器也在不断的升级，优化器会分析不同执行顺序产生的性能消耗不同而动态调整执行顺序。下面是经常出现的查询顺序：FROM- ON- JOIN- WHERE- GROUP BY- HAVING- SELECT- DISTINCT- ORDER BY- LIMIT3）外连接
2021-10-11 16:12:57
615
原创 记录一下hadoop集群启动后，jps查看无namenode的解决办法
1、百度之前，我先到hadoop的logs目录下看了今天的日志，首先百度了一番，基本上都是namenode format，但真的不想重做一遍数据，不死心的继续寻找。。。找到了这个解答 https://my.oschina.net/dreamness/blog/3083130啥意思啊？不懂。...
2021-08-19 16:34:51
3127
空空如也
typora 编辑文字时突然界面空白，内容变成代码，并且以前保存的文件打开也是同样问题
2021-07-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人