- 博客(23)
- 收藏
- 关注
RSS订阅
原创 MySQL数据库零基础教学[超详细]
文章目录一、数据库简介二、MySQL数据类型常用类型三、常用Sql语句(1)Sql语句简介(2)数据定义语言DDL`create,alter,drop`（定义 修改 删除 表[数据库]）(3)数据操纵语言DML`update,insert,delete`(对表中数据 增删改）(4)数据查询语言DQL`select`（实际使用最多，查询）(5)数据控制语言DCL`grant,revoke`（创建撤销...
2019-12-20 23:26:59
14580
4
原创 Hadoop案例，附代码
文章目录一、气温指数分析案例1、需求2、数据准备3、思路4、代码实现二、好友推荐案例1、需求2、数据准备3、思路4、代码实现一、气温指数分析案例1、需求找出每个月气温最高的2天2、数据准备tianqi.txt1949-10-01 14:21:02 34c1949-10-01 19:21:02 38c1949-10-02 14:01:02 36c1950-01-01 11:21:0...
2019-12-30 22:52:30
4135
2
原创 Hadoop企业优化，你了解吗？
文章目录Hadoop企业优化1、MapReduce跑的慢的原因2、MapReduce优化方法1)数据输入2)Map阶段3)Reduce阶段4)数据倾斜问题常见错误及解决方案Hadoop企业优化1、MapReduce跑的慢的原因MapReduce 程序效率的瓶颈在于两点：计算机性能CPU、内存、磁盘健康、网络I/O 操作优化（1）数据倾斜（2）map和reduce数设置不合理 com...
2019-12-30 22:44:36
199
原创 Hadoop-yarn你知道多少？
文章目录Yarn1、Yarn概述2、Yarn基本架构3、Yarn工作机制4、资源调度器Yarn1、Yarn概述Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。2、Yarn基本架构YARN主要由ResourceManager、NodeManager、ApplicationMas...
2019-12-30 22:38:15
155
原创 Hadoop-MapReduce（Join关联）
文章目录MapReduce Join关联1、Reduce join(合并)2、Reduce join案例实操3、Map join（合并）4、Map join案例实操MapReduce Join关联1、Reduce join(合并)原理Map端的主要工作：为来自不同表（文件）的key/value对打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进...
2019-12-30 22:12:39
265
原创 Hadoop-MapReduce（找博客共同好友实战）
这里是个练习文章目录（1）需求：（2）需求分析：第一次输出结果：第二次输出结果：（3）代码实现：一、第一次Mapper二、第一次Reducer三、第一次Driver四、第二次Mapper五、第二次Reducer六、第二次Driver（1）需求：以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的）。friends.txtA:B,C,D,F,E,O...
2019-12-30 21:50:49
275
原创 Hadoop-MapReduce（数据清洗）
文章目录数据清洗1)简单解析版2)复杂解析版数据清洗在运行核心业务Mapreduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行mapper程序，不需要运行reduce程序。1)简单解析版（1）需求：去除日志中字段长度小于等于11的日志。（2）输入数据这里简单列举一些，实际工作要比这多很多194.237.142.21 - - [18/Sep...
2019-12-30 21:42:27
4754
原创 Hadoop-MR（数据压缩）
文章目录MapReduce数据压缩1)概述2)MR支持的压缩编码3)采用压缩的位置4、压缩/解压缩1)对数据流的压缩和解压缩2)在Map输出端采用压缩MapReduce数据压缩1)概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数...
2019-12-30 21:34:23
365
原创 Hadoop-MapReduce（ReduceTask工作机制）
文章目录ReduceTask工作机制（1）设置ReduceTask并行度（个数）（2）注意（3）实验：测试reducetask多少合适。（4）ReduceTask工作机制ReduceTask工作机制（1）设置ReduceTask并行度（个数）reducetask的并行度同样影响整个job的执行并发度和执行效率，但与maptask的并发数由切片数决定不同，Reducetask数量的决定是可以...
2019-12-30 21:16:11
216
原创 Hadoop-MapReduce（Shuffle机制）
内容较多分开来写，这样吸收起来也好些，附有练习可学习，下面Shuffle补充文章目录1、Shuffle机制1)Combiner合并 1、Shuffle机制1)Combiner合并 <b,1> <b,1>==<b,2>（1）combiner是MR程序中Mapper和Reducer之外的一种组件。（2）combiner组件的父类就是Reducer。（3）c...
2019-12-30 21:09:12
308
原创 Hadoop-MapReduce（1）
大数据技术 Hadoop之mapreduce(一)文章目录一、MapReduce入门1、MapReduce定义2、MapReduce优缺点3、MapReduce核心思想4、MapReduce进程（MR）5、MapReduce编程规范（八股文）6、WordCount案例实操一、MapReduce入门1、MapReduce定义Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于h...
2019-12-30 20:31:24
423
原创 Hadoop-HDFS(详解)
接着写Hadoop，不是讲完了？当然不是，前面是对Hadoop生态圈，大致介绍了下，后几篇文章会细讲每个重要的组成部分，今天是HDFS：文章目录一、HDFS概述1、HDFS产生背景2、HDFS概念3、HDFS优缺点1)优点2)缺点4、HDFS组成架构5、HDFS文件块大小二、HDFS的Shell客户端操作1、基本语法2、命令大全3、常用命令实操三、HDFS的Java客户端操作1、HDFS客户端环...
2019-12-30 11:31:07
333
原创 Hadoop实现集群搭建-02
大家好我是AC如果有看了上篇文章的小哥应该对Hadoop有些了解和认知，下面动手操作没看过的可以去了解下文章目录Hadoop实现集群搭建虚拟机环境准备安装jdk安装Hadoop集群配置集群单点启动SSH无密登录集群启动/停止方式集群测试集群时间同步Hadoop实现集群搭建虚拟机环境准备安装jdk安装Hadoop集群配置集群单点启动SSH无密登录集群启动/停止方式集群测试集群...
2019-12-25 02:26:48
279
原创 Hadoop搭建（虚拟机克隆）
文章目录1 克隆2 克隆后的配置2.1 修改主机名2.2 修改网卡3 完工1 克隆背景：有时候，我们需要用到多个虚拟机。重新安装会花费大量的时间，此时，可以通过vmware虚拟机自带的功能快速克隆出完全相同的系统。新克隆出来的虚拟系统的IP和MAC地址和原来的系统是不一样的，因为vmware会自己检查虚拟磁盘把硬件信息进行修改，如果是直接复制就会一样，这就是克隆的好处。前提：被克隆的虚拟机...
2019-12-24 16:54:49
843
原创 零基础学[Hadoop]-01
文章目录什么是Hadoop？核心组成Hadoop特点Hadoop实现集群搭建虚拟机环境准备安装jdk安装Hadoop集群配置集群单点启动SSH无密登录集群启动/停止方式集群测试集群时间同步什么是Hadoop？简单叙述：由Apache基金会所开发的分布式系统基础架构，广泛的概念-hadoop生态圈架构：项目整体的布局方式集群：多个机器共同完成一件事分布式：多个集群做不同的事集群不一定是...
2019-12-24 13:08:19
374
原创 了解大数据知识
马上步入2020年了，你知道“大数据！！！”吗？相信大家听这个词脑子里，就已经会有一些感（mi）觉（huo）了，大数据？很大很多的数据？有多大？大数据有啥用？咱们一起带着这些问题进入今天的文章.文章目录大数据概念大数据特点大数据应用场景大数据部门业务流程分析大数据发展前景大数据部门组织结构大数据概念说到大数据有多大，我很严肃的告诉你们，很大！！！！所谓大数据（big data）：指...
2019-12-24 09:28:03
377
原创 零基础学Linux
我是AC东西很多很详细，一般用到的全在这里了，选择性食用文章目录一 .Linux入门概述1.1 概述1.2 下载地址1.3 Linux特点1.4 Linux和Windows区别二 VM安装相关三 Linux目录结构3.1 概览3.2 树状目录结构四 VI/VIM编辑器4.1 概述4.2 测试数据准备4.3 一般模式4.4 编辑模式4.5 指令模式五 系统管理操作5.1 查看网络IP和网关5.2...
2019-12-22 15:43:12
1556
2
原创 MySQL 单表+多表+答案
文章目录前言表结构单表多表答案单表答案多表答案前言大家好，我是Ac啊晨收集了一些练习题，分享给大家。单表多表各15道练习，附加答案，希望这篇文章对大家有一点点帮助。当然如果有不太熟悉数据库的小伙伴可以去看一下我的另外一篇学习数据库的文章点我学习数据库表结构CREATE DATABASE test1;USE test1;##部门表#DROP IF EXISTS TABLE D...
2019-12-21 00:02:43
776
原创 Linux 关于shell [+小案例]
文章目录1，什么是shell2，常用语法使用变量权限if语句for输入/输出重定向crond系统定时任务3，使用注意事项4，备份数据库小案例内容不多，没有全部整理，常用的几种1，什么是shell1.Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。2.简单说shell是图形化界面工具，是个软件3.同时它是一种解...
2019-12-19 21:42:05
247
原创 CSDN添加目录
文章目录1，在文章开头加一行 @[TOC]即可2，想自定样式可以写成@ [toc] (自定义的内容)3，效果如下1，在文章开头加一行 @[TOC]即可2，想自定样式可以写成@ [toc] (自定义的内容)自定义文章目录1，在文章开头加一行 @[TOC]即可2，想自定样式可以写成@ [toc] (自定义的内容)3，效果如下3，效果如下...
2019-12-19 19:55:34
225
原创 SSM整合xml，半注解方式实现网页版crud
SpringMVC-Spring-Mybatis（ssm）前言：首先声明超级多内容，但是都是干货。中间有些是图片的原因是因为最好看着动手敲敲，真的有帮助的。没有很多写博客的经验，慢慢会好些的，能整合顺下来，能掌握很多东西。加油！共同学习准备后台的组件：1.打开IDEA，创建web项目2.名字，这个按照自己需求3.下一步4.完成打开会默认配置一些东西，为了容易理解可...
2019-12-15 23:11:50
277
原创 Maven介绍
Maven介绍官方： Maven项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的项目管理工具软件白话： 就是个管理jar包的工具，项目管理器，简化项目构建优势①可以帮助我们构建项目，从验证，编译，测试，打包，检查，安装，部署一整套服务都会提供。②可以帮助我们管理jar包的依赖和依赖关系。Maven的基本命令常用：mvn clean:清理，将根目录下...
2019-12-14 21:55:06
176
原创 最常使用的解决IDEA乱码的方法
多种解决使用IDEA中乱码问题，总有一个适合你一，IDEA内设置二，Tomcat三，Tomcat配置文件一，IDEA内设置二，Tomcat代码（中间不要有空格）：-Dfile.encoding=UTF-8三，Tomcat配置文件用Notepad++（之类的）打开Tomcat安装源码conf文件夹下的logging.properties文件。如下logging.pro...
2019-12-14 21:30:32
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人