2020年10月_扛麻袋的少年

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Linux命令---crontab

Linux crontab是用来定期执行程序的命令。是 Linux 为我们提供的一个任务调度命令1.基础用法crontab [选项]2.选项说明：选项功能-e编辑 crontab 定时任务-l查询 crontab 任务-r删除当前用户所有的 crontab 任务3.参数说明[root@hadoop202 hadoop]# crontab -e （1）进入 crontab 编辑页面。会打开 vim 来编辑你的任务 * * * * *

2020-10-29 15:52:29 205

原创 Linux命令---rsync

用途： rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。基本语法： rsync -rvl /usr/local/xxx.txt root@hadoop201:/usr/local说明：rsync：命令-rvl： -r 递归 -v 显示复制过程 -l 拷贝符号链接/usr/local/xx

2020-10-29 15:21:41 411

原创 CentOS 7.7 安装 Hadoop 2.10.1集群

三：CentOS 7.7 安装 Hadoop 2.10.1集群1.Hadoop集群 Hadoop集群，具体来说包含两个集群：hdfs集群和yarn集群。两者逻辑上分离，但物理上常在一起。hdfs集群: 负责海量数据的存储工作。集群中的角色主要有 NameNode、DataNode、SecondaryDataNode。yarn集群: 负责海量数据运算时的资源调度。集群中的角色主要有ResourceManager、NodeManager。各个角色职责：

2020-10-29 15:03:20 1695 1

原创 Hadoop 入门基本了解

一：Hadoop 入门基本了解1.Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决：海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念------Hadoop生态圈2.Hadoop发展史Lucene 框架是 Doug Cutting 开创的开源软件，用 Java 书写代码，实现与 Google 类似的全文搜索功能，它提供了全文检索引擎架构，包括完整的查询引擎和索引引擎。

2020-10-28 17:45:56 351

原创 Hadoop 2.10.1源码编译(Apache版---Linux环境)

二：Hadoop 2.10.1源码编译(Apache版)1.准备工作apache-ant-1.9.15-bin.tar.gz ant下载地址apache-maven-3.6.3-bin.tar.gz maven下载地址jdk-8u261-linux-x64.tar.gzhadoop-2.10.1-src.tar.gz hadoop源码下载地址protobuf-2.5.0.tar.gz(必须是2.5.0版本，否则会报错)

2020-10-21 09:30:35 1096 3

原创大数据技术生态体系

1.大数据技术生态体系

2020-10-16 13:50:08 1728

CentOS7-4.19版本内核

文件内包含：kernel-ml-4.19.12-1.el7.elrepo.x86_64.rpm kernel-ml-devel-4.19.12-1.el7.elrepo.x86_64.rpm 共两个文件，文件可以从 http://193.49.22.109/elrepo/kernel/el7/x86_64/RPMS/kernel-ml-devel-4.19.12-1.el7.elrepo.x86_64.rpm、http://193.49.22.109/elrepo/kernel/el7/x86_64/RPMS/kernel-ml-4.19.12-1.el7.elrepo.x86_64.rpm 这两个地址下载，但是下载的非常慢，传上来方便使用

2022-08-24

hadoop-2.10.1.tar.gz(手动编译后的版本)

Hadoop 2.10.1 ，手动编译后的版本。集群模式下可正常运行。配套资料参考：https://blog.csdn.net/lzb348110175/category_7818038.html

2020-10-20

SpringBoot使用注解实现 Redis 数据库的切换.zip

SpringBoot，注解实现Redis 库的切换。

2020-04-08

Spring Boot 自定义starter启动器(demo).zip

Spring Boot 自定义starter启动器 Demo 部分，用于记录使用。该demo 配套教程 https://blog.csdn.net/lzb348110175/article/details/105330274。

2020-04-05

Spring Boot自定义异常内容展示代码.zip

Spring Boot自定义异常内容代码，用来自定义异常展示信息，添加需要展示的信息等，并满足自适应显示。浏览器访问出现异常返回 Hmtl页面，客户端访问出现异常返回 Json 数据。该 Demo 仅用作备份

2020-04-01

Spring Boot 国际化(i18n)配置demo.zip

Spring Boot 国际化(i18n)配置demo，该demo下载即可正常使用，本案例仅供学习参考。

2020-03-29

Thymeleaf 参考手册.zip

Thymeleaf 开发参考文档，仅用作备份使用。用于Spring Boot 开发 Thymeleaf 使用，随手一翻，永无 bug

2020-03-29

spring-framework-5.0.2.RELEASE-中文注释版.zip

spring-framework-5.0.2.RELEASE-中文注释版.zip，此处备份，用于自学使用

2020-03-10

Flink-MysqlTwoPhaseCommit.zip

Flink MySQL二阶提交代码，为了保证前一次 CheckPoint 成功后到这次 CheckPoint 成功之前这段时间内的数据不丢失，如果执行到一半过程任务失败了，从而导致前一次CheckPoint成功后到任务失败前的数据已经存储到了MySQL,然而这部分数据并没有写入到 CheckPoint。如果任务重启后，前一次CheckPoint成功后到任务失败前的数据便会再次写入MySQL,从而导致数据重复的问题。

2020-02-27