- 博客(33)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop框架介绍
hadoop介绍 apache hadoop软件是一个使用简单编程模型跨计算机群分布式处理大型数据集的框架。能够从单个服务器扩展到数千台机器，每一台机器都可以提供本地计算和存储。hadoop本身不是依靠硬件来提供高可用，而是设计用于检测和处理应用层的故障，因此在计算机集群上提供高可用服务每一台机器都容易出现故障。apache hadoop 模块1、hadoop common 支持其他 Hadoop 模块的通用实用程序。2、Hadoop 分布式文件系统 (HDFS™) 一种分布式文件系统，可提供对应
2022-04-20 17:15:35
4452
原创 大数据组件整理
一、组件apache hadoop：是一个用Java编写的Apache开源框架 1、hdfs： Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统。 2、mapreduce：hadoop自带计算框架。 3、yarn：YARN 资源管理器cdh： CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建hive ：Apache Hive ™ 数据仓库pig： Apache Pig是一个用于分析大型数据集的平台，其中包括用
2022-04-20 16:21:21
11258
1
转载 linux iostat
iostat是I/O statistics（输入/输出统计）的缩写，用来动态监视系统的磁盘操作活动。安装iostatyum -y install sysstatiostat[参数][时间][次数]通过iostat方便查看CPU、网卡、tty设备、磁盘、CD-ROM 等等设备的活动情况, 负载信息。-C 显示CPU使用情况-d 显示磁盘使用情况-k 以 KB 为单位显示-m 以 M 为单位显示-N 显示磁盘阵列(LVM) 信息-n 显示NFS 使用情况-p[磁盘] 显示磁盘和分区的情况
2022-04-18 13:00:17
346
转载 linux free查询可用内存
free工具用来查看系统可用内存:/opt/app/tdev1$free total used free shared buffers cachedMem: 8175320 6159248 2016072 0 310208 5243680-/+ buffers/cache: 605360 7569960Swap: 6881272 16196
2022-03-30 17:00:15
748
转载 linux ipcs 查询进程间通信状态
ipcs是Linux下显示进程间通信设施状态的工具。可以显示消息队列、共享内存和信号量的信息。对于程序员非常有用，普通的系统管理员一般用不到此指令。$ipcs------ Shared Memory Segments --------key shmid owner perms bytes nattch status------ Semaphore Arrays --------key semid owner
2022-03-28 17:58:09
551
转载 linux strace 跟踪进程中的系统调用
strace常用来跟踪进程执行时的系统调用和所接收的信号。 在Linux世界，进程不能直接访问硬件设备，当进程需要访问硬件设备(比如读取磁盘文件，接收网络数据等等)时，必须由用户态模式切换至内核态模式，通过系统调用访问硬件设备。strace可以跟踪到一个进程产生的系统调用,包括参数，返回值，执行消耗的时间。每一行都是一条系统调用，等号左边是系统调用的函数名及其参数，右边是该调用的返回值。 strace 显示这些调用的参数并返回符号形式的值。strace 从内核接收信息，而且不需要以任何特殊的方式来构建内核
2022-03-28 17:28:37
446
转载 linux pstack跟踪进程栈
此命令可显示每个进程的栈跟踪。pstack 命令必须由相应进程的属主或 root 运行。可以使用 pstack 来确定进程挂起的位置。此命令允许使用的唯一选项是要检查的进程的 PID。请参见 proc(1) 手册页。这个命令在排查进程问题时非常有用，比如我们发现一个服务一直处于work状态（如假死状态，好似死循环），使用这个命令就能轻松定位问题所在；可以在一段时间内，多执行几次pstack，若发现代码栈总是停在同一个位置，那个位置就需要重点关注，很可能就是出问题的地方；示例：查看bash程序进程栈:/
2022-03-28 10:12:17
178
转载 linux ps进程查看器
Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照，就是执行ps命令的那个时刻的那些进程，如果想要动态的显示进程信息，就可以使用top命令。要对进程进行监测和控制，首先必须要了解当前进程的情况，也就是需要查看当前进程，而 ps 命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在运行和运行的状态、进程是否结束、进程有没有僵死、哪些进程占用了过多的资源等等。总之大部分信息都是可以通过执行该命令得到
2022-03-28 09:49:46
122
转载 linux lsof命令
1、介绍lsof（list open files）是一个查看当前系统文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，该文件描述符提供了大量关于这个应用程序本身的信息。2、lsof打开的文件可以是：普通文件目录网络文件系统的文件字符或设备文件(函数)共享库管道，命名管道符号链接网络文件（例如：NFS file
2022-03-16 10:52:12
155
原创 Mysql存储空间磁盘满了如何处理
mysql 操作者慢慢的磁盘空间慢了。启动不了。报错信息显示：no space left on device 、磁盘没有空间。没有空间怎么办。先看看磁盘使用情况。嗯，很好。只有/dev/sda3满了。说明mysql数据都在这里面。其他磁盘丝毫没使用到啊。解决办法1、systemctl stop mysqld 先停止mysql2、在 /app 目录下创建一个mysql的存储目录。谁让这个磁盘大呢。3、mkdir -p /app/mysql/ 创建一个mysql目录4、chown -R
2022-02-28 19:09:52
4993
转载 基于tomcat配置https证书，我们使用java就可以实现
java 生成证书本文将讲解HTTPS协议在Tomcat中启用是如何配置的。概念简介Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试 JSP 程序的首选。HTTP 超文本传输协议（HTTP，HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。HTTPS（全称：Hyper Text Transfer Protoc
2022-02-23 18:09:54
581
原创 对于Syncronized你不知道的秘密
Syncronized 原理第一章：并发编程的三个问题可见性概念可见性(visibility):一个线程对共享变量进行修改，其他线程立即得到修改后的最新知演示 //1、静态成员变量private static boolean var = true;public static void main(String[] args) throws InterruptedException { //2、创建一条线程。不断读取共享变量的值 new Thread(() -> {
2022-02-21 18:34:52
623
原创 haproxy负载均衡配置
一、HAProxy简介（1）HAProxy 是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的 并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。（2）HAProxy 实现了一种事件驱动、单一进程模型，此
2022-02-10 17:50:59
3321
原创 keepalived安装教程
安装1、yum方式安装依赖包安装依赖包[root@localhost ~]# yum install -y curl gcc openssl-devel libnl3-devel net-snmp-devel[root@localhost ~]# yum install -y keepalived 初始化及启动[root@localhost ~]# systemctl start keepalived //启动keepalived[root@localhost ~]# systemc
2022-02-10 17:48:23
10750
5
原创 wget 不能解析域名问题
突然之间 linux wget 不能解析http://www.baidu.com 了vim /etc/resolv.confGenerated by NetworkManagernameserver 8.8.8.8nameserver 4.4.4.4nameserver 8.8.4.4保存文件重新 wget 完美解决
2022-02-09 15:37:51
942
原创 minio集群安装文档
1、准备工作1、min 官方建议至少4个节点节点IPdatayouduk2xxx.xxx.xxx.xxx/home/minio/data1 /home/minio/data2youduk3xxx.xxx.xxx.xxx/home/minio/data1 /home/minio/data2youduk4xxx.xxx.xxx.xxx/home/minio/data1 /home/minio/data2youduk5xxx.xxx.xxx.xxx
2022-02-08 18:14:59
2182
转载 java: -source 1.5 中不支持 lambda 表达式
我们在使用IntelliJ IDEA编译项目的时候,会因为各种原因导致自动更改项目的language level ，因此需要重新设置， 例如我们在使用IntelliJ IDEA导入项目时，有时默认的java language level是1.5，甚至我们在使用IntelliJ IDEA提示自动导入Maven依赖时也会自动修改 language level，level过低很多新的语法就会报错，因此我们需要修改项目中Java的language level，下面就跟着小编一起解决IDEA自动重置Language
2022-02-01 14:50:45
8821
原创 jdk安装 系统找不到文件C:\ProgramData\Oracle\Java\javapath\java.exe
java 配置环境变量，配置好了之后 显示jdk安装 系统找不到文件C:\ProgramData\Oracle\Java\javapath\java.exe什么情况？我明明配置的不是这目录。？？？仔细检查了一下，配置环境变量没有问题。难道有之前的环境变量指向了这个目录？假设在path 中肯定会有一个这个目录D:\Program Files (x86)\py37\Scripts;D:\Program Files (x86)\py37;C:\ProgramData\Oracle\Java\j
2022-01-25 10:57:56
4744
4
原创 hive使用，及语法
hive1、 /bin/hive2、 /bin/beelinebeenline> ! connect jdbc:hive2://youduk3:10000使用hive1、与hdfs 文件映射。1）创建映射文件touch test.txtvim test.txt1,allen,342,tom,223,acat,454,ali,215,afe,552、上传文件到hdfs//创建个临时目录hadoop dfs -mkdir -p /test///上传文件到临时目录h
2022-01-24 10:28:43
1464
转载 Spring Boot 3.0.0 发布第一个里程碑版本M1，你的 Java 升到17 了吗？
2022年1月20日，Spring官方发布了Spring Boot 3.0.0的第一个里程碑版本M1。下面一起来来看看Spring Boot 3.0.0 M1版本都有哪些重大变化：Java基线从 Java 8 提升到了 Java 17这个在最早的Spring Boot 3相关预告中就已经知道了，Java 17将成为未来的主流版本。那么问题来了，大家都把Java 17的升级提上日程了吗？如果你对Java 8之后的各种版本的信息不太了解的话，这里有份 4.6 W 字的总结，或许你可以读一读。从Ja
2022-01-22 09:26:19
339
原创 linux mysql8 安装教程
环境mysql8.0.27linux7.0+安装包下载地址MySQL :: Download MySQL Community Server这里我们选择linux 7 版本。 linux8 对应centos8 linux6 对应centos6版本。根据linux版本选择自己对应的版本。卸载之前版本rpm -qa | grep mariadbrpm -qa | grep mariadb卸载命令 rpm -e xxx –nodepsrm –rf /etc/my.cnff
2022-01-14 18:17:47
681
原创 mysql数据按天分区，定期删除
分区是指将同一表中不同行的记录分配到不同的物理文件中，几个分区就有几个.idb文件。MySQL在5.1时添加了对水平分区的支持。分区是将一个表或索引分解成多个更小，更可管理的部分。每个区都是独立的，可以独立处理，也可以作为一个更大对象的一部分进行处理。这个是MySQL支持的功能，业务代码无需改动。要知道MySQL是面向OLTP的数据，它不像TIDB等其他DB。那么对于分区的使用应该非常小心，如果不清楚如何使用分区可能会对性能产生负面的影响。 MySQL数据库的分区是局部分区索引，一个分区中既存了数据，
2022-01-14 17:36:23
3070
1
原创 如何快速学习，再短时间内成为高手
一、选择目标领域，并完全了解这个概念将需要学习的概念写在纸上，尽可能的去熟悉这个概念。1、一定要将自己脑海的语言组织出来并反应在书面上2、如果写不出来再回去看哪里不懂二、向别人复述这个概念向身边人复述一遍你所学习到的知识，如果没有，就只好假装自己是一个老师（脑洞少女的日常），向学生复述这个概念，记住，尽量使用简单的语言，这一步是为了让你更好的融入自己的理解。在复述时，一定会在所难免的会卡住，或者结巴，叙述不完整。这时候，恭喜你，喜提知识概念薄弱点。这时候，将这些薄弱点重新学习巩固一遍，直到真正理..
2022-01-13 15:41:39
127
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人