学习内容输出
文章平均质量分 55
范学博
Practice makes Perfect!
展开
-
跨HDFS集群传输数据distcp
#!/bin/bash#set -xsource=$1target=$2partition_k=$3partition_from=$4partition_to=$5partition_cursor=$partition_fromwhile [ $(date -d $partition_cursor +%s) -le $(date -d $partition_to +%s) ]do bash distcp2 $source $target $partition_k $p.原创 2022-05-21 14:00:59 · 350 阅读 · 1 评论 -
通过ip获取国家 省份 城市信息
通过ip获取国家 省份 城市信息原创 2022-04-22 10:33:44 · 1430 阅读 · 0 评论 -
shell连接mysql导出数据到文件同时写入hive
#!/bin/bashset -xwork_dir=$(cd $(dirname $0); pwd)mysql_hostname='mysql_hostname'mysql_port='3358'mysql_username='mysql_username'mysql_password='mysql_password'mysql_dbname='mysql_dbname'time=$(date "+%Y%m%d%H%M%S")export_file=${work_dir}/mysql原创 2022-03-02 16:13:03 · 1664 阅读 · 1 评论 -
一次JVM调优实践 | 项目运行一段时间后卡顿
调优背景:项目运行卡顿,页面加载慢。排查问题思路:查看CPU使用率,内存使用率,分析是否有耗时的线程,是否由于编码不规范导致产生对象过多等。使用’top’命令,查看cpu使用率(%CPU),内存使用率(%MEM),PID进程ID使用’top -Hp pid’命令,查看进程中线程耗费CPU的时间使用’printf “%x\n”线程id’命令,得到线程id的十六进制值使用’jstack 进程id | grep 线程id的十六进制值’命令查看进程的...原创 2020-09-23 14:03:15 · 2885 阅读 · 0 评论 -
Spring MVC 架构 | 与原生Servlet区别 | 请求处理流程
SpringMVC 简介SpringMVC 全名叫 Spring Web MVC,是⼀种基于 Java 的实现 MVC 设计模型的请求驱动类型的轻量级 Web 框架,属于 SpringFrameWork 的后续产品。下图是Spring MVC 在 Spring 架构中的位置:它通过⼀套注解,让⼀个简单的 Java 类成为处理请求的控制器,⽽⽆须实现任何接⼝。同时它还⽀持 RESTful 编程⻛格的请求。主要解决表现层问题的web框架,是基于 MVC 设计模式的。主要职责就是处理前端HTTP请求。原创 2020-08-08 16:09:16 · 802 阅读 · 0 评论 -
Spring Cloud中@HystrixCommand注解 Hystrix舱壁模式(线程池隔离策略)
今天来研究下@HystrixCommand注解。使用Sping Cloud必然会用到Hystrix做熔断降级,也必然会用到@HystrixCommand注解,该注解可以配置的除了常用的groupKey、commandKey、fallbackMethod等,还有一个很关键的就是threadPoolKey,就是使用Hystrix线程隔离策略时的线程池Key。/** * Copyright 2012 Netflix, Inc. * * Licensed under the Apache License原创 2020-08-06 19:31:39 · 2175 阅读 · 1 评论 -
Spring源码环境搭建和Spring源码剖析
Spring源码环境搭建同一版本说明:gradle5.6.3,JDK11.0.5,springframework5.1.x。确认无问题版本。按照如下构建过程构建即可。安装gradle1、进入官网的下载页面(https://services.gradle.org/distributions/)如下图所示,我们选择想要安装的发布版本。gradle-x.x-src.zip是源码,gradle-x.x-bin.zip是需要下载的安装发布版,gradle-x.x-all.zip则是下载全部的文件。我是原创 2020-07-24 09:28:04 · 559 阅读 · 0 评论 -
RedisCluster的安装、部署、扩容和Java客户端调用
集群规划机器ip 节点角色 安装目录 192.168.127.128 master1-6379,slave1-6380 /home/redis-cluster 192.168.127.129 master2-6379,slave2-6380,master4-6381 /home/redis-cluster 192.168.127.130 master3-6379,slave3-6380,slave4-6381 /home/redis-clust原创 2020-07-18 10:30:30 · 469 阅读 · 0 评论 -
约定优于配置设计范式及Spring Boot源码剖析
依赖管理在Spring Boot入门程序中,项目pom.xml文件中有两个核心依赖,分别是spring-boot-starter-parent和spring-boot-starter-web,关于这两个依赖的相关介绍具体如下:为何导入dependency时不需要指定版本号呢?首先在父依赖中指定了实际开发所依赖的版本号,当然是可以修改的。<!-- Spring Boot父项目依赖管理 --><parent> <groupId>org.springfr原创 2020-07-15 19:37:06 · 553 阅读 · 0 评论 -
搭建Hadoop分布式文件系统HDFS、海量列式存储数据库HBase
hadoop集群搭建一、java环境准备#检查java环境[root@localhost ~]# rpm -qa | grep jdk#如果有进行卸载[root@localhost ~]# yum -y remove 上一步查看到的拷贝到这里#下载并安装[root@localhost ~]# yum install java-1.8.0-openjdk#通过yum安装的默认路径为:/usr/lib/jvm#配置环境变量[root@localhost jvm]# vim /e原创 2020-07-11 11:57:42 · 1840 阅读 · 0 评论 -
CAS底层原理 | JVM相关知识
文章内容输出来源:拉钩教育Java工程师高薪训练营https://kaiwu.lagou.com/java_architect.html?utm_source=app_edu开篇词先容我唠叨几句。岁月不居,时节如流。身处技术行业,学习当然是不能停止的。那些所谓三四十岁的焦虑大都是因为日子都是混过去的。我希望优秀的你看到这篇文章能够给你带来一些启发。早日在自己的领域有所作为。学习最重要的是掌握方法。不要被哪些让人眼花缭乱的Java学习路线影响到你的情绪。学习要讲究先学脉络再逐个技术点击破。先根原创 2020-07-08 21:15:52 · 8855 阅读 · 2 评论 -
搭建Nginx+FastDFS服务器以及实现Nginx+Lua+GraphicsMagick动态压缩图片
在Linux系统安装FastDFS服务器(ip:192.168.127.128)1、编译环境[root@localhost ~]# yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y2、安装libfatscommonFastDFS分离出的一些公用函数包#切换到安装目录准备下载安装包[root@local原创 2020-07-03 19:59:08 · 1036 阅读 · 0 评论 -
采用Sharding-JDBC实现分库分表+读写分离
需求说明1、基于user_id对c_order表进行数据分片。2、分别对master1和master2搭建一主两从的架构。3、基于master1和master2主从集群实现读写分离。特殊说明:本博客中主要讲解spring配置文件配置思路。分库分表+读写分离使用本地两个数据库来演示。搭建主从环境请参见:https://blog.csdn.net/fanxb92/article/details/1069618291、环境准备之机器说明机器名称 IP配置 服务.原创 2020-06-26 12:27:17 · 2928 阅读 · 1 评论 -
搭建MySQL主从半同步复制的MHA高可用集群
需求说明1、首先实现一主两从的同步复制功能(采用半同步复制机制)2、然后采用MHA实现主机出现故障,从库能自动切换功能。3、MHA高可用搭建后,在主库新建商品表进行效果测试MHA介绍 MHA(Master HA)是一款开源的 MySQL 的高可用程序,它为 MySQL 主从复制架构提供了 automating master failover 功能。MHA 在监控到 master 节点故障时,会提升其中拥有最新数据的 slave 节点成为新的master 节点,在此期间,MHA 会通过于原创 2020-06-25 20:30:55 · 981 阅读 · 0 评论 -
搭建 MongoDB 复制集,添加安全认证,Spring Boot 整合 MongoDB(内容较多慎入)
需求说明(1)如图搭建一个分片集群 要求每个分片节点中的复制集含有一个仲裁节点(2)使用权限控制 建立访问你访问的数据库mamba 这个账号名字是rwUser密码是rwUser 这个账号对数据库有读写权限(3)使用SpringBoot 进行访问分片集群 对mamba 库中的nba_star进行增加数据一、MongoDB基础环境搭建机器较多,建议每操作一个小部分先进行测试,再进行下一步,比如添加复制集配置,先配置一台,启动没问题再进行拷贝修改。开启认证前,建议先使用j...原创 2020-06-23 11:02:34 · 2183 阅读 · 0 评论