- 博客(21)
- 收藏
- 关注
RSS订阅原创 mysql 存储过程简单使用
使用场景：因为数据库单表增量较大，考虑将该表水平拆分，分成32张表，路由字段为用户id，按照用户id%32将数据散落到各个分表中，中间件采用sharding-sphere。表拆分完成以后，遇到尴尬的问题，生成相同结构的表，所以此处采用了存储过程辅助生成表。根据现有表结构创建表create table ${tableName}like ${copyTable};存储过程：存储过程...
2019-09-17 14:33:04
253
原创 docker容器迁移
一、设置docker数据目录软连接由于内网showdoc服务器硬盘满了，要做迁移，运维这边分配了一个新机器，发现机器下是挂载了一块磁盘。而默认的docker容器的数据是存放在/var/lib/docker下于是在新机器安装完docker后，将docker原始数据目录移动到挂载盘的目录下，然后用软连接的方式映射到docker默认的目录处。mv /var/lib/docker /...
2019-07-09 14:52:48
733
原创 RabbitMq安装（踩坑记）
由于近期想引入mq，调研mq类产品，从社区活跃度，消息持久化，高并发，乃至于吞吐量等方面，最终选定了，性能均衡的rabbitMq。对比差异：https://blog.csdn.net/belvine/article/details/80842240安装踩过各种坑，最终使用以下步骤：环境centos71.安装erlangyum -y install erlang2....
2019-05-23 11:20:33
624
原创 docker-compose安装中文版gitlab（centos7环境）
docker，docker-compose安装方式传送门一、下载gitlab中文版镜像1.docker hub 中文镜像地址 ,接着执行下面命令下载最新版（镜像较大，倒杯茶喝一会儿0.0~）docker pull twang2218/gitlab-ce-zh2.查看镜像docker images二、安装gitlab1.在/usr/local下创建docker文件夹，...
2019-02-21 16:37:35
1196
原创 Docker-Compose安装（centos7环境）
一、安装docker1.查询yum上docker软件包yum list docker此时查找到软件包为docker.x86_642.安装dockeryum -y install docker.x86_643.启动docker# centos7systemctl start docker.service# centos7以下版本service docke...
2019-02-21 15:13:43
1779
原创 基于Ant Design UI框架的React项目
一直做后端，但是随着前端框架的更新迭代，索性花几天时间接触一下。做一个整理。（前端大佬请无视- -！）环境搭建一、什么是npm和cnpmnpm（node package manager）：nodejs的包管理器，用于node插件管理（包括安装、卸载、管理依赖等） cnpm:因为npm安装插件是从国外服务器下载，受网络的影响比较大，可能会出现异常，如果npm的服务器在中国就好了，所以我们...
2019-01-21 11:28:39
789
原创 Java Mail(发邮件)
邮箱相关协议介绍：参考博客：https://blog.csdn.net/suhuaiqiang_janlay/article/details/78765613简单邮件发送案例：import org.junit.Test;import javax.mail.*;import javax.mail.internet.InternetAddress;import javax.mai...
2019-01-07 14:42:12
950
原创 小数转百分比
JstoPrecision(x)方法：把数字格式化为指定的长度参数 描述 x 必需。规定必须被转换为指数计数法的最小位数。该参数是 1 ~ 21 之间（且包括 1 和 21）的值。有效实现允许有选择地支持更大或更小的 num。如果省略了该参数，则调用方法 toString()，而不是把数字转换成十进制的值 例：var num = new Number(13.3714)...
2019-01-07 13:47:27
676
转载 完全卸载删除gitlab
完全卸载删除gitlab1、停止gitlabgitlab-ctl stop2、卸载gitlab（注意这里写的是gitlab-ce）rpm -e gitlab-ce3、查看gitlab进程ps aux | grep gitlab4、杀掉第一个进程（就是带有好多.............的进程）kill -9 18777杀掉后，在ps aux...
2018-10-29 13:38:13
1591
原创 CentOS7 防火墙相关设置
1、firewalld的基本使用启动： systemctl start firewalld查看状态： systemctl status firewalld 停止： systemctl disable firewalld禁用： systemctl stop firewalld 2.systemctl是CentOS7的服务管理工具中主要的工具，它融合之前service和chkconfig的功...
2018-10-17 18:29:25
160
原创 Mysql主从架构搭建、及读写分离策略的实现
Mysql主从架构搭建、及读写分离单机存储MySQL/Oracle有哪些缺点？1）数据存储不安全-缺少备份机制2）单个节点-连接数有限（修改-插入|更新|删除、查询）连接分流：将修改操作发送给指定一个机器（称为主机master、Leader）、其他机器（slave、follower）负责同步master|Leader的操作。Master数据和Slave节点数据 最终一定是一致的...
2018-07-20 13:23:38
330
原创 HBase架构解析
HBase架构组成 HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下： HMaster节点用于：① 管理HRegionServer，...
2018-07-11 17:45:26
297
原创 HBase介绍, 环境搭建,HBase shell 命令
为何使用HBase？Hbase 称为Hadoop database，设计理念来自于google的bigtable（基于GFS上一款NoSQL数据库）论文。HDFS支持海量数据的存储，不支持数据修改（记录级别）不支持对于海量数据的随即访问。一般如果想针对于海量数据随机读写在不考虑时间的情况下可以配合Map Reduce实现对数据ETL（耗时）。Hbase是基于HDFS上的一款NoSQL数据库实现...
2018-07-09 21:09:27
669
原创 第三方jar包解决方案
第三方jar包解决方案 方案1：可以将任务jar中建立lib目录把依赖的jar放入该目录，此时项目运行时会自动寻找lib目录下的jar Task运行期间Jars依赖 可以通过以下方案方案2：conf.set("tmpjars","file:///jar路径 ");hadoop jar xxx.jar xxx入口类 -libjars jar路径...
2018-07-06 22:16:54
803
原创 HDFS Name Node HA （Resource Manager HA）
CentOSA CentOSB CentOS 192.168.199.131 192.168.199.132 192.168.199.133 zookeeper zookeeper zookeeper journalnode journalnode journalnode nn1 nn2 zkfc zkf...
2018-07-06 17:59:15
268
原创 Hadoop MR InputFormat/OutputFormat
常见的InputFormat&OutputFormat InputFormat作用是为MapTask任务（第一阶段 归类/分析）阶段准备需要分类的数据信息。InputFormat的核心作用1、计算任务切片2、读取切片数据RecordReader。 InputForamt： ① FileIputFormat （负责读取HD...
2018-07-05 22:29:28
1231
原创 Hadoop Map Reduces实例练习
现有如下文件，分别代表某一年每个名字对应的性别，和对应的人数。每个文件内数据格式如下(取其中的一部分)Mary,F,7065Anna,F,2604Emma,F,2003Elizabeth,F,1939Minnie,F,1746Margaret,F,1578Ida,F,1472Alice,F,1414...Claud,M,90Roscoe,M,90Sylveste...
2018-07-04 20:54:40
205
原创 Hadoop MapReduce 任务发布
MapReduce 任务发布预埋数据0.0[root@CentOS ~]# vim words When I am downYou raise me upI believe I can fly上传到hdfs中[root@CentOS ~]# hdfs dfs -mkdir /demo[root@CentOS ~]# hdfs dfs -put words /demo/w...
2018-07-04 17:20:11
499
原创 Hadoop Map Reduce计算框架概述
Map Reduce(计算框架) Map Reduce是Hadoop提供的一款通用的并行计算框架，该计算框架可以计算来自于文本文件、NoSQL、RDBMS系统中的数据。该计算实质是利用了HDFS集群中的DataNode所在机器的CPU、内存和少许磁盘完成分布式计算。该计算分为两个阶段：①Map reduce将一个大任务拆分若干个小任务（数据拆分），Map阶段作用是对每一小任务对应的...
2018-07-03 20:38:58
294
原创 Hadoop HDFS JAVA API
windows环境要求 解压hadoop-2.6.0.tar.gz到D盘根目录，配置HADOOP_HOME环境变量添加hadoop.dll、winutils.exe到hadoop的bin目录中 重启IDEA在windows配置主机名和IP的映射关系（win10为例）（shift+右键以管理员身份打开）C:\Windows\System32\drivers\et...
2018-07-03 12:51:16
196
原创 Hadoop介绍，环境搭建，架构
前言 Hadoop早期衍生自Nutch（Java开源的搜索引擎），早期Nutch构建开源的搜索引擎，同样在少数的机器上同时运行计算任务面临着问题，在这个时候Google发布了GFS和Map Reduce论文。人们参考着这两篇论文中所阐述的思想开始重建Nutch的存储和计算模型。一开始尝试在20台机器的计算和存储，不久人们发现为了满足web服务高扩展性，需要将集群规模扩展到几千台的...
2018-07-02 21:28:28
222
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人