- 博客(20)
- 收藏
- 关注
原创 初识dubbo(一) 持续更新
一 dubbo简介dubbo是阿里公司开源的一个高性能服务框架,通过RPC实现服务的输入输出功能,能好Spring进行无缝集成。dubbo有三大核心能力:面向接口的远程方法调用,智能容错和负载均衡,以及服务自动注册和发现。最近公司需要用dubbo进行一个接口的对接项目,由于之前从未接触过dubbo,所以最近才学了一下,对dubbo有了一个初步的了解。初级微服框架有三个部分组成:provider: 提供者consumer: 消费者common: 常见中立存放api接口Moni
2021-01-20 14:55:40
116
原创 linux下手动执行脚本成功,添加到crontab没用的解决方案
linux下手动执行脚本成功,添加到crontab没用的解决方案这两天在公司写了两个读取hdfs数据然后存到mysql数据库的脚本,手动执行都可用,写到定时任务却无法执行,困扰了我很久,后来先后参考了这两篇博客,终于找到了问题所在。crontab相关命令和排错方式https://www.cnblogs.com/sxdcgaq8080/p/10730633.html怎么查找原因。先读日志!!!!https://blog.csdn.net/zxc_user/article/details/826343
2020-12-29 10:50:49
275
原创 java实现冒泡排序和快速排序
冒泡排序(升序)原理:1.比较相邻的元素,如果第一个数大于第二个数,则交换位置,数值小的放在前,数值大的放在后。完成一次比较。2.进行数对比较,每次都是比较两个数,(1,2),(2,3),(3,4)…直至最后一对数比较结束,完成一轮比较。其中1,2,3指数字的位置,比较时用当前位置上的数字比较。3.下一轮比较时,上一轮中最后一位数不需参与比较。重复1,2直至完成排序。java代码实现: public void bobo(int[] a){ for (int i = 0; i &l
2020-07-08 18:29:41
390
原创 zookeeper环境搭配
1.解压安装包cd /opt/software/tar zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/install/2.修改配置文件cd /opt/install/zookeeper-3.4.5-cdh5.14.2/confcp zoo_sample.cfg zoo.cfgvi zoo.cfg数据存放目录dataDir=/opt/install/zookeeper-3.4.5-cdh5.14.2/zkDatazookeeper集群serve
2020-07-07 18:45:24
155
原创 hadoop完全分布式搭建
虚拟机:vm vbox都可以hadoop:hadoop-2.6.0-cdh5.14.2.tarjdk:jdk-8u111-linux-x64.tarhadoop链接:https://pan.baidu.com/s/1OVUyx5RAkwgu29AgWCFG4g 提取码:pzpyjdk链接:https://pan.baidu.com/s/1uBuP7iN3Qz6fpi3YUjvmoQ 提取码:qigp一、集群准备1、准备三台客户机(关闭防火墙、静态ip,主机映射、主机名称),主机名称分别为ha
2020-07-07 17:12:56
158
原创 Hadoop环境配置(一)
Hadoopd HDFS伪分布式系统环境搭建大数据的4v特征:1.Volume:大数据量,90%的数据是近两年产生的。2.Value:价值密度低,需要进行挖取获得数据价值3.Velocity:增长速度快,数据的增长速度快,时效性高4.Variety:数据多样化,数据种类和来源多样化:结构化数据,非结构化数据,半结构化数据Hadoop三大核心:1.HDFS : 分布式存储系统2.YARN : 资源管理调度系统负责管理和调度集群资源3.MapReduce:分布式框架运算四大特征:1.扩容
2020-07-07 15:13:36
104
原创 linux下配置集群环境与无密登录
首先生成公私钥,公钥可以理解为钥匙(公钥认证)也可以理解为锁(公钥加密),私钥可以理解为锁使用rsa加密算法,密码为空(不输入密码登录)ssh-keygen -t rsa -P ''远程拷贝cdlinux scp命令scp + 需要拷贝的文件 + 账号@用户名:拷贝到对面的电脑的文件—将公钥公开scp id_rsa.pub root@niceday2:~/.ssh将公钥文件拷贝到需要被链接的电脑的authorized_keys文件夹下cat id_dsa.pub >> ~/.ss
2020-07-07 15:11:15
120
原创 Hive和zookeeper的安装与配置
一.Hive的安装zookeeper-3.4.5-cdh5.14.2.tar:https://pan.baidu.com/s/1bAOy6BiVWLNb-Eo3bDVOlw 提取码:9p6fzeppelin-0.8.1-bin-all:https://pan.baidu.com/s/1rKsxIQZ6pc-YAPstFvdi2w 提取码:6wvv一、安装压缩包:tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gzmv zookeeper-3.4.5-cdh5.
2020-06-11 19:04:44
1415
原创 SpringMVC或Springboot模拟生成大量埋点日志数据
首先要在model层写两个分别为用户和服务器的埋点日志信息实体类封装日志信心,以此来快速生成埋点日志。如下图Events代码:package com.mylp.model;/** * @Author slzx * @Description */public class Events { private String eventCategory; private String postion; private String time; private Stri
2020-06-07 16:23:02
810
原创 Logstash在Linux下的安装以及导入日志数据至elasticsearch
一:Logstash安装:Logstash需要与ElasticSearch保持版本配合,之前的ElasticSearch用的是6.2.2版本,所以我们的Logstash也下载此版本6.2.2logstash-6.2.2.tar链接:https://pan.baidu.com/s/155HQPVayosyxPtP-AhNDWQ 提取码:j7cm一:将安装包放在opt目录下,并将它解压mv logstash-6.2.2 /opt/soft/logstash622二:将解压后的文件的转到/opt/s
2020-06-04 19:46:49
516
原创 Hadoop(一)HDFS伪分布式系统环境搭建
Hadoop下载链接(hadoop-2.6.0-cdh5.14.2.tar)百度网盘:https://pan.baidu.com/s/1mcIRDaohztlsIO62WTgJpw提取码:zw28大数据的4v特征:1.Volume:大数据量,90%的数据是近两年产生的。2.Value:价值密度低,需要进行挖取获得数据价值3.Velocity:增长速度快,数据的增长速度快,时效性高4.Variety:数据多样化,数据种类和来源多样化:结构化数据,非结构化数据,半结构化数据Hadoop三大核心
2020-06-02 20:08:06
172
原创 Linux下安装ElasticSearch和ElasticSearch-head
linux下的ElasticSearch安装及环境配置一:首先我们需要安装3台虚拟机,以此模拟集群环境。二:在3台虚拟机下都配置好jdk环境,jdk的安装和shell脚本安装三:我们下载好ElasticSearch6.2.2tar包后,将其放在/opt下解压后,将其在放在/soft/elasticsearch622/目录下tar -zxvf elasticsearch6.2.2.tar.gzmv elasticsearch6.2.2 /soft/elasticsearch622四:修改配置文件
2020-06-01 20:21:19
297
原创 Shell脚本基本命令
bshell脚本shell脚本是包含一系列命令的文本文件用于重复性操作–事务批处理–自动化运维–定时任务执行#!为一个约定的标记放到linux里先授权,后执行(在对变量进行取值时,最好用xx来划定范围,{xx}来划定范围,xx来划定范围,xx这样会有歧义)一:基本操作:1.打印:变量打印#!/bin/bashecho 'hello world'name="zs"echo "hello,"${name}echo ${name}在单引号里无法取到变量,双引号能对${name}取变量
2020-06-01 19:51:46
532
原创 Linux基本操作命令归纳(二)
一:目录操作命令:复制:cp–copy + 老文件 + 新文件查看当前所在目录:pwd–Print Working Directory改变所在目录:cd–change directory列出文件:ls–list表示显示文件详细信息:-l创建目录:mkdir–make directory-p:可以建多层文件夹 递归创建文件夹移动文件:mv–move + 老位置 + 新位置(同时也可以重命名)-i:询问覆盖-f:同名强制覆盖-b:备份旧文件-u:文件较新则覆盖旧文件打印工作目录:pwd
2020-06-01 19:19:51
239
原创 创建计算机组(主机免密登录从机)
计算机组设置:同一网段的不同ip计算机群原来一台 wk 192.168.56.147复制虚拟机wk,修改名称wk1Centos 7 虚拟机上配置在复制的虚拟机daibin1上配置1.修改主机名hostnamectl set-hostname wk12.主机记事本添加主机信息 所有虚拟机都要做记录vi /etc/hosts追加主从机的ip和主机名192.168.56.147 wk192.168.56.148 wk13.本机ip地址修改vi /etc/sysconfig/network
2020-06-01 18:57:36
226
原创 正则表达式-个人整理(其一)
正则表达式的作用分割: split 匹配: matcher 替换: replace 搜索: find search1、\d -----> 一个数字2、\D -----> 一个非数字3、\w -----> 一个字母0-9 a-z4、\W ----->一个非字母5、. 任意一个字符6、? 1.修饰符 修饰前一个正则出现的次数为0~1次比如\W\d?\W 能匹配 $4% 能匹配 @* 不能匹配 &56#2.模式选择(贪婪模式|非贪婪模式)
2020-05-15 00:27:28
163
原创 Linux系统软件安装及项目发布(二)
Linux远程连接ssm接上篇将maven-compiler-plugin配置改成如上图所述<configuration> <source>1.8</source> <target>1.8</target></configuration>打开网页输入地址 : 192.168.56.147:8080/myfirst虚拟机ip地址+":8080"+"/项目"CentOS7安装MySql1.首先搜索mariadb
2020-05-13 02:31:28
178
原创 Linux系统软件安装及项目发布(一)
Linux远程连接ssm工具连接(mobaxterm12、apache-tomcat-8.5.54.tar、apache-maven-3.6.1-bin.tar、jdk-8u111-linux-x64.tar)mobaxterm12可以用Xshell代替推荐Xshell:https://pan.baidu.com/s/1VlRRlWeKEMR1GwfhTqZbhQ 提取码: j9k11.mobaxterm12安装mobaxterm12后打开Xshell的用法:解压jdk配置
2020-05-13 01:42:02
187
原创 Linux基本操作命令归纳(一)
一、Linux 目录操作命令pwd -->查看当前所在目录cd -->打开目录ls –a -->查看目录下文件ll -->以列的方式显示目录下的文件列表mkdir -->创建文件目录rm –rf -->删除文件或目录rm ri -->删除文件前询问用户cp -->复制文件命令mv -->移动文件或修改文件名创建home 文件夹内的wk文件夹m
2020-05-13 00:25:43
1811
2
原创 VirtualBox 虚拟机的配置安装以及Xshell的配置
VirtualBox 虚拟机的配置安装一、新建虚拟机VirtualBox下载1.新建选择虚拟机后,点击右上方设置我光盘用的是CentOS-7-x86_64-DVD-2003.iso参考以下连接2.配置启动后选择第一个 (回车确认)看到以下界面不要动选择语言(默认英语直接continue)更改时区(上海市)硬盘(默认不改)网关 全部打开(on)全部结束后begin设置密码等加载完后rebootreboot后不要管界面 让它自动加
2020-05-11 18:44:59
1003
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人