- 博客(193)
- 资源 (29)
- 收藏
- 关注
原创 记一次 Centos7.x YApi 私有化部署
https://www.mongodb.com/try/download/communityhttps://fastdl.mongodb.org/linux/mongodb-shell-linux-s390x-rhel72-4.4.3.tgz[root@master ~]# wget -P /opt/mongodb https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.22.tgzCentos7.x 安装 nodehttps://blo
2021-01-30 10:13:53 1694 1
原创 记一次 Centos7.x 安装部署 WGCLOUD 运维监控平台
https://www.wgstart.com/https://www.wgstart.com/docs.htmlCentos 7 安装 MariaDb(Mysql)https://blog.csdn.net/llwy1428/article/details/84965680firewall-cmd --list-allfirewall-cmd --permanent --add-port=3306/tcpservice firewalld restart[root@localhost ~]#
2021-01-15 09:23:05 3140
原创 记一次 Centos7.6 基于 Hadoop3.x 集群部署 HBase 2.4.0 集群
基本信息安装部署[root@master ~]# wget -P /usr/bigdata/ https://mirror.bit.edu.cn/apache/hbase/2.4.0/hbase-2.4.0-bin.tar.gz[root@master ~]# cd /usr/bigdata/[root@master bigdata]# tar zxf hbase-2.4.0-bin.tar.gz[root@master bigdata]# ll[root@master ~]# cd /us
2020-12-26 19:10:36 2148
原创 记一次 Centos7.x 安装部署 Zookeeper 3.6.2 集群
基础信息https://zookeeper.apache.org/编写目的环境准备安装部署[root@slave1 ~]# wget -P https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz[root@slave1 ~]# cd /usr/bigdata/[root@slave1 bigdata]# ll[root@slave1 bigdata]# t
2020-12-25 10:15:24 1050
原创 记一次 Centos7.x 基于 Hadoop 3.x 集群搭建部署 Hive
编写目的:提示:这里可以添加学习目标例如:一周掌握 Java 入门知识学习内容:提示:这里可以添加要学的内容例如:1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间:提示:这里可以添加计划学习的时间例如:1、 周一至周五晚上 7 点—晚上9点2、 周六上午 9 点-上午 11 点3、 周日下午 3 点-下午 6 点学习产出:提示:这里统计学习计划的总量例如:1、 技术笔记 2 遍2、CSDN 技术博客
2020-12-22 12:50:44 1366
原创 记一次 Centos7.x 安装部署 Hadoop 3.x HDFS基础环境(非高可用集群)
一、基础信息官网 http://hadoop.apache.org/快速入门 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html在线文档 http://tool.oschina.net/apidocs/apidoc?api=hadoop易百教程https://www.yiibai.com/hadoop/W3Cschool教程https://www.w3cschool.cn/hadoop/?二、环境、工具说明1...
2020-12-17 23:50:24 3302
原创 记一次 Centos7.x PostgreSql 数据库 主从同步环境搭建、配置
一、数据库安装根据自身环境需要选择安装、操作1、yum 指定目录安装https://blog.csdn.net/llwy1428/article/details/1051430532、yum 直接安装https://blog.csdn.net/llwy1428/article/details/1024864143、编译安装https://blog.csdn.net/llwy1428/article/details/954441514、PostgreSql 基本操作http
2020-07-23 17:29:01 3146
原创 记一次 Windows10 使用 PgAdmin 备份 PostgreSql 数据库
下载地址https://www.enterprisedb.com/downloads/postgres-postgresql-downloadspostgresql-11.8-1-windows-x64.exe...
2020-06-30 08:46:45 1538
原创 记一次 Centos7.x 安装配置 Redis 6.0.5 并配置主从复制
一、基本信息二、系统及工具三、安装、部署、配置[root@localhost ~]# yum install gcc gcc-c++ vim net-tools nmap lrasz tree[root@localhost ~]# mkdir /opt/redis[root@localhost ~]# cd /opt/redis/[root@localhost redis]# wget http://download.redis.io/releases/...
2020-06-14 01:06:02 2421
原创 记一次 Centos7 Postgresql v11 数据库备份、还原
一、数据库安装根据自身环境需要选择安装1、yum 指定目录安装https://blog.csdn.net/llwy1428/article/details/1051430532、yum 直接安装https://blog.csdn.net/llwy1428/article/details/1024864143、编译安装https://blog.csdn.net/llwy1428/article/details/954441514、PostgreSql 基本操作https:/
2020-06-04 17:51:47 1708
原创 记一次 Centos7 Nexus 配置私服(Maven私服)
一、环境搭建二、Nexus 配置创建仓库创建宿主仓库创建release 仓库,仓库名称 hunter-release (名字自定义), type选择 : release创建snapshot 仓库,仓库名称 hunter-snapshot (名字自定义), type选择 : snapshot创建结果至此,Nexus 配置私服操作完...
2020-03-26 08:56:19 1009
原创 记一次 Centos 7 搭建 Nexus (Maven私服)
一、基本信息官网 https://www.sonatype.com/下载 https://help.sonatype.com/repomanager3/download二、特点Nexus3.x 相较 2.x 版本有很大的改变1、从底层重构,从而提高性能,增强扩展能力,并改善用户体验2、升级界面,增加更多的浏览,搜索和管理功能3、提供安装包,使部署更...
2020-03-25 11:47:22 1166
原创 记一次 Centos7.4 手动搭建 Elasticsearch 7.4.0 集群
QQ交流群:64655993 希望能对您有所帮助!!!官方网站:https://www.elastic.co/cn/products/elasticsearch一、基础环境说明1、系统说明系统:CentOS-7-x86_64-Minimal-1708下载地址:http://archive.kernel.org/centos-vault/7.4.1708/iso...
2019-10-07 18:46:42 8579
原创 记一次 Centos7 Nginx 配置 stream 转发
一、背景说明有两台服务器 A、B,A、B服务器在同一个内网环境中,之间可互联互通;其中 A 服务器有外网 ip 可远程连接访问;B 服务器无外网 ip ,不可远程请求、访问。需求:通过远程请求 A 服务器的 ip 和端口,来访问、操作 B 服务器上的 web 服务或者数据库。二、环境、工具说明1、操作系统 Centos7.4 x64 Minimal17082、VMware...
2019-09-19 20:15:01 7815 1
原创 记一次 Centos7.4 搭建 Hadoop 3.2.0(HA) YARN(HA)集群
一、基本信息官网 http://hadoop.apache.org/快速入门 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html在线文档 http://tool.oschina.net/apidocs/apidoc?api=hadoop易百教程 https://www.yiibai.com/hadoop/W3C...
2019-07-09 09:04:21 1620
原创 记一次 Centos7.4 搭建 Kafka 集群 (v2.12-2.3.0)
一、基本信息说明官网:http://kafka.apache.org快速开始:http://kafka.apache.org/quickstart官网下载:http://kafka.apache.org/downloads http://apache.fayea.com/kafka/中文文档:http://kafka.apachecn.org/W3CSchool:https...
2019-07-01 13:18:40 1960
原创 记一次 Centos 安装、配置 Nginx
QQ交流群:64655993 希望能对您有所帮助!!!1、下载文件nginx下载地址 http://nginx.org/ http://nginx.org/en/download.html2、安装基本工具root@localhost ~]# yuminstall-y vim lrzszgccgcc-c++ make pcre pcre-develzlib z...
2018-12-18 14:59:04 762
原创 记一次 Centos 7 安装 MariaDb(Mysql)
QQ交流群:64655993 希望能对您有所帮助!!!1、安装Mariadb服务[root@localhost ~]# yum install -y mariadb mariadb-server2、启动服务[root@localhost ~]# systemctl start mariadb3、初始化数据库[root@localhost ~]# mysql_secur...
2018-12-12 10:29:28 2046
原创 记一次 MyBatis常用到的动态sql
一、SQL的动态拼接标签if标签where标签choose when otherwise标签set标签trim标签bind标签sql和include标签 foreach标签二、if标签:test中写判断条件 参数直接paramN或者别名 特点: 只要成立就拼接在Sql语句中,都成立就全部都拼接 注意: where子句中加上1=1来规避and的风险<select id="uid" resultType="UserEntity">select * from UserEntity
2021-09-10 00:26:43 677 1
原创 记一次 SQL优化
一、经常遇到的问题1、没有索引或没有用到索引2、I/O吞吐量小,存在瓶颈效应3、内侧不足4、网络速度慢5、查询出的结果数据量过大6、出现锁或者死锁7、返回不必要的行和列数据,比如 select *8、查询预计存在问题,没有优化二、基础策略1、尽量避免在where子句中使用不等于(!= 或 <>) 操作符,否则将导致引擎放弃使用索引而进行全表扫描。...
2021-09-06 00:51:54 503
原创 记一次 使用 screw 生成数据库设计文档
网址:https://gitee.com/leshalv/screw简介在企业级开发中、我们经常会有编写数据库表结构文档的时间付出,从业以来,待过几家企业,关于数据库表结构文档状态:要么没有、要么有、但都是手写、后期运维开发,需要手动进行维护到文档中,很是繁琐、如果忘记一次维护、就会给以后工作造成很多困扰、无形中制造了很多坑留给自己和后人,于是萌生了要自己写一个插件工具的想法,但由于自己前期在程序设计上没有很多造诣,且能力偏低,有想法并不能很好实现,随着工作阅历的增加,和知识的不断储备,终于在2020.
2021-02-06 16:13:32 1122 1
原创 记一次 Centos7.x 安装、部署 easy-mock 服务(基于 Node、MongoDB、Redis 环境)
https://easymock.org/https://easymock.org/getting-started.htmlhttps://easymock.org/api/https://github.com/easymock/easymockgit clone https://github.com/easy-mock/easy-mock.gitNodejs环境安装参考 https://blog.csdn.net/llwy1428/article/details/111880286其他参考.
2021-02-01 17:51:26 490
原创 记一次 Centos7.x PM2 启动 node 应用
https://pm2.keymetrics.io/http://pm2.keymetrics.io/docs/usage/quick-start简介PM2是node进程管理工具,可以利用它来简化很多node应用管理的繁琐任务,如性能监控、自动重启、负载均衡等,而且使用非常简单。下面就对PM2进行入门性的介绍,基本涵盖了PM2的常用的功能和配置。环境、背景安装[root@slave1 ~]# npm install -g pm2[root@master ~]# npm install -g.
2021-02-01 00:16:53 516
原创 记一次 Centos7.x 编译打包 Oozie 5.2.0
Centos7.x 安装OpenJDK1.8https://blog.csdn.net/llwy1428/article/details/111144659Centos配置Maven环境https://blog.csdn.net/llwy1428/article/details/86438839[root@master ~]# wget -P /usr/local/ http://archive.apache.org/dist/maven/maven-3/3.6.3/binaries/apache-
2021-01-26 17:46:27 538
原创 记一次 电脑重装系统 Windows 10 x64 系统“我们无法创建新的分区,也找不到现有的分区”
警告内容:解决方案:说明:如果你安装的是x64位系统,Win10系统采用的是UEFI BIOS,想要安装Win10磁盘必须是支持UEFI BIOS的GPT硬盘分区格式,不能采用传统的MBR分区格式,所以转换成GTP非常重要。 需要说明的是,GPT磁盘不兼容32位操作系统,只能安装64位的。一、清除分区,对硬盘进行格式转换1、启动时,进入 BIOS 菜单2、选择:UEFI BIOS 启动方式3、使用 PE 进入系统(我采用了大白菜 / 老毛桃 制作的启动 U 盘)4、在 PE 状态下 按下“
2021-01-26 11:00:58 10913 3
原创 记一次 Centos7.x Hadoop3.x 集群安装部署 Flume v1.9.0
基本信息官网http://flume.apache.org/(1):Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。(2):Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中(3):一般的采集需求,通过对flume的简单配置即可实现(4):Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的日常数据采集场景Flume是一个分布式、可靠、高可用
2021-01-26 00:31:11 868
原创 记一次 Centos7.x安装部署 kafkaUI-lite 1.0
简介可以实现kafak/zookooper/redis的界面化操作kafka: 多环境管理、生产消息、消费消息、创建topic、删除topiczookeeper: 多环境管理、查看节点、查看节点数据redis: 多环境管理、查询数据提供了对kafka的界面化操作可以在界面生产消息、消费消息、创建管理topic可以支持管理多个kafka集群部署简便,不需要连数据库,只有一个jar包启动即可基本信息oschinahttps://www.oschina.net/news/125865/kaf
2021-01-18 09:11:19 731
原创 记一次 基于 Hadpoop 3.3.0 完全分布式集群 Spark 3.0.0 集成 Hive 3.1.2
[root@master ~]# cp /usr/bigdata/apache-hive-3.1.2-bin/conf/hive-site.xml /usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf//usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf[root@master conf]# cp spark-defaults.conf.template spark.conf[root@slave1 ~]# hdfs dfs -mkd
2021-01-14 00:46:34 1423 1
原创 记一次 Centos7.x 安装部署 GO 1.15.6 环境
首页 https://golang.google.cn/Go语言中文网https://studygolang.com/下载页面 https://golang.google.cn/dl/安装、配置文件下载[root@localhost ~]# wget -P /usr/local/ https://dl.google.com/go/go1.15.6.linux-amd64.tar.gz进入下载目录[root@localhost ~]# cd /usr/local/解压缩文件[root.
2021-01-13 16:57:55 1112
原创 记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群 spark-shell 运行 WordCount
[root@master ~]# vim /tmp/HelloSpark.txt[root@master ~]# hdfs dfs -mkdir -p /user/spark/in[root@master ~]# hdfs dfs -put /tmp/HelloSpark.txt /user/spark/in[root@master ~]# /usr/bigdata/spark-3.0.0-bin-hadoop3.2/bin/spark-shell[root@master ~]# touch /tm
2021-01-12 00:15:24 815
原创 记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群
http://spark.apache.org/http://spark.apache.org/news/spark-3-0-0-released.htmlhttps://archive.apache.org/dist/spark/https://archive.apache.org/dist/spark/spark-3.0.0/[root@master ~]# wget -P /usr/bigdata/ https://archive.apache.org/dist/spark/spark-3
2021-01-11 23:32:58 3192
原创 记一次 Centos7.x Hadoop3.x集群安装部署 Pig 0.17.0
Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。Pig包括两部分:用于描述数据流的语言,称为Pig Latin。用于执行Pig Latin程序的执行环境,当前有两个环境:单JVM中的本地执行环境和Hadoop集群上的分布式执行环境。 Pig内部,每个操作或变换是对输入进行数据处理,然后产生输出结果
2021-01-10 13:21:53 772
原创 记一次 Hadoop 3.x 集群 YARN 启动 timelineserver(ApplicationHistoryServer) 服务
一、Hadoop 集群背景1、安装OpenJDK1.8 并查看安装位置https://blog.csdn.net/llwy1428/article/details/1111446592、Centos7.x 安装部署 Zookeeper 3.6.2 集群https://blog.csdn.net/llwy1428/article/details/1116015673、Hadoop 3.x 部署 YARN 集群及基本操作https://blog.csdn.net/llwy1428/article/d
2021-01-10 01:45:16 3325
原创 记一次 基于 Hadoop 3.3.0 集群 安装、部署 Nifi 1.12.1
https://www.apache.org/dyn/closer.lua?path=/nifi/1.12.1/nifi-1.12.1-bin.tar.gzhttps://mirror.bit.edu.cn/apache/nifi/1.12.1/nifi-1.12.1-bin.tar.gzhttps://mirrors.bfsu.edu.cn/apache/nifi/1.12.1/nifi-1.12.1-bin.tar.gzhttps://mirrors.tuna.tsinghua.edu.cn/ap
2021-01-08 09:41:43 655
原创 记一次 Hadoop 3.3.0 集群 Hive 3.1.2 启动 hiveserver2 连接 jdbc:hive2://localhost:10000
[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/etc/hadoop/core-site.xml <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <propert
2021-01-07 20:05:31 812
原创 记一次 Hadoop、Hbase集群中Flume 启动报错 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty
报错内容错误:找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty如下图:集群背景1、Hadoop 3.3.0 HDFS基础环境(非高可用集群)https://blog.csdn.net/llwy1428/article/details/1111445242、安装部署 Zookeeper 3.6.2 集群https://blog.csdn.net/llwy1428/article/details/1116015673、基于 Hadoop3.3.
2021-01-04 11:35:09 1513 1
原创 记一次 Flume v1.9.0启动报错ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)
报错内容ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)报错如下图集群背景(基于 Hadoop 3.3.0 集群安装部署 Flume 1.9.0)1、H
2021-01-04 11:12:03 5121 1
原创 记一次HDFS Web报错Couldn‘t preview the file. NetworkError: Failed to execute ‘send‘ on ‘XMLHttpRequest‘
报错内容Couldn’t preview the file. NetworkError: Failed to execute ‘send’ on ‘XMLHttpRequest’: Failed to load ‘http://slave1:9864/webhdfs/v1/HelloHadoop.txt?op=OPEN&namenoderpcaddress=master:9820&offset=0&_=1609724219001’.Hadoop 集群背景https://blo
2021-01-04 09:52:43 12023
原创 记一次 Centos7.x 安装、部署 Zeppelin v0.9.0 并配置 PostgreSql 数据库
一、基本信息官网 http://zeppelin.apache.org/官方下载 http://zeppelin.apache.org/download.htmlhttps://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.9.0/zeppelin-0.9.0-bin-all.tgzhttps://mirrors.bfsu.edu.cn/apache/zeppelin/zeppelin-0.9.0/zeppelin-0.9.0-bin-all.tgzh.
2020-12-31 13:57:57 2879 8
原创 记一次 Centos7.x 编译安装 DataGear 数据可视化分析平台
一、基本信息DataGear是一款开源免费的数据可视化分析平台,使用java语言开发,采用B/S架构,支持多种数据源接入(SQL、CSV,HTTP接口,JSON,EXCEL等),主要功能包括数据管理,数据导入导出,数据集管理,echarts图表管理,dashboard管理等。文档地址http://www.datagear.tech/documentation/#section_importDrivergit 地址https://gitee.com/datagear/datagear.git二、系
2020-12-30 15:03:14 986
minio和mc的Centos程序服务端和客户端
2020-10-28
nginx-1.17.3.tar.gz
2019-09-19
Mysql5.6.43-rpm-Centos7
2019-04-20
pytorch文件压缩包
2019-01-16
MySql_server_client_5.6.34_rpm
2018-12-25
noVnc和websockify
2018-12-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人