- 博客(37)
- 收藏
- 关注
RSS订阅原创 Hadoop海量级分布式存储简介
1、 大数据略知一二：1）大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，需要在合理的时间内达到提取、管理、处理、并且整理成为帮助企业运营决策更积极目的的信息；2）在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理；
2023-12-20 14:20:58
76
原创 Jenkins+Gitlab持续集成介绍
概述：持续集成（Continuous integration，简称CI），一种软件开发实践，即团队开发成员经常集成他们的工作，通过每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽早地发现集成错误；理解jenkins持续集成：https://www.cnblogs.com/liyuanhong/p/6548925.html持续集成要素：1.统一的代码库；2.自动构建；3.自动测试；
2023-12-20 14:17:11
68
原创 Hadoop海量级分布式存储
hadoop优点：1）高可靠：在多台廉价商用机器群集上，善于存放超大文件；2）高扩展性：Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。3）高效性：处理速度较快。4）高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。5）低成本：hadoop是开源的，项目的软件成本因此会大大降低。6）Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。也可以使用其他语言编写。
2023-12-20 14:09:50
88
原创 Jenkins+Gitlab持续集成（第一部分）
持续集成（Continuous integration，简称CI），一种软件开发实践，即团队开发成员经常集成他们的工作，通过每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽早地发现集成错误；
2023-12-20 09:17:31
165
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第二十二步）
在192.168.100.102上关闭shard1复制集的primary节点，测试mongos访问数据依然没有问题，实现了复制集的高可用；[root@shard1 bin]# mongod -f /usr/local/mongodb/bin/mongodb1.conf --shutdownkilling process with pid: 7140[root@shard1 bin]# netstat -utpln |grep montcp 0 0 192.168.100.1
2021-01-13 08:06:52
81
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第二十一步）
在192.168.100.102和192.168.100.103上登录复制集primary节点查看上述配置，发现已经存在各自的分片；[root@shard1 bin]# mongo --port 27017 --host 192.168.100.102shard1:PRIMARY> show dbsadmin 0.000GBconfig 0.000GBlocal 0.001GBtest 0.000GBzzq2 0.000GBzzq7 0.000GBshar
2021-01-13 08:06:03
85
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第二十步）
在192.168.100.102和192.168.100.103上登录mongos节点查看上述配置，发现已经同步；[root@shard1 bin]# mongo --port 27025 --host 192.168.100.102mongos> show dbsadmin 0.000GBconfig 0.001GBtest 0.000GBzzq 0.003GBzzq2 0.000GBzzq7 0.000GBmongos> use zzq7s
2021-01-13 08:05:12
90
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第十九步）
创建上述步骤开启的数据库和集合测试是否分片[root@config ~]# mongo --port 27025 --host 192.168.100.101mongos> use zzq7switched to db zzq7mongos> for(i=1;i<=1000;i++){db.hehe.insert({"id":i,"name":"huge"})};WriteResult({ "nInserted" : 1 })mongos> db.hehe.stats()
2021-01-13 08:04:09
68
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第十八步）
配置开启zzq7数据库和hehe集合的分片（实现在一个集合中的多个document进行分片，通过设置散列片键）；mongos> db.hehe.ensureIndex({"id":"hashed"}) ##创建hash索引，名称为hehe，以此作为散列片键分片使用，设置键名为id，作为分片的依据{ "raw" : { "shard1/192.168.100.102:27017,192.168.100.102:27018,192.168.100.102:27019" : { "cre
2021-01-13 08:03:26
89
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第十七步）
扫描某个集合的分片情况[root@config ~]# mongo --port 27025 --host 192.168.100.101MongoDB shell version v3.6.3connecting to: mongodb://192.168.100.101:27025/MongoDB server version: 3.6.3Server has startup warnings: 2020-04-16T10:36:24.364+0800 I CONTROL [main]
2021-01-13 08:02:22
75
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第十六步）
创建上述步骤开启的数据库和集合测试是否分片[root@config ~]# mongo --port 27025 --host 192.168.100.101mongos> show dbs admin 0.000GBconfig 0.001GBzzq 0.003GBzzq2 0.000GBmongos> use zzq2 ##创建数据进行测试zzq2.zzq1的分片情况switched to db zzq2mongos> for(i=1;i&l
2021-01-12 18:08:50
57
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第十五步）
配置开启zzq2数据库和zzq1的分片；[root@config ~]# mongo --port 27025 --host 192.168.100.101mongos> use admin ##登录adminswitched to db adminmongos> sh.enableSharding("zzq2") ##开启zzq2的数据库分片{ "ok" : 1, "$clusterTime" : { "clusterTime" : Timestamp(158700
2021-01-12 18:08:08
74
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第十四步）
创建上述步骤开启的数据库和集合测试是否分片；（验证递增片键）[root@config ~]# mongo --port 27025 --host 192.168.100.101mongos> use zzq ##登录数据库查看导入的mysql数据库文件是否存在switched to db zzqmongos> show collections ##显示表列表tt1mongos> db.tt1.count()100002mongos> sh.status()-
2021-01-12 18:07:03
76
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第十三步）
配置开启zzq数据库和zzq1集合的分片[root@config ~]# mongo --port 27025 --host 192.168.100.101mongos> use zzqswitched to db zzqmongos> for(var i=1;i<=100000;i++)db.tt1.insert({"id":i,"name":"name"+i});WriteResult({ "nInserted" : 1 })mongos> db.tt1.find(
2021-01-12 18:06:13
101
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第十二步）
创建mysql数据库文件并导入MongoDB的mongos里[root@config ~]# yum -y install mysql mariadb-server[root@config ~]# systemctl start mariadb[root@config ~]# mysqlMariaDB [(none)]> create database linuxfan;Query OK, 1 row affected (0.00 sec)MariaDB [(none)]> use
2021-01-12 18:04:54
66
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第十一步）
脚本进行安装配置mongodb复制集和分片1、192.168.100.100上传软件和编写安装配置脚本：cd /var/ftp/vi mongo.sh#!/bin/bash#####1.安装mongodbmgv="mongodb-linux-x86_64-rhel70-3.6.3"wget ftp://192.168.100.100/$mgv.tgz -P /root/tar xf /root/$mgv.tgz -C /rootmv /root/$mgv /usr/local/mongod
2021-01-12 18:03:37
97
1
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第十一步）
选择任意节点的mongos进程配置分片192.168.100.101(随意选择mongos进行设置分片，三台mongos会同步任何一台的操作)：[root@config ~]# mongo --port 27025 --host 192.168.100.101mongos> use admin;switched to db adminmongos> sh.status() ##查看分片的状态--- Sharding Status --- sharding ver
2021-01-12 18:02:21
64
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第九步）
配置shard2节点的shard2复制集[root@shard2 ~]# mongo --port 27017 --host 192.168.100.103>cfg={"_id":"shard2","members":[{"_id":0,"host":"192.168.100.103:27017"},{"_id":1,"host":"192.168.100.103:27018"},{"_id":2,"host":"192.168.100.103:27019"}]}> rs.initiate
2021-01-12 18:00:16
59
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第十步）
配置shard2节点的mongos进程[root@shard2 bin]# cat <>/usr/local/mongodb/bin/mongos.confbind_ip=192.168.100.103port=27025logpath=/usr/local/mongodb/logs/mongos.logfork=truemaxConns=5000configdb=configs/192.168.100.101:27017,192.168.100.101:27018,192.168
2021-01-12 17:58:15
98
1
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第八步）
创建shard2节点的三个实例192.168.100.103:[root@shard2 bin]# cat <>/usr/local/mongodb/bin/mongodb1.confbind_ip=192.168.100.103port=27017dbpath=/usr/local/mongodb/mongodb1/logpath=/usr/local/mongodb/logs/mongodb1.loglogappend=truefork=truemaxConns=5000
2021-01-08 17:11:46
106
2
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第七步）
配置shard1节点的mongs进程[root@shard1 bin]# cat <>/usr/local/mongodb/bin/mongos.confbind_ip=192.168.100.102port=27025logpath=/usr/local/mongodb/logs/mongos.logfork=truemaxConns=5000configdb=configs/192.168.100.101:27017,192.168.100.101:27018,192.168.
2021-01-08 17:09:32
98
1
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第六步）
配置shard1节点的shard1复制集[root@shard1 ~]# mongo --port 27017 --host 192.168.100.102>cfg={"_id":"shard1","members":[{"_id":0,"host":"192.168.100.102:27017"},{"_id":1,"host":"192.168.100.102:27018"},{"_id":2,"host":"192.168.100.102:27019"}]}> rs.initiate
2021-01-08 17:07:53
70
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第五步）
部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储创建shard1节点的三个实例192.168.100.102:[root@shard1 bin]# cat <>/usr/local/mongodb/bin/mongodb1.conf bind_ip=192.168.100.102 port=27017 dbpath=/usr/local/mongodb/mongodb1/ logpath=/usr/local/mongodb/logs/m
2021-01-08 17:02:33
66
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第四步）
部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储配置config节点的mongos进程[root@config bin]# cat <>/usr/local/mongodb/bin/mongos.confbind_ip=192.168.100.101port=27025logpath=/usr/local/mongodb/logs/mongos.logfork=truemaxConns=5000configdb=configs/192.168.100.101:
2021-01-08 16:57:19
89
1
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第三步）
部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储配置config节点的configs复制集[root@config ~]# mongo --port 27017 --host 192.168.100.101cfg={"_id":“configs”,“members”:[{"_id":0,“host”:“192.168.100.101:27017”},{"_id":1,“host”:“192.168.100.101:27018”},{"_id":2,“host”:“192.168.
2021-01-08 16:55:07
73
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第二步）
部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储创建config节点的三个实例192.168.100.101:[root@config bin]# cat <>/usr/local/mongodb/bin/mongodb1.confbind_ip=192.168.100.101port=27017dbpath=/usr/local/mongodb/mongodb1/logpath=/usr/local/mongodb/logs/mongodb1.logloga
2021-01-08 16:52:52
94
1
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（第一步）
部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储在所有节点安装mongodb服务192.168.100.101、192.168.100.102、192.168.100.103：[root@config ~]# tar zxvf mongodb-linux-x86_64-rhel70-3.6.3.tgz[root@config ~]# mv mongodb-linux-x86_64-rhel70-3.6.3 /usr/local/mongodb[root@config ~]# e
2021-01-08 16:43:34
84
原创 部署MongoDB分片结合复制集实现对mysql数据库文件分布式存储（思路）
注：这次实验的目的是将mysql数据库的文件导入到MongoDB，MongoDB分片结合复制集对mysql数据库的文件实现分布式存储，达到负载均衡注：MongoDB的实例存放目录为（/usr/local/mongodb/下）MongoDB的mongos.conf存放目录为（/usr/local/mongodb/bin/mongos.conf ）日志存放位置一样
2021-01-08 16:36:09
116
原创 NOSQL数据库MongoDB
NOSQL数据库之MongoDB一、NoSQL概述：概述：NoSQL 数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。随着互联网web2.0网站的兴起，NoSQL数据库现在成了一个极其热门的新领域，NoSQL产品的发展非常迅速.目前Google的 BigTable 和Amazon 的Dynamo使用的就是NoSQL型数据库。二、Mongodb简介：概述：MongoDB 是由C++语言编写的，是一个基于分布式文件存储的非关系型开源数据库系统。其优势
2021-01-08 16:24:11
353
原创 Nexus的安装和配置
Nexus的安装和配置一、理论简介nexus是一个强大的maven仓库管理器,它极大的简化了本地内部仓库的维护和外部仓库的访问。nexus是一套开箱即用的系统不需要数据库,它使用文件系统加Lucene来组织数据。nexus使用ExtJS来开发界面,利用Restlet来提供完整的REST APIs,通过IDEA和Eclipse集成使用。nexus支持webDAV与LDAP安全身份认证。nexus提供了强大的仓库管理功能,构件搜索功能,它基于REST,友好的UI是一个extjs的REST客户端,
2021-01-07 17:30:47
1043
原创 Linux安装zabbix5.0
Centos7安装Zabbix5.0配置阿里源vim zabbix_aliy.shif [ -z $1 ];then exitfiVERSION=$1if [ -f /etc/yum.repos.d/zabbix.repo ];then rm -rf /etc/repos.d/zabbix.repofirpm -qa | grep zabbix-release && rpm -e zabbix-releaserpm -Uvh https://mirrors.aliyun
2020-08-31 14:14:35
853
原创 了解samba服务（centos6）
samba文件共享重点：了解samba；部署匿名和用户认证共享linux服务器安装系统后基本配置：1.学习服务的方法：1）了解服务的功能、架构、监听端口、服务的安装包及主配置文件2）安装软件包、修改配置文件、启动服务、测试服务功能3）维护服务：备份、上线、更新、监控、性能调优等任务2.配置服务器必须的操作：1）配置静态IP地址及相关网络参数2）配置yum源客户端，以便更方便安装、更新或升级系统3）关闭防火墙、selinux等安全限制，以便测试成功，安全相关设置应该在服务测试通过，在
2020-08-31 13:58:51
454
原创 centos7版本之安装samba
安装samba一、安装修改字符：localectl set-locale LANG=zh_CN.UTF-8验证字符：localectl statusrpm -qa |grep samba ##验证是否安装了samba，如果有直接跳过下面的步骤，开始第二步，如果没有则继续。yum -y install samba ##安装samba，如果linux测试samba在安装samba-client注：如果安装不成功则是yum源的问题，解决方法如下：直接全部复制到linux中cat <&
2020-08-31 13:47:58
669
原创 Linux中rtmp的推流和拉流
Linux中rtmp的使用nginx-rtmp和ffmpeg一、nginx-rtmp1、基础准备安装常用工具：yum -y install vim man wget lftp elinks net-tools lrzsz gpm ntsysv tree cifs-utils createrepo quota bind-utils lsof sysstat nmap bash-completion dos2unix nc telnet ntpdate rng-tools psmisc screen镜
2020-08-20 12:14:11
2792
原创 mysql数据库的基础理论（1）
mysql数据库的理论重点：mysql的安装与基本操作；备份与恢复；数据库授权一.mysql数据库的安装与基本操作：1.了解mysql：1）mysql目前由oracle维护、是一个开源的关系型数据。 2）mysql的特点： 多线程、多用户；安全稳定、简单易用；替代数据软件mariaDB。3）常见关系型数据库：oracle（甲骨文）、DB2（IBM）、postgresql、SQL-server（微软）。2.安装数据库：1）mysql的安装方式有：编译安装和yum安装 2）安装mysql流程
2020-05-24 20:43:58
176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人