cibinao9421-CSDN博客

转载 mongodb分片部署

加host vi /etc/hosts192.168.130.93 mongo1192.168.130.94 mongo2192.168.130.95 mongo3 创建目录 mongo1mkdir -p /data/shard1_1 /data/sh...

2018-07-10 13:25:00 175

转载 MySQL 误操作后如何快速恢复数据

描述基本上每个跟数据库打交道的程序员（当然也可能是你同事）都会碰一个问题，MySQL误操作后如何快速回滚？比如，delete一张表，忘加限制条件，整张表没了。假如这还是线上环境核心业务数据，那这事就闹大了。误操作后，能快速回滚数据是非常重要的。传统解法用全量备份重搭实例，再利用...

2018-07-10 13:22:00 255

转载 Sqoop2 version 1.99.7 安装部署

Sqoop2 相比Sqoop1 升级幅度太大,可以说两个软件完全没有关系. Sqoop2 相比Sqoop1 增加了server端, sqoop1 是那种解压出来配置个环境变量就能直接使用的软件, sqoop2 安装部署使用复杂,而且官方给出来的文档有几个坑要踩踩. Sqoop2 Versi...

2018-07-09 10:56:00 192

转载 Sqoop2同步mysql至HDFS

开启客户端 sqoop2-shell 配置sqoop server参数 sqoop:000> set server --host luhuijundeMacBook-Pro.local --port 12000 --webapp sqoop #luhuijundeMacBoo...

2018-07-09 10:54:00 223

转载 IntelliJ IDEA消除Spark程序日志

说明在使用Intellij IDEA，local模式下运行Spark程序时，会在Run窗口打印出很多INFO信息，辅助信息太多可能会将有用的信息掩盖掉。如下所示这里写图片描述 /Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Con...

2018-07-09 10:51:00 1911

转载 mac上安装单机版Spark

下载安装测试下载地址: http://spark.apache.org/downloads.html 点击下载地址,现在最新版本是spark-2.0.1-bin-hadoop2.7.tgz ,大概180MB. 解压下载文件,并将这个文件放大你想要的位置. 然后这就算安装好...

2018-07-09 10:49:00 238

转载 Mycat自增主键设置

在server.xml中，将sequnceHandlerType设置为1 <property name="sequnceHandlerType">1</property> 在schema.xml中，table中增加属性autoIncrement值为true，添加...

2018-07-09 10:47:00 725

转载 mycat安装部署

系统版本: Centos 6.5 Mycat服务器ip: 10.47.121.213 Mysql服务器ip: 主 10.168.163.172, 从 10.24.155.3 Mysql版本: Mysql 5.6.28 jkd版本:java version “1.8.0_66” 安装步骤启动...

2018-07-09 10:43:00 99

转载解决爬虫数据(电影院比价系统)电影院名称不规范问题解决思路

1 问题各大网站录入电影院，地址没有统一的规范，造成电影票无法比价。 2 解决思路 2.1 经纬度范围查找拿到数据中包含经度维度信息，根据经纬度范围查找锁定这些名字不同的电影院为同一家电影院。 2.1.1 各大网站使用的地图坐标协议不同（google、高德、腾讯、图吧地...

2018-07-09 10:38:00 2024

转载 PostGis安装部署,对比geohash

一、描述公司现获取最近楼栋信息用的是mongdb的geohash,想对比一下postgis和geohash的性能, 首先假设我们安装好了PostgreSQL 9.5.2和Mongodb 3.0,mongodb的配置就不多少了, 他本身集成geohash功能,安装配置也很简单,解压启动就O...

2018-07-09 10:29:00 853

转载加锁时长了解

锁多并发排他访问的时候产生,所以锁和事务特性中的隔离性关系密切.隔离级别哪大致分四种. 读未提交读已提交可重复读可序列化排他锁为了保证事务的完整一致, 排他锁都是持续到事务结束的.. 那么就一起讨论一下共享锁在这四个隔离级别下是如何上锁的. ...

2018-07-09 10:04:00 184

转载 200台redis批量关闭AOF

#!/usr/bin/env python#encoding = utf-8"""author: luhuijuncreate on time: 20171002config File Mode127.0.0.1,6379,xxxxxxxx,0127.0.0...

2018-07-09 10:03:00 140

转载 redis因AOF追加磁盘阻塞发生故障转移

追加AOF时磁盘繁忙redis 错误日志截图下图为AOF工作流程图AOF工作流程图1.所有的写入命令会追加aof_buf(缓冲区中)。2.AOF缓冲区根据对应的策略向硬盘做同步操作。3.随着AOF文件越来越大,需要定期对AOF文件进行重写,达成压缩的目的(对一个key跟新100...

2018-07-06 17:59:00 411

cibinao9421的博客