MongoDB MySQL 数据迁移到 MongoDB CSV --------> CSV

最新推荐文章于 2019-07-12 23:07:58 发布
最新推荐文章于 2019-07-12 23:07:58 发布
阅读量188 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kermitJam/article/details/82505443
版权


MongoDB的逻辑结构

MySQL 　　　　 MongoDB

库 　　　　　　       库

表　　　　　　　　 集合

列　　　　　　　 　数据行 文档


---------------------------
mongodb 安装

1、上传软件
mkdir /data
cd /data
使用xshell上传软件

2、解压软件
tar xf mongodb-linux-x86_64-rhel62-3.2.10.tgz
mv mongodb-linux-x86_64-rhel62-3.2.10 mongodb

3、创建mongodb管理用户
useradd mongod
passwd mongod

4、修改目录授权
chown -R mongod.mongod /data/mongodb

5、切换或登录mongod用户
su - mongod

6、创建mongod的关键目录
mkdir -p /data/data/mongodb/data /data/data/mongodb/log /data/data/mongodb/conf

cd /data/mongodb
ls -l

7、修改环境变量
vim ~/.bash_profile
添加一行：
export PATH=/data/data/mongodb/bin:$PATH
配置生效一下：
source ~/.bash_profile

8、启动mongodb

mongod --logpath=/data/data/mongodb/log/mongodb.log --dbpath=/data/data/mongodb/data/ --fork


9、登录mongodb测试
mongo


++++++++++++++++++++++++++++++
root用户下

vim /etc/rc.local

最后添加如下代码:
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi


vim /etc/security/limits.conf
删掉以下内容行
* - nofile 65535

 


都修改完成后 重启虚拟机

reboot
+++++++++++++++++++++++++++++++
重启后，启动mongodb
su - mongod
mongod --logpath=/data/data/mongodb/log/mongodb.log --dbpath=/data/data/mongodb/data/ --fork

mongodb默认库
系统库
test
admin
local
-----------------
mongodb默认端口号27017
python连接使用import pymongo
-----------------
10、配置文件使用：
vim /data/data/mongodb/conf/mongo.conf
systemLog:
destination: file
path: "/data/data/mongodb/log/mongodb.log"
logAppend: true
storage:
journal:
enabled: true
dbPath: "/data/data/mongodb/data/"
processManagement:
fork: true
net:
port: 27017

11、mongodb的关闭
mongod -f /data/data/mongodb/conf/mongo.conf --shutdown
启动：
mongod -f /data/data/mongodb/conf/mongo.conf

12、帮助的使用

help
KEYWORDS.help()
KEYWORDS.[TAB]


db.help()
db.stu.help()
show
use
db.help()
db.a.help()
rs.help()
sh.help()

-------------------
13、用户管理

{
user: "<name>",
pwd: "<cleartext password>",
customData: { <any information> },
roles: [
{ role: "<role>",
db: "<database>" } | "<role>",
...
]
}

 

 


基本语法说明：

user:用户名
pwd:密码
roles:
role:角色 ------->权限的组
db:对象

role：root,readWrite,read


验证数据库：
创建用户时你use到的库，在将来登录时候，使用以下方式登录,否则是登录不了的


开发用户：
use test

db.createUser(
{
user: "test",
pwd: "123",
roles: [ { role: "readWrite", db: "oldboy" } ]
}
)

 

创建超级管理员：管理所有数据库

$ mongo

use admin

db.createUser(
{
user: "root",
pwd: "root123",
roles: [ { role: "root", db: "admin" } ]
}
)


配置文件中，加入以下配置
vim /data/data/mongodb/conf/mongo.conf
添加两行信息：

security:
authorization: enabled

重启mongodb
mongod -f /data/data/mongodb/conf/mongo.conf --shutdown
mongod -f /data/data/mongodb/conf/mongo.conf


登录验证
开发用户登录：
mongo -utest -p123 10.0.0.200

管理员用户：
mongo -uroot -proot123 10.0.0.200/admin

或者
mongo
use admin
db.auth('root','root123')


查询mongodb中的用户信息
mongo -uroot -proot123 10.0.0.200/admin
db.system.users.find().pretty()



删除用户（root身份登录，use到验证库）

删除用户
# mongo -uroot -proot123 10.0.0.200/admin
use app
db.dropUser("app03")

 

db.createUser(
{
user: "bbs",
pwd: "123",
roles: [ { role: "readWrite", db: "bbs" } ]
}
)

 


----------------------------------------------------
mongodb复制集RS

基本原理：
基本构成是1主2从的结构，自带互相监控投票机制（Raft（MongoDB） Paxos（mysql MGR 用的是变种））
如果发生主库宕机，复制集内部会进行投票选举，选择一个新的主库替代原有主库对外提供服务。同时复制集会自动通知
客户端程序，主库已经发生切换了。应用就会连接到新的主库。


Replcation Set配置过程详解

1、规划
三个以上的mongodb节点（或多实例）
多实例：
（1）多个端口：28017、28018、28019、28020
（2）多套目录：


mkdir -p /data/mongodb/28017/conf /data/mongodb/28017/data /data/mongodb/28017/log
mkdir -p /data/mongodb/28018/conf /data/mongodb/28018/data /data/mongodb/28018/log
mkdir -p /data/mongodb/28019/conf /data/mongodb/28019/data /data/mongodb/28019/log
mkdir -p /data/mongodb/28020/conf /data/mongodb/28020/data /data/mongodb/28020/log


(3) 多套配置文件
/data/mongodb/28017/conf/mongod.conf
/data/mongodb/28018/conf/mongod.conf
/data/mongodb/28019/conf/mongod.conf
/data/mongodb/28020/conf/mongod.conf


(4)配置文件内容
vim /data/mongodb/28017/conf/mongod.conf

systemLog:
destination: file
path: /data/mongodb/28017/log/mongodb.log
logAppend: true
storage:
journal:
enabled: true
dbPath: /data/mongodb/28017/data
directoryPerDB: true
#engine: wiredTiger
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
processManagement:
fork: true
net:
port: 28017
replication:
oplogSizeMB: 2048
replSetName: my_repl

 

cp /data/mongodb/28017/conf/mongod.conf /data/mongodb/28018/conf/
cp /data/mongodb/28017/conf/mongod.conf /data/mongodb/28019/conf/
cp /data/mongodb/28017/conf/mongod.conf /data/mongodb/28020/conf/

sed 's#28017#28018#g' /data/mongodb/28018/conf/mongod.conf -i
sed 's#28017#28019#g' /data/mongodb/28019/conf/mongod.conf -i
sed 's#28017#28020#g' /data/mongodb/28020/conf/mongod.conf -i

------------------------------------------------------------


(5)启动多个实例备用
mongod -f /data/mongodb/28017/conf/mongod.conf
mongod -f /data/mongodb/28018/conf/mongod.conf
mongod -f /data/mongodb/28019/conf/mongod.conf
mongod -f /data/mongodb/28020/conf/mongod.conf

netstat -lnp|grep 280  查看端口是280开头的状态

 

2、配置复制集：
（1）1主2从，从库普通从库

mongo --port 28017 admin
config = {_id: 'my_repl', members: [
{_id: 0, host: '10.0.0.200:28017'},
{_id: 1, host: '10.0.0.200:28018'},
{_id: 2, host: '10.0.0.200:28019'}]
}

rs.initiate(config)

 

3、复制集管理操作：
（1）查看复制集状态：
rs.status(); //查看整体复制集状态
rs.isMaster(); // 查看当前是否是主节点


（2）添加删除节点
rs.add("ip:port"); // 新增从节点
rs.remove("ip:port"); // 删除一个节点
rs.addArb("ip:port"); // 新增仲裁节点

--------------------------------
添加 arbiter节点

1、连接到主节点
[mongod@db03 ~]$ mongo --port 28017 admin
2、添加仲裁节点
my_repl:PRIMARY> rs.addArb("10.0.0.200:28020")
3、查看节点状态
my_repl:PRIMARY> rs.isMaster()
{
"hosts" : [
"10.0.0.200:28017",
"10.0.0.200:28018",
"10.0.0.200:28019"
],
"arbiters" : [
"10.0.0.200:28020"
],

-------------------------------
rs.remove("ip:port"); // 删除一个节点

例子：
my_repl:PRIMARY> rs.remove("10.0.0.200:28019");
{ "ok" : 1 }
my_repl:PRIMARY> rs.isMaster()


rs.add("ip:port"); // 新增从节点
例子：
my_repl:PRIMARY> rs.add("10.0.0.200:28019")
{ "ok" : 1 }
my_repl:PRIMARY> rs.isMaster()

---------------------------

注：
添加特殊节点时，
1>可以在搭建过程中设置特殊节点
2>可以通过修改配置的方式将普通从节点设置为特殊节点
/*找到需要改为延迟性同步的数组号*/;

特殊节点：

arbiter节点：主要负责选主过程中的投票，但是不存储任何数据，也不提供任何服务
hidden节点：隐藏节点，不参与选主，也不对外提供服务。
delay节点：延时节点，数据落后于主库一段时间，因为数据是延时的，也不应该提供服务或参与选主，
所以通常会配合hidden（隐藏）

一般情况下会将delay+hidden一起配置使用

（3）配置延时节点（一般延时节点也配置成hidden）

cfg=rs.conf()
cfg.members[1].priority=0
cfg.members[1].hidden=true
cfg.members[1].slaveDelay=120
rs.reconfig(cfg)

 

 

------------目前状态-------------------

我的需求是：把28019设置为hidden和delay

my_repl:PRIMARY> rs.status()
{

"members" : [
{
"_id" : 0,
"name" : "10.0.0.200:28017",
},
{
"_id" : 1,
"name" : "10.0.0.200:28018",

},
{
"_id" : 3,
"name" : "10.0.0.200:28020",

},
{
"_id" : 4,
"name" : "10.0.0.200:28019",

}


cfg=rs.conf()
cfg.members[3].priority=0
cfg.members[3].hidden=true
cfg.members[3].slaveDelay=120
rs.reconfig(cfg)

---------------------------
取消以上配置
cfg=rs.conf()
cfg.members[3].priority=1
cfg.members[3].hidden=false
cfg.members[3].slaveDelay=0
rs.reconfig(cfg)

--------------------------------
配置成功后，通过以下命令查询配置后的属性
rs.conf();

 

 


---------------------------------------------------------------------
分片集群规划及配置：

---1、规划：
mongos:
port 38017
dir:/data/mongodb/38017/conf /data/mongodb/38017/log /data/mongodb/38017/data

confdb:
port：38018,38019,38020
replSetName: configReplSet
clusterRole: configsvr
dir:
/data/mongodb/38018/conf /data/mongodb/38018/log /data/mongodb/38018/data
/data/mongodb/38019/conf /data/mongodb/38019/log /data/mongodb/38019/data
/data/mongodb/38020/conf /data/mongodb/38020/log /data/mongodb/38020/data



shard1：
port:38021,38022,38023
replSetName: sh1
clusterRole: shardsvr
dir:
/data/mongodb/38021/conf /data/mongodb/38021/log /data/mongodb/38021/data
/data/mongodb/38022/conf /data/mongodb/38022/log /data/mongodb/38022/data
/data/mongodb/38023/conf /data/mongodb/38023/log /data/mongodb/38023/data


shard2:
port:38024,38025,38026
replSetName: sh2
clusterRole: shardsvr
dir:
/data/mongodb/38024/conf /data/mongodb/38024/log /data/mongodb/38024/data
/data/mongodb/38025/conf /data/mongodb/38025/log /data/mongodb/38025/data
/data/mongodb/38026/conf /data/mongodb/38026/log /data/mongodb/38026/data

--------配置过程-----------------------

---2、shard复制集配置：
2.1目录创建：
mkdir -p /data/mongodb/38021/conf /data/mongodb/38021/log /data/mongodb/38021/data
mkdir -p /data/mongodb/38022/conf /data/mongodb/38022/log /data/mongodb/38022/data
mkdir -p /data/mongodb/38023/conf /data/mongodb/38023/log /data/mongodb/38023/data
mkdir -p /data/mongodb/38024/conf /data/mongodb/38024/log /data/mongodb/38024/data
mkdir -p /data/mongodb/38025/conf /data/mongodb/38025/log /data/mongodb/38025/data
mkdir -p /data/mongodb/38026/conf /data/mongodb/38026/log /data/mongodb/38026/data

2.2修改配置文件：

sh1:
vi /data/mongodb/38021/conf/mongodb.conf
===============
根据需求修改相应参数：
systemLog:
destination: file
path: /data/mongodb/38021/log/mongodb.log
logAppend: true
storage:
journal:
enabled: true
dbPath: /data/mongodb/38021/data
directoryPerDB: true
#engine: wiredTiger
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
net:
port: 38021
replication:
oplogSizeMB: 2048
replSetName: sh1
sharding:
clusterRole: shardsvr
processManagement:
fork: true

===============
cp /data/mongodb/38021/conf/mongodb.conf /data/mongodb/38022/conf/
cp /data/mongodb/38021/conf/mongodb.conf /data/mongodb/38023/conf/

sed 's#38021#38022#g' /data/mongodb/38022/conf/mongodb.conf -i
sed 's#38021#38023#g' /data/mongodb/38023/conf/mongodb.conf -i

sh2:
vi /data/mongodb/38024/conf/mongodb.conf
========
根据需求修改相应参数：
systemLog:
destination: file
path: /data/mongodb/38024/log/mongodb.log
logAppend: true
storage:
journal:
enabled: true
dbPath: /data/mongodb/38024/data
directoryPerDB: true
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
net:
port: 38024
replication:
oplogSizeMB: 2048
replSetName: sh2
sharding:
clusterRole: shardsvr
processManagement:
fork: true
========


cp /data/mongodb/38024/conf/mongodb.conf /data/mongodb/38025/conf/
cp /data/mongodb/38024/conf/mongodb.conf /data/mongodb/38026/conf/

sed 's#38024#38025#g' /data/mongodb/38025/conf/mongodb.conf -i
sed 's#38024#38026#g' /data/mongodb/38026/conf/mongodb.conf -i


2.3启动所有节点，并搭建复制集：

mongod -f /data/mongodb/38021/conf/mongodb.conf
mongod -f /data/mongodb/38022/conf/mongodb.conf
mongod -f /data/mongodb/38023/conf/mongodb.conf
mongod -f /data/mongodb/38024/conf/mongodb.conf
mongod -f /data/mongodb/38025/conf/mongodb.conf
mongod -f /data/mongodb/38026/conf/mongodb.conf

 

mongo --port 38021

use admin
config = {_id: 'sh1', members: [
{_id: 0, host: '10.0.0.200:38021'},
{_id: 1, host: '10.0.0.200:38022'},
{_id: 2, host: '10.0.0.200:38023',"arbiterOnly":true}]
}

> rs.initiate(config)


mongo --port 38024
use admin
config = {_id: 'sh2', members: [
{_id: 0, host: '10.0.0.200:38024'},
{_id: 1, host: '10.0.0.200:38025'},
{_id: 2, host: '10.0.0.200:38026',"arbiterOnly":true}]
}

> rs.initiate(config)

=-=----=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
---3、config节点配置：

3.1目录创建：
mkdir -p /data/mongodb/38018/conf /data/mongodb/38018/log /data/mongodb/38018/data
mkdir -p /data/mongodb/38019/conf /data/mongodb/38019/log /data/mongodb/38019/data
mkdir -p /data/mongodb/38020/conf /data/mongodb/38020/log /data/mongodb/38020/data

3.2修改配置文件：

[mongod@server1 ~]$ vi /data/mongodb/38018/conf/mongodb.conf

systemLog:
destination: file
path: /data/mongodb/38018/log/mongodb.conf
logAppend: true
storage:
journal:
enabled: true
dbPath: /data/mongodb/38018/data
directoryPerDB: true
#engine: wiredTiger
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
net:
port: 38018
replication:
oplogSizeMB: 2048
replSetName: configReplSet
sharding:
clusterRole: configsvr
processManagement:
fork: true


cp /data/mongodb/38018/conf/mongodb.conf /data/mongodb/38019/conf/
cp /data/mongodb/38018/conf/mongodb.conf /data/mongodb/38020/conf/

sed 's#38018#38019#g' /data/mongodb/38019/conf/mongodb.conf -i
sed 's#38018#38020#g' /data/mongodb/38020/conf/mongodb.conf -i


3.3启动节点，并配置复制集


mongod -f /data/mongodb/38018/conf/mongodb.conf
mongod -f /data/mongodb/38019/conf/mongodb.conf
mongod -f /data/mongodb/38020/conf/mongodb.conf


mongo --port 38018
use admin

config = {_id: 'configReplSet', members: [
{_id: 0, host: '10.0.0.200:38018'},
{_id: 1, host: '10.0.0.200:38019'},
{_id: 2, host: '10.0.0.200:38020'}]
}

> rs.initiate(config)


注：configserver 可以是一个节点，官方建议复制集。configserver不能有arbiter。
新版本中，要求必须是复制集。
注：mongodb 3.4之后，虽然要求config server为replica set，但是不支持arbiter
=============================================================================

---4、mongos节点配置：
4.1创建目录：

mkdir -p /data/mongodb/38017/conf /data/mongodb/38017/log

4.2配置文件：


vi /data/mongodb/38017/conf/mongos.conf
systemLog:
destination: file
path: /data/mongodb/38017/log/mongos.log
logAppend: true
net:
port: 38017
sharding:
configDB: configReplSet/10.0.0.200:38018,10.0.0.200:38019,10.0.0.200:38020
processManagement:
fork: true

4.3启动mongos

[mongod@server1 ~]$ mongos -f /data/mongodb/38017/conf/mongos.conf





---5、分片集群操作：

连接到其中一个mongos（10.0.0.200），做以下配置
（1）连接到mongs的admin数据库

$ mongo 10.0.0.200:38017/admin

（2）添加分片
> db.runCommand( { addshard : "sh1/10.0.0.200:38021,10.0.0.200:38022,10.0.0.200:38023",name:"shard1"} )

> db.runCommand( { addshard : "sh2/10.0.0.200:38024,10.0.0.200:38025,10.0.0.200:38026",name:"shard2"} )


（3）列出分片
mongos> db.runCommand( { listshards : 1 } )


（4）整体状态查看
mongos> sh.status();


--------------------------使用分片集群------------------------------------------

test库下的vast大表进行手工分片

1、激活数据库分片功能

mongo --port 38017 admin

admin> ( { enablesharding : "数据库名称" } )

eg：
admin> db.runCommand( { enablesharding : "test" } )

2、指定分片建对集合分片
eg：范围片键
--创建索引
use test
> db.vast.ensureIndex( { id: 1 } )

--开启分片
use admin
> db.runCommand( { shardcollection : "test.vast",key : {id: 1} } )

3、集合分片验证
admin> use test

test> for(i=1;i<500000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }

test> db.vast.stats()

4、分片结果测试

shard1:
mongo --port 38021
db.vast.count();


shard2:
mongo --port 38024
db.vast.count();

 

----------------------------
分片键
--范围片键
admin> sh.shardCollection("数据库名称.集合名称",key : {分片键: 1} )
或
admin> db.runCommand( { shardcollection : "数据库名称.集合名称",key : {分片键: 1} } )

eg：
admin > sh.shardCollection("test.vast",key : {id: 1} )
或
admin> db.runCommand( { shardcollection : "test.vast",key : {id: 1} } )

--哈希片键
admin > sh.shardCollection( "数据库名.集合名", { 片键: "hashed" } )

 

----------------------------------------------------
4、Hash分片例子：
对oldboy库下的vast大表进行hash

创建哈希索引

（1）对于oldboy开启分片功能
use admin
admin> db.runCommand( { enablesharding : "oldboy" } )

（2）对于oldboy库下的vast表建立hash索引
use oldboy
oldboy> db.vast.ensureIndex( { id: "hashed" } )
（3）开启分片
use admin
admin > sh.shardCollection( "oldboy.vast", { id: "hashed" } )

（4）录入10w行数据测试
use oldboy
for(i=1;i<100000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }

（5）hash分片结果测试
mongo --port 38021
use oldboy
db.vast.count();

mongo --port 38024
use oldboy
db.vast.count();

---------------------------

5、判断是否Shard集群
admin> db.runCommand({ isdbgrid : 1})

6、列出所有分片信息
admin> db.runCommand({ listshards : 1})

7、列出开启分片的数据库
admin> use config

config> db.databases.find( { "partitioned": true } )
或者：
config> db.databases.find() //列出所有数据库分片情况

8、查看分片的片键
config> db.collections.find().pretty()
{
"_id" : "test.vast",
"lastmodEpoch" : ObjectId("58a599f19c898bbfb818b63c"),
"lastmod" : ISODate("1970-02-19T17:02:47.296Z"),
"dropped" : false,
"key" : {
"id" : 1
},
"unique" : false
}

9、查看分片的详细信息
admin> db.printShardingStatus()
或
admin> sh.status()

10、删除分片节点
（1）确认blance是否在工作
sh.getBalancerState()


（2）删除shard2节点
mongos> db.runCommand( { removeShard: "shard2" } )

 


---------------------------------------------
MySQL 数据迁移到 MongoDB
CSV --------> CSV

 

1、了解mongodb的csv长什么样？

登录Mongodb

 su - mongod
mongod --logpath=/data/mongodb/log/mongodb.log --dbpath=/data/mongodb/data/ --fork

（1）模拟数据
mongo -uroot -proot123 10.0.0.200/admin

use test
for(i=0;i<200;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }

（2）导出CSV格式文件
mongoexport -uroot -proot123 --authenticationDatabase admin --port 27017 -d test -c vast --type=csv -f id,name,age,date -o /data/mongodb/vast.csv

---------------------------------------- 　　
id,name,age,date
0,shenzheng,70,2018-07-18T07:34:14.021Z
1,shenzheng,70,2018-07-18T07:34:14.050Z
2,shenzheng,70,2018-07-18T07:34:14.052Z
----------------------------------------

2、了解MySQL 的CSV长什么样？
++++++++
select * from city into outfile '/tmp/city.csv';
++++++++


3、将MySQL数据导出为MongoDB模式的CSV
select * from world.city into outfile 'd:\city.csv' fields terminated by ',';
编辑CSV格式，加入第一行，列名字


4、mongodb导入CSV文件
mongoimport -uroot -proot123 --authenticationDatabase admin --port 27017 -d world -c city --type=csv --headerline --file /data/city.csv

 

kermitJam
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mongo数据迁移到mysql的python脚本
08-08
mongodb的数据迁移到mysql数据库中脚本， 在迁移前需要将mysql的表创建完成，他只负责数据同步
MongoDB 数据转到 MySql平台的方法（实战经验）
qq_22888749的博客
12-31 6234
不同类型数据平台间的数据迁移——从MongoDB到MySql
mongodb里的集合数据迁移到mysql库
csdn's blog
07-12 1万+
1，在mongodb上导出数据，写个脚步expmongo.sh，shell脚本如下 #!/bin/sh datestr=`date '+%Y-%m-%d'` /usr/local/mongodb/mongodb-linux-x86_64-2.4.4/bin/mongoexport -im_user -pxxxeedd -d im -c message -f txnType,issNo,sn,mer...
如何从MongoDB迁移到MySQL？这有现成经验！
shengmingbi的专栏
10-24 2351
http://www.sohu.com/a/199054347_116235 最近的一个多月时间都在做数据库的迁移工作，我目前在开发的项目在上古时代是使用 MySQL 作为主要数据库的，后来由于一些业务上的原因从 MySQL 迁移到了 MongoDB，使用了几个月的时间后，由于数据库服务非常不稳定，再加上无人看管，同时 MongoDB 本身就是无 Schema 的数据库，最后导致数据库的脏数
MongoDB：MySQL数据向MongoDB迁移
vvFriday的博客
08-12 7273
Mongodb:MySQL数据向MongoDB迁移背景MySQL作为一个普遍使用的关系型数据库，其性能毋庸置疑，但是当MySQL中的数据太过于庞大时，对查询效率会产生较大的影响，所有我们将过期不常使用的数据迁移到MongoDB中。而MongoDB作为nosql数据库的一种，可以十分方便的存储大规模数据，且它的操作方式和MySQL十分相似，可以说MySQL能够做到的都可以使用MongoDB实现。迁移1
go-mysql-mongodb:将MySQL数据同步到MongoDB
05-23
go-mysql-mongodb是一项将MySQL数据自动同步到MongoDB的服务。 它首先使用mysqldump来获取原始数据，然后与binlog增量同步数据。 安装 安装Go（ ）并设置您的 go get github.com/WangXiangUSTC/go-mysql-mongodb ...
mongodb-tick-test:MongoDB Tick 数据测试
06-10
蜱测试这是一个简单的测试，用于查看 MongoDB 如何处理模拟的实时滴答馈送。 目标设置包含两个 mongod 实例：副本集中的 Primary 和 Seconday。
mongodb-async-driver-2.0.1 jar包
07-28
mongodb-async-driver-2.0.1 jar包
mongodb-nodejs-rest-android:MongoDB-> NodeJS-> Rest API-> Android
05-08
使用MongoDB在NodeJS中构建REST API，然后从您的Android应用程序调用REST服务。 启动服务器（命令行） `node server.js` Android应用程序的功能 添加新客户 更新客户信息 删除客户 显示所有客户 应用
mongo-sync：同步远程和本地MongoDB数据库
02-02
mongo-sync：同步远程和本地MongoDB数据库
将mongodb数据库中的数据转移到MySQL
热门推荐
gpf951101的博客
04-12 2万+
    最近在写毕业设计，用到了Mongodb，但是在写SSM的时候，发现还是用MySQL方便，于是就想到了把MongoDB中的数据转移到MySQL中。但是过程中遇到一些问题，故做出此总结。    首先，自己想的笨方法，就是从MOngoDB读取然后再写入MySQL，虽然肯定比较费时间，想着大不了就多运行一会，不用管它，但是发现根本不是想的这样。因为MongoDB中一条记录可能有的字段不包括，然后如...
MySQL和MongoDB数据相互迁移
******* ▄︻┻┳═一 *******
03-11 5431
一、迁移MongoDB数据到MySQL 1、使用mongoexport导出.csv文件 mongodb自带mongoexport工具，可便捷导出csv、json等格式数据： mongoexport -h 127.0.0.1 -u username -p password -d userInfoDB(数据库名称) -c regInfo(集合名称) -f _id,字段1,字段2 --type=csv ...
mongoDB数据交换同步到MySQL数据库
marko39的专栏
03-04 8110
1、数据交换的目的 进行信息/数据的传输及共享，提高信息资源的利用率，成为进行信息化建设的基本目标，保证分布异构系统之间互联互通，建立中心数据库，完成数据的抽取、集中、加载、展现，构造统一的数据处理和交换。 2、数据源的配置 直接在管理页面中增加MySQL、mongoDB数据源，并测试连接成功。 3、数据同步任务的配置 打开【数据交换】页面，配置增加数据交换同步任务...
MongoDB迁移数据到Mysql
wangjie0925的博客
05-03 532
一.mongodb-------csv------mysql1.使用mongoexport命令导出结果csvmongoexport -h 192.168.38.151 -d vcm -c car -f _id,store_id,brand_id,vin,date_checked,name,mobile --type=csv -o /data/carrecords.csv参数说明  -h:数据库ip...
解决mongodb 取出时是 UTC时间问题
周琛的点滴记录~
03-19 6794
解决mongodb 取出时是 UTC时间问题。 问题描述：将一个时间类型数据保存到mongodb数据库中，在数据库中时间还是正常的时间，如 但是后台拿出来的时候却是这样的（node.js） 解决方案： 网上查阅了很多资料，可我没找到一个解决方案（可能我比较傻吧），我只有自己想解决方案。 我的解决步骤： 1.将UTC时间转换为data类型时间 /*publish在这里是一个数组，数组里面的每一项...
如何将MongoDB数据库的数据迁移到MySQL数据库中
weixin_30502965的博客
10-10 375
　　FAQ v2.0终于上线了，断断续续忙了有2个多月。这个项目是我实践的第一个全栈的项目，从需求（后期有产品经理介入）到架构，再到设计（有征询设计师的意见）、构建（前端、后台、数据库、服务器部署），也是第一次独立负责一个项目，所以意义很不一般，后面还会写一篇总结的文章。闲言少叙，进入正题： 　　其中有一个自动定时发访问记录列表和反馈问题列表的邮件的功能，本来打算自己写的，不过后来了解到团队有现...
MongoDB数据转成MySQL数据操作
一只野生程序猿从入门到入土的学习之路
09-28 2668
1、将MongoDB中的数据导出为CSV格式 命令：mongoexport -h 127.0.0.1 -d mon  -c ids -f _id,risk_id,userId,projectId,deviceId,file_id,statis_id,persion_data_id,structId --csv -o C:\Users\26302\Desktop\csv\ids.csv mon为...
docker-compose nacos nodejs mongodb mysql redis seata
最新发布
08-22
MongoDB作为主要的数据存储，MySQL和Redis可以作为辅助数据存储和缓存。Seata可以用于管理和控制分布式事务，确保数据一致性。 总之，使用Docker Compose可以方便地将Nacos、Node.js、MongoDB、MySQL、Redis和Seata...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值