mongodb_学习笔记
mongodb安装及使用
mongodb的增删改查如何操作
增
db.collection.insert() #_id相同会报错
db.collection.save() #_id相同会更新其余的字段
删
db.collection.remove({},{justOne:ture})
更新
db.collection.update({},{$set:{name:"a"}},{multi:true})
查询
db.collection.find({})
db.collection.find({}).pretty()
mongodb统计数量,mongodb的投影操作
db.collection.count({})
db.collection.find({}).count
投影:设置返回的字段
db.collection.find({},{_id:0,name:1})
mongodb的比较运算符(大于,小于等于等),范围运算符(in,not in),逻辑运算符(and ,or)
大于,大于等于 $gt,$get
$lt,$lte 小于,小于等于
$ne 不等于
在 $in
db.collection.find({name:{$in:["a","b","c"]}})
不在 $nin
db.collection.find({name:{$nin:["a","b","c"]}})
和
db.collection.find({name:"a",age:20})
or
bd.collection.find({$or:[{name:"a"},{age:20}]})
mongodb的排序和消除重复
排序
db.collection.find({}).sort({age:1})
distinct
db.collection.distinct(“gender”,{age:{$gt:18}})
返回数组
聚合操作的分组和计数如何使用,如何修改输出数据的样式,
分组
db.collection.aggregate({$group:{_id:"$age",count:{$sum:1}}})
$project
db.collection.aggregate( {$group:{_id:"$age",count:{$sum:1}}}, {$project:{_id:0,age:"$_id",count:1}} )
聚合操作如何匹配内容
$match
db.collection.aggregate( {$match:{gender:true}, {$group:{_id:"$age",count:{$sum:1}}}, {$project:{_id:0,age:"$_id",count:1}} )
练习
db.tv1.aggregate(
{$project:{title:1,_id:0,count:"$rating.count",rate:"$rating.value",country:"$tv_category"}},
{$match:{rate:{$gt:8}}},
{$group:{_id:"$country",count:{$sum:1}}},
{$project:{_id:0,country:"$_id",count:1}}
)
mongodb mysql redis的区别和使用场景
mysql是关系型数据库,支持事物
mongodb,redis非关系型数据库,不支持事物
mysql,mongodb,redis的使用根据如何方便进行选择
希望速度快的时候,选择mongodb或者是redis
数据量过大的时候,选择频繁使用的数据存入redis,其他的存入mongodb
mongodb不用提前建表建数据库,使用方便,字段数量不确定的时候使用mongodb
后续需要用到数据之间的关系,此时考虑mysql
爬虫数据去重,实现增量式爬虫
使用数据库建立关键字段(一个或者多个)建立索引进行去重
根据url地址进行去重
使用场景:
url地址对应的数据不会变的情况,url地址能够唯一判别一个条数据的情况
思路
url存在redis中
拿到url地址,判断url在redis的url的集合中是够存在
存在:说明url已经被请求过,不再请求
不存在:url地址没有被请求过,请求,把该url存入redis的集合中
布隆过滤器
使用多个加密算法加密url地址,得到多个值
往对应值的位置把结果设置为1
新来一个url地址,一样通过加密算法生成多个值
如果对应位置的值全为1,说明这个url地址已经抓过
否则没有抓过,就把对应位置的值设置为1
根据数据本省进行去重
选择特定的字段,使用加密算法(md5,sha1)将字段进行加密,生成字符串,存入redis的集合中
后续新来一条数据,同样的方法进行加密,如果得到的字符串在redis中存在,说明数据存在,对数据进行更新,否则说明数据不存在,直接插入
本文由来源 jackaroo2020,由 system_mush 整理编辑,其版权均为 jackaroo2020 所有,文章内容系作者个人观点,不代表 Java架构师必看 对观点赞同或支持。如需转载,请注明文章来源。