1,刚刚用python上写了一些pymongo插入的代码,在下的mongo可视化软件找不到数据,感觉不太会用,先暂时用着cmd界面。(现在可视化界面看懂了,哈哈哈)
2,mongo的结构:库(db) -> 集合(collection) -> 文档(document)。
文档的数据是json数据。
json是轻量级的文本格式。两种数据类型:
列表:[元素,元素]
字典:{“键”:“值”}
元素可以是另一个列表或字典
字典中的值也可以是另一个列表或字典
3,mongo的库中没有内容是不显示的
淘宝的评论,商品描述就是用Mongo存的,因为不能确定字数(varchar2)
4,相关小操作:(事先创建一个database(db):yc56,再创建一个集合:students)
切换/创建数据库:
use yc56(如果不存在yc56这个db,就会创建一个出来)
查看所有的数据库
show dbs(默认有admin、config、local三个库)
删除当前使用的数据库
db.dropDatabase()
查看当前使用的数据库
db.getName()
得到db下的所有集合
db.getCollectionNames()
查询某个db下的集合里的所有数据(例如库yc56下的students集合)
db.students.find()
5.刚刚爬取100条数据到mongo里去,mongo会默认只显示20条
6.在爬取ajax内容时,遇到一些问题,
ajax区别于分页页面,他的请求需要在控制台的网络那里的XHR进行查看,对请求进行新页面打开,进行分析。
response=requets.get(‘https://m.weibo.cn/api/container/getIndexuid=2870450862&luicode=10000011&lfid=100103type%3D1%26q%3D刘昊然&type=uid&value=2870450862&containerid=1076032870450862&page=4’)
response.text得到请求页面内容(str类型)
response.json()得到请求页面的json格式数据,然后对json数据进行mongdb存入