- 博客(4)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 scrapy爬动态网址哔哩哔哩
这次，我们来爬取哔哩哔哩的热门视频，爬去其中的标题与详细页的同时观看人数和弹幕的实时在线，并存入mongodb
2020-02-27 12:45:34
646
1
原创 Mongdb数据库的下载和与Scrapy的连接
Mongdb数据库的下载与可视化工具的使用 Mongdb数据库的下载和安装 （1）下载地址https://www.mongodb.com/download-center/community 选择对应的版本号然后点击Download开始下载 （2） 即安装成功。 （3）配置Mongdb的存储目录 进入cmd，创建data文档（mkdir data），再进入data目录，在里面创建db目录 从命令行...
2020-02-10 19:48:23
171
原创 scrapy爬虫中的useragent（用户代理）的“随机更换”功能
如何在scrapy中使用useragent功能 使用useragent功能的原因 在平常使用爬虫时，绝大多数网站都会根据你所使用的请求头（User-Agent）来区分是否为爬虫程序，很容易拒绝我们的请求，在开始，我们会自定义一个请求头来完成我们的程序，但是，当我们用我们的爬虫程序去爬大量的网站时，使用同一个User-Agent是往往不够的，而添加多个又太过的繁琐，本文所提到useragent功能来...
2020-02-10 14:57:14
277
原创 MySQL的一些基础用法（笔记）
MySQL的一些认知MySQL的基本命令语句库的基本使用时间MySQL输出.sql文件一些有点进阶意思的语句 MySQL的基本命令语句 库的基本使用 进入 mysql 库：use mysql; 创建数据库：create database 数据库名; 查看当前创建的数据库：show create database 数据库名; 删除数据库：drop database 库名; 创建表：create ta...
2019-12-01 22:52:27
140
空空如也
selunim 为什么点击了还是只有八个url
2020-02-19
scrapy代码我这段是有错误吗？无法转成csv，创建的文档只有0k
2020-01-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人