- 博客(6)
- 收藏
- 关注
RSS订阅原创 scrapy爬B站首页八个视频的基本信息
项目目标：爬取这八个视频的视频名称、观看人数、弹幕、弹幕位置、点赞、收藏、投币有的人可能只能看到六个，缩小一下就好了。1.打开检查 ，获取url使用requests库简单下载一下源码，可以发现网址就在源码当中2.打开其中一个视频，打开检查再用刚才的方法，发现得到一个空列表，发现这是一个动态网页。点开network需要找到这个在哪个文件中，这里可以发现有各种数据然后发现在这个文件中。...
2020-02-23 11:51:23
349
原创 scrapy框架爬虫入mongobd库操作
scrapy框架爬虫入mongobd库操作准备工作：下载可视化工具Robo 3T工具与MongoDB官网下载Robot 3T官网：https://robomongo.org/downloadMongoDB官网：https://mongodb.com注意：直接下载速度较慢爬虫连接数据库mongobd1.下载pymongo模块pip install pymongo2.设置pipel...
2020-02-18 20:59:27
246
原创 python中scrapy框架爬虫随机更换user-agent
python scrapy框架随机更换user-agent本文介绍两种编辑middlewares.py文件以达到目的的方法。1.无需使用第三方模块在middlewares.py文件中创建类import randomclass UserAgentMiddleware(object): def __init__(self): self.user_agent_list ...
2020-02-17 20:45:03
291
原创 MySQL创建数据库及表
MySQL基础知识（以创建数据库及表为例）第一步：登录MySQL数据库mysql -uroot -pqazwsx#现在8的版本好像不用登录了，使用的时候它会要你输入password，然后就能创建了。在这里插入图片描述](https://img-blog.csdnimg.cn/20191203115706718.png?x-oss-process=image/watermark,type_Z...
2019-12-03 12:38:11
298
原创 win10安装mysql(傻瓜式）
win10安装mysql虽然大家可能很瞧不起>>电脑管家但是！！！里面的“软件管家”，太尼玛香了！！！里面下载MySQL可以直接安装！！！配置环境？NO MROE!!8的版本卸载不了？ NO MORE!!NOMOREnomorenomorenomorenomorenomorenomorenomorenomorenomorenomorenomorenomorenomo...
2019-12-03 11:36:33
236
1
原创 路由的简单理解
路由的简单理解概念路由（routing）是指分组从源到目的地时，决定端到端路径的网络范围的进程。路由工作在OSI参考模型第三层——网络层的数据包转发设备。路由器通过转发数据包来实现网络互连。虽然路由器可以支持多种协议（如TCP/IP、IPX/SPX、AppleTalk等协议），但是在我国绝大多数路由器运行TCP/IP协议。路由器通常连接两个或多个由IP子网或点到点协议标识的逻辑端口，至少拥有1...
2019-11-10 18:29:43
2273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人