- 博客(6)
- 收藏
- 关注
RSS订阅原创 用scrapy在bilibili爬取热门视频的相关信息
在bilibili爬取热门视频的相关信息第一步首先明确目标在item文件中写入class BilibiliItem(scrapy.Item): #明确目标 name = scrapy.Field() # 视频名称 like = scrapy.Field() # 点赞 coin = scrapy.Field() # 投币数 shoucang = scra...
2020-02-21 14:12:10
1169
原创 关于Mongodb的安装和Scrapy连接MongoDB
关于Mongodb的安装和Scrapy连接MongoDB关于Mongodb的安装1.在window下安装访问网址https://www.mongodb.com/download-center/community选择版本，根据系统32位或64位下载.msi文件2.选择custom自定义安装目录3.MongoDB Compass是一个图形界面管理工具，我们可以在后面自己到官网下载安装，这...
2020-02-10 17:35:26
282
原创 scrapy框架下实现用户代理的随机更换功能
scrapy框架下实现用户代理的随机更换功能用户代理为什么需要用户代理在middlewares.py中实现用户代理的随机更换功能用户代理User Agent，简称UA，它是一个特殊字符串头，一些网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面，因此可能造成某些页面无法在某个浏览器中正常显示，但通过伪装 UA 可以绕过检测。为什么需要用户代理我们在爬虫中常常会遇到这种情...
2020-02-10 00:52:41
305
原创 对MySQL的学习笔记
对于MySQL的学习笔记一.是什么1.MySQL 是最流行的关系型数据库管理系统，在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。2.数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。3.数据以表格形式出现，然后由许多行和列构成表单二.为什么储存数据...
2019-12-01 13:35:28
161
原创 MySQL的安装
关于MySQL的安装步骤第一步在网上找资源，根据求稳不求新原则，选择安装5.几的版本即可。我选择安装的是5.5.62版本的。第二步点击下载的安装包。第三步开始安装打开安装包后显示如下图，等待了几秒在勾选accept后点击next按照如下图选择依次点击MySQL Servers， MySQL Serve，选择64x后带点击右箭头，仅选择MySQL Server和Client P...
2019-12-01 11:19:42
210
原创 关于HDCP的一些个人理解
HDCP的基本定义与发展历程基本定义HDCP，中文名是高带宽数字内容保护技术，外文名是high bandwidth digital content protection，该技术是由技术是由好莱坞与半导体界巨人Intel合作开发，保护未经压缩的数字音视频内容，所属电子信息技术领域。发展历程DVD区域识别码为了保护版权，并防止利益损失，人们最先开发了DVD区域识别码，区域码就是将全球分为6个...
2019-11-09 22:24:38
2591
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人