- 博客(6)
- 收藏
- 关注
RSS订阅原创 scrapy淘宝爬虫（通过模拟登录获取cookie）获取价格信息评论
项目要求：爬取淘宝某领域下的商品名称，价格，评论。（我贼怂，如果阿里巴巴的朋友发现，请联系我，我立刻删帖，谢谢。）一、构思流程模拟登陆获取cookiescrapy爬取数据二、分步分析(一)、测试cookie是否能够满足我们爬取相应数据的要求（确定了cookie能满足我们的需求，才能确保项目的可行性）1、安装scrapy框架(直接pip安装就行）pip install scrapy...
2020-04-04 12:02:13
3919
1
原创 Scrapy:b站爬虫之抓包过程
Scrapy:b站爬虫之抓包过程一、内容说明一共爬取八个数据，可分为四项：1、标题（直接xpath，不用抓包）2、点赞、投币、收藏3、在线观看人数4、弹幕内容、时间、发送时间二、抓包过程1、点赞，投币，收藏1、获取信息源：用xpath试过之后，发现无法获取，推测是api内容2、尝试获取api接口：F12，netwoek下ctrl+f搜索转发的数量（上热门的一般就转发量比较少...
2020-02-17 16:45:32
997
原创 scrapy完成爬取内容的入库操作（mongodb数据库）。（windows下）
scrapy完成爬取内容的入库操作（mongodb数据库）。一、安装mongodb数据库并完成一次连接（已安装的可跳过）1、下载mongodb安装包（.msi)（1）MongoDB 提供了可用于 32 位和 64 位系统的预编译二进制包，你可以从MongoDB官网下载安装，MongoDB 预编译二进制包下载地址：下载链接（2）百度网盘下载mongodb-win32-x86_64-2008p...
2020-02-14 14:47:55
192
原创 scrapy中useragent（用户代理）的“随机更换”功能
scrapy中useragent（用户代理）的“随机更换”功能##一、在middlewares.py文件中自定义user-agentimport random from XXX.settings import USER_AGENTS #XXX=你建立的爬虫项目名称#随机的user-agent,从settings中获取USER_AGENTS列表，随机选择一个交给当前request对象...
2020-02-11 18:36:21
308
原创 对mysql的一些学习笔记
一、安装时注意事项最好不要安装8.0之后版本和5.5.4之前的版本，8.0版本太大（对初学者无用）且卸载可能有点麻烦。5.5.4之前的版本的utf-8可能不支持四字符中文。安装一般有两种方法，(1):下载zip文件然后改电脑配置.(2):下载.msi文件安装。个人推荐第二种，对小白来说第一种方法很容易出现问题，而且中途出错，后续还要删除些东西。安装包来源.能官网就官网，真不能就网盘吧，镜像...
2019-11-28 09:56:38
109
原创 MySQL5.7安装过程(.msi)
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代...
2019-11-28 09:24:29
1404
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人