Scrapy脱发之路
文章平均质量分 73
Jxxxex_23
慢慢学习,多多积累
展开
-
Scrapy-简单应用实例
1. 安装python 官网安装即可2. 安装mysql或者其他数据库3. 安装scrapy cmd->pip install scrapy4. 安装社区版的Pycharm,然后新创一个项目空间(pycharm_workspace)5. Pycharm建立编译环境:打开Pycharm,执行File->Settings,添加解释器Project Interpreter例:爬 取博客园新闻网首页标题:① cmd终端cd到刚才新创的文件夹(pycharm_workspa原创 2022-01-24 07:09:56 · 739 阅读 · 0 评论 -
Scrapy 基础知识笔记(三)---爬虫常用的Python语法
1. requests方法 说明 requests.request() 构造一个请求,支持以下方法 requests.get() 获取HTML网页的主要方法,对应于HTTP的GET requests.post() 向HTML提交POST请求的方法,对应于HTTP的POST requests.put() 向HTML提交PUT请求的方法,对应于HTTP的PUT...原创 2022-01-24 02:21:38 · 675 阅读 · 0 评论 -
Scrapy 基础知识笔记(二)
6. Ajax和JSONAjax(Asynchronous JavaScript And XML,异步JavaScript和XML),是一种用于创建快速动态网页的技术。它可以在不重新加载整个网页的情况下,对网页的某些部分进行更新。 AJAX工作原理JSON是大多数使用Ajax时服务器返回的数据类型。JSON时 是JavaScript对象...原创 2022-01-20 02:36:52 · 797 阅读 · 0 评论 -
Scrapy 基础知识笔记(一)
(参考书籍Python 网络爬虫框架Scrapy从入门到精通,张颖,北京大学出版社)一、Scrapy1. Scrapy用途广泛,可以用于数据采集、数据挖掘、网络异常用户检测、存储数据、检测和自动化测试。2. Scrapy使用了Twisted异步网络框架来处理网络通信,可以加快下载速度,不用自己去实现异步框架,并且包含了各种中间件窗口,可以灵活完成各种需求。3. Scrapy可以在网站上并行执行16个请求。二、爬虫1. 爬虫的概念:爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页原创 2022-01-18 01:40:20 · 467 阅读 · 0 评论