爬虫
。。流浪
这个作者很懒,什么都没留下…
展开
-
爬虫的步骤
1、确定网站内数据的加载方式(数据局部刷新、页面刷新) 区别:局部刷新 页面的url不会发生改变 页面刷新 页面的url会发生改变 (1)、局部刷新: 1、F12 --> NetWork --> XHR 2、清空所有请求 3、点击加载更多或者下一页 4、新出来的地址就是我们需要发送的请求地址 ( 2)、页面刷新 1、直接点击下一页 2、观察页面url的变化 3、去掉没用的信息 4、...原创 2019-07-03 17:56:10 · 242 阅读 · 0 评论 -
练习
1.爬虫.settings import os import sys import django sys.path.append(os.path.dirname(os.path.abspath(’.’))) os.environ[“DJANGO_SETTINGS_MODULE”]=‘Weekend.settings’ django.setup() 2.pipline管道 import json c...原创 2019-07-22 00:15:57 · 150 阅读 · 0 评论