爬虫
。。流浪
这个作者很懒,什么都没留下…
展开
-
爬虫的步骤
1、确定网站内数据的加载方式(数据局部刷新、页面刷新)区别:局部刷新 页面的url不会发生改变 页面刷新 页面的url会发生改变(1)、局部刷新:1、F12 --> NetWork --> XHR2、清空所有请求3、点击加载更多或者下一页4、新出来的地址就是我们需要发送的请求地址( 2)、页面刷新1、直接点击下一页2、观察页面url的变化3、去掉没用的信息4、...原创 2019-07-03 17:56:10 · 210 阅读 · 0 评论 -
练习
1.爬虫.settingsimport osimport sysimport djangosys.path.append(os.path.dirname(os.path.abspath(’.’)))os.environ[“DJANGO_SETTINGS_MODULE”]=‘Weekend.settings’django.setup()2.pipline管道import jsonc...原创 2019-07-22 00:15:57 · 121 阅读 · 0 评论