scrapy
blues_phone
本是无一物,何处惹尘埃
展开
-
scrapy 爬取数据时翻页专栏
1.分析url,是否能够找到翻页的规律2.获取该页面下一页的url,进行访问原创 2018-04-20 19:48:03 · 2157 阅读 · 0 评论 -
selenium+chromedriver获取动态网页数据以及模拟鼠标操作后才能获得的数据
1.下载chromedriver,记住chromedriver和chrome浏览器版本有对应关系2.获得动态加载后的界面模拟鼠标操作,获得需要点击等特定操作后才能获得的动态加载的数据3.源码:from bs4 import BeautifulSoupfrom selenium import webdriverfrom selenium.webdriver.common.actio...原创 2019-05-02 15:51:05 · 1977 阅读 · 0 评论 -
python-表格数据统计
分享一个统计excel的关系统计脚本1.xlwt操作,合并单元格原表格:,去计算word1,word2,word3之之间的关系脚本处理后,可获得每个词语相关的词语的次数源码:import xlrd,re,os,xlwtimport operatordef exportExcel(path,field_attr=None): #词组 word_...原创 2019-05-02 17:28:11 · 3878 阅读 · 0 评论 -
爬虫-获取鼠标点击或则移动到指定位置才能获得的动态加载数据
测试网站https://www.zalando.de/damen-home/ 一家电子商城网站我们的目的就是去爬取各个子分类下面的链接,这些数据必须到当鼠标移动到上面的横向导航栏菜单才会动态加载出对应的子菜单。主体思路使用selenium去模拟将鼠标放到航向导航栏,同时立刻获得下面加载出来的动态数据会涉及到 基于driver的网页元素操作以及附上源码:fro...原创 2019-05-03 09:45:07 · 5122 阅读 · 0 评论