爬虫
文章平均质量分 81
_我走路带风
To save time is to lengthen life.
展开
-
爬取一个普通翻页的新闻网站代码样例
主文件:# -*-coding:utf-8 -*-import urllib2import urllibimport reimport timeimport requestsimport html_error2import download_urls2from bs4 import BeautifulSoupimport urlparse# 定义一个类,上面先impo原创 2017-05-14 14:59:32 · 1352 阅读 · 0 评论 -
beautifulsoup
原创 2017-05-13 17:34:50 · 251 阅读 · 0 评论 -
正则re的使用情况
首先我们用compile生成一个pattern对象,这个对象呢不能自己实例化,只能够通过compile方法生成个pattern对象在调用pattern对象去匹配字符串我们这里举的方法是matchmatch就是从字符串的开头开始匹配匹配的结果会返回一个match的对象,就是match的实例match就是我们的结果,match呢,有一些方法现在来看例子翻译 2017-05-13 17:33:18 · 337 阅读 · 0 评论 -
Fiddler抓包手机APP(Android上测试)
首先下载Fiddler 点击tools,打开options打开localhost:8888显示:查看ip地址,手机和电脑在同一内网下打开手机wifi连上同一网络,并且长按修改网络设置代理,并改成手动:(显示高级选项)然后手机上浏览的APP就可以抓包了:...原创 2018-07-28 17:12:35 · 692 阅读 · 0 评论 -
Python2和Python3中urllib库中urlencode的使用注意事项
转自:https://blog.csdn.net/IMW_MG/article/details/78555375前言在Python中,我们通常使用urllib中的urlencode方法将字典编码,用于提交数据给url等操作,但是在Python2和Python3中urllib模块中所提供的urlencode的包位置有些不同。对于Python2Python2中提供了urllib和url...转载 2018-07-22 09:22:11 · 249 阅读 · 0 评论 -
Selenium 之 find_element_by_xpath() 基础用法
首先Xpath (XML Path Language),是W3C定义的选择节点的语言第一种:绝对位置:此方法比较简单,例子:xxx.find_element_by_xpath("/html/body/div[x]/form/input") //x 代表第x个 div标签(索引从1开始而不是0) 当页面元素位置发生改变时,...原创 2019-03-12 17:25:47 · 32637 阅读 · 0 评论