爬虫代码
weixin_44815030
这个作者很懒,什么都没留下…
展开
-
bs4的BeautifulSoup模块使用,
dsa原创 2019-07-31 21:53:55 · 550 阅读 · 0 评论 -
lxml模块etree使用xpath
导入import requestsfrom lxml import etree具体使用import requestsfrom lxml import etreeimport os,timedef mz_spider(base_url,headers): res=requests.get(base_url,headers) html=etree.HTML(res.te...原创 2019-08-01 15:59:31 · 515 阅读 · 0 评论 -
爬虫常用切割字符介绍
replace()旧的字符串替换新的字符串str.replace(old, new[, max])old – 将被替换的子字符串。new – 新字符串,用于替换old子字符串。max – 可选字符串, 替换不超过 max 次Python join()方法用于将序列中的元素以指定的字符连接生成一个新的字符串。s1 = "-"s2 = ""seq = ("r", "u", "n",...原创 2019-07-31 22:50:07 · 1210 阅读 · 0 评论 -
随机user-agent写法
user_agent=['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36''Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like ...原创 2019-08-05 22:33:02 · 550 阅读 · 0 评论