用pytho写网络爬虫
一个没有姓名的咸鱼
Github:https://github.com/LelandYan
展开
-
TypeError: can't concat str to bytes
def download(url, user_agent='wswp', num_retries=2): print("Downloading: " + url) headers = {'User-agent': user_agent} req = request.Request(url, headers) try: html = request.u...原创 2018-09-22 11:17:47 · 10086 阅读 · 3 评论 -
用python获取大学生数学竞赛题目的方法
##用python获取大学生数学竞赛题目的方法###所用模块requestsBeautiSoupos####思路很简单就是request获取,然后BeautiSoup解析,获取image的url,写入文件即可import requestsfrom bs4 import BeautifulSoupimport osdef getImages(url, path): ...原创 2018-09-22 15:12:55 · 576 阅读 · 0 评论