![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
Martinlone
做个脱离了低级趣味的程序猿
展开
-
Python time strftime()方法
描述Python time strftime() 函数接收以时间元组,并返回以可读字符串表示的当地时间,格式由参数format决定。语法strftime()方法语法:time.strftime(format[, t])参数format – 格式字符串。t – 可选的参数t是一个struct_time对象。返回值返回以可读字符串表示的当地时间。说明python中时间日期格式化符...转载 2019-07-08 13:43:30 · 916 阅读 · 0 评论 -
下载新闻图片到本地文件夹
import osimport pathlibimport urllibimport urllib.request if item['pic'] != "无图片": file_name = str(newsID) fname = time.strftime("%Y%m%d", time.localtime()) ...原创 2019-07-09 11:12:53 · 263 阅读 · 0 评论 -
爬校花网保存图片到本地文件夹
import reimport requestsurl=‘http://www.xiaohuar.com/2014.html’wb_data=requests.get(url).textprint(wb_data)res=re.compile(r’src="(.*?.jpg)"’)items=re.findall(res,wb_data)print(items)num=0for ...原创 2019-07-04 14:58:42 · 291 阅读 · 0 评论 -
scrapy框架爬虫新闻网站步骤
First(准备工作):装好conda、python、pycharm环境下,命令行键入scrapy startproject 爬虫项目名(一般是域名+Spider就可以了 如BaiduSpider),之后键入cd 爬虫项目名 进入该路径下,再键入scrapy genspider 爬虫名(自己起一个比如baidu_spider) 域名(如baidu.com)Second(开始干啦)打...原创 2019-07-11 15:51:01 · 380 阅读 · 0 评论 -
关于列表嵌套字典转json存mysql问题
coding: utf-8list1 = list(range(len(d)))for p in d:# print(p[1], p[2], p[3])list1[paranum] = {“ParaId”: p[1], “Sentence”: p[2], “Sentence_cn”: p[3]}paranum += 1 data = [json.dumps(w, ensure_a...原创 2019-07-23 15:13:35 · 918 阅读 · 0 评论 -
关于爬虫图片
我不知道哪些图片的格式可以通过urllib.request.urlretrieve(item[‘pic’], picpath)来抓取,但是,.svg这种比较流行的图片格式肯定是不行的,另外,那些虽然可以在网址上访问的但是没有http协议的也是爬不下来的,比如://cdn.cnn.com/cnnnext/dam/assets/150406204033-lgct-venue-on-miami...原创 2019-08-14 18:10:46 · 178 阅读 · 0 评论