![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 88
北山璎珞
私はこのjianghuが好き
展开
-
Python3爬取UN(联合国数据) api调用
# -*- coding=UTF-8 -*-import timeimport requestsimport reimport osfrom bs4 import BeautifulSoupfrom requests.exceptions import ConnectionError, ReadTimeoutimport csvimport jsonimport MySQLdb...原创 2020-04-16 20:56:10 · 1784 阅读 · 7 评论 -
Python3使用代理爬取某网信息&含文件读写等(完整源码)
-- coding=utf-8 --import timeimport requestsimport reimport osfrom bs4 import BeautifulSoupfrom requests.exceptions import ConnectionError, ReadTimeoutimport csvurl=‘https://www.11467.com/shen...原创 2020-01-04 18:15:54 · 550 阅读 · 0 评论 -
Python3爬取某租房网数据并保存到Excel文件中(完整源码)
# coding:utf-8import requestsimport reimport randomfrom bs4 import BeautifulSoupfrom w3lib.html import remove_tagsimport csvuseragents = [ # 代理用户 "Mozilla/5.0 (Windows; U; Windows NT 5.2...原创 2019-12-28 17:21:05 · 1513 阅读 · 2 评论 -
Python3使用代理爬取某网文献摘要(完整源码)
1.连接下载.py用来获取当前年份的文章下载连接,并将连接读取到 c.txt中;注: 知网的文件连接 根据 年份 + 期数 + 第几个 就是拼接出具体某一篇文章的下载路径如:2019年第一期的第一篇文件链接为:https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&filename=YISY2019010012.摘要下载....原创 2019-12-28 17:18:43 · 1398 阅读 · 0 评论 -
Python3爬取某2020年展览数据并保存到Excel文件中(完整源码)
# -*- coding=UTF-8 -*-import timeimport requestsimport reimport osfrom bs4 import BeautifulSoupfrom requests.exceptions import ConnectionError, ReadTimeoutimport csv##headers = { ...原创 2019-12-28 17:00:13 · 1007 阅读 · 0 评论 -
Python对字符串的操作(大全)
1.字符串截取:1.1 从某个子字符串的位置截取:如:#上海新国际博览中心 乘车路线 全景地图上海新国际博览中心#截取后#上海新国际博览中心a='上海新国际博览中心 乘车路线 全景地图上海新国际博览中心'a[:a.index('乘车路线')]截取最后的部分:#主办单位:中国日用杂品工业协会;承办单位:北京汇捷通国际展览有限公司#截取后#北京汇捷通国际展览有限公司b='...原创 2020-03-03 21:10:11 · 554 阅读 · 0 评论 -
Python-Excel操作
一 . 两个Excel中字符集比对import xlrd# 打开execlprint('读取第一个Excel文件开始:')workbook2 = xlrd.open_workbook('a.xlsx')Data_sheet2 = workbook2.sheets()[0] # 通过索引获取第一个sheet的值print('第一个sheet的名字为:',Data_sheet2.nam...原创 2020-03-03 21:12:19 · 125 阅读 · 0 评论 -
Python通过代理爬取知网数据
# -*- coding=utf-8 -*-import timeimport datetimeimport requestsimport reimport osimport randomfrom bs4 import BeautifulSoupfrom requests.exceptions import ConnectionError, ReadTimeout##head...原创 2019-12-22 21:21:48 · 646 阅读 · 0 评论 -
Python爬取租房信息
# coding:utf-8import requestsimport reimport randomfrom bs4 import BeautifulSoupfrom w3lib.html import remove_tagsimport csvuseragents = [ # 代理用户 "Mozilla/5.0 (Windows; U; Windows NT 5.2...原创 2020-03-08 21:34:22 · 517 阅读 · 0 评论 -
Python3爬取meitulu(源码+详细注释)
-- coding=UTF-8 --import timeimport requestsimport reimport osfrom bs4 import BeautifulSoupfrom requests.exceptions import ConnectionError, ReadTimeouturl = ‘https://www.meitulu.com/rihan/’he...原创 2020-03-08 21:46:49 · 1732 阅读 · 0 评论 -
Python3爬取meizitu(详细源码+注释)
# -*- coding=utf-8 -*-'''人生苦短,我用Python'''import timeimport requestsimport reimport osfrom bs4 import BeautifulSoup##url = 'https://www.mzitu.com/all'headers = {'User-Agent': 'Mozilla/5.0 ...原创 2020-03-08 21:47:20 · 2949 阅读 · 0 评论