Python爬虫
。
黑桃️
此人不懒,只是不知道写什么
展开
-
Python实现:将 文件命名 与 所在文件夹命名 一致
作用:将 文件命名 与 所在的文件夹命名 一致(描述看不明白的话,直接看后面效果)刚好用到了,需要修改大量文件,于是就编写了一个脚本,可能写的有点麻烦,但是能用import os# 第一个\是转义,注意路径最末尾加\为了正确拼接路径path = 'D:\\testNotifyFileName\\'flag = 0for root, dirs, files in os.walk(path): # 跳过第一次循环,把root, dirs, files打印看看就知道为什么了 .原创 2021-07-12 00:13:15 · 1650 阅读 · 1 评论 -
【爬虫学习五】 Python大型爬虫案例: 抓取某电商网站的商品数据 (2)代码和效率优化
对 爬虫学习四 的代码和效率进行优化一 代码优化:使用 def 自定义函数优化代码,提高代码可读性import requestsimport timeimport pymongodef connect_mongo(): #连接数据库 client = pymongo.MongoClient('localhost', 27017) # 建立连接 book_qunar = client['qunar'] # 建立名为“qunar” 的数据库 return book_q原创 2020-11-02 12:26:04 · 780 阅读 · 0 评论 -
【爬虫学习四】 Python大型爬虫案例: 抓取某电商网站的商品数据 (1)
目标:获取整个“自由行”的产品列表需要用到的链接和网站:电商网站:https://www.qunar.com/在线编码转换:https://tool.oschina.net/encode?type=4以下为观察解析数据得出的链接(第一部分内容):出发地对应的目的地: https://touch.dujia.qunar.com/golfz/sight/arriveRecommenddep=%E5%8C%97%E4%BA%AC&exclude=&extensionImg=255,17原创 2020-11-02 12:26:13 · 3130 阅读 · 0 评论 -
【爬虫学习三】 Python将爬取的数据存储到MongoDB中
本内容衔接 : 爬虫学习二一: 下载并安装 MongoDB下载链接:http://dl.mongodb.org/dl/win32/x86_64照着这篇博客配置完就行:配置MongoDB二:在pycharm中安装Mongo PluginFile → settings → plugins 输入mongo 安装 Mongo Plugin安装成功后重启pycharm生效三: 将数据存入MongoDB中import requestsimport timeimport pymongoc原创 2020-11-02 12:26:23 · 10988 阅读 · 8 评论 -
【爬虫学习二】 python通过API爬取各城市天气预报数据
需要用的链接和网址:注册免费API : http://console.heweather.com国内城市ID : http://cdn.heweather.com/china-city-list.txt接口:https://free-api.heweather.net/s6/weather/forecast?key=xxx&location=xxx(key后的xxx填入key,location后的xxx填写城市ID)json编辑器: http://www.json.org.cn/tools原创 2020-10-02 10:57:09 · 2771 阅读 · 11 评论 -
【爬虫学习一】 Python实现简单爬虫 (requests,BeautifulSoup)
以 “中国旅游网”为例本次需要下载的第三方库:request , bs4 , lxml一:使用 request 的 get 方式抓取数据import requestsurl = 'http://www.cntour.cn/' #中国旅游网网址str = requests.get(url) #此时 str 为 url对象,代表整个网页print(str.text) #用.text展示网页中的源码 运行结果:二:使用 BeautifulSoup 解析网页import requ原创 2020-09-29 15:35:23 · 853 阅读 · 1 评论