Python爬虫——开启日志

最新推荐文章于 2022-10-20 09:21:56 发布
最新推荐文章于 2022-10-20 09:21:56 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： Python 文章标签： Python 日志
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37770300/article/details/81285929
版权

Python爬虫——开启日志

本文使用的版本为Python3，使用的IDE为Pycharm
  • 示例代码
# 开启DebugLogger
from urllib import request
httphd = request.HTTPHandler(debuglevel=1)
httpshd = request.HTTPHandler(debuglevel=1)
opener = request.build_opener(httphd, httpshd)
request.install_opener(opener)
data = request.urlopen('http://edu.51cto.com')
SmoMark
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python爬虫支持命令行处理、多线程、日志、配置文件的读取
11-03
Python爬虫的实现，支持了命令行处理、多线程、日志、配置文件的读取，很基础，功能十分全。
爬虫的日志
weixin_33919941的博客
08-15 350
1. 为什么要使用添加日志功能 能够方便的对程序进行调试 能够记录程序的运行状态，包括错误 2. 日志模块简单使用 日志的等级 import logging # 日志的五个等级，等级依次递增 # 默认是WARNING等级 logging.DEBUG logging.INFO logging.WARNING logging.ERROR logging.CRIT...
爬虫日志（1）
weixin_41506373的博客
07-22 769
内容记录在开源中国博客这个系列用来记录我从0开始学习python爬虫的过程，分享这个过程希望能够给像我一样的初学者一些启示。
编写学习爬虫历程日志（一）
without_soup的博客
02-07 358
第一 在一开始的时候，我想要在另一个网站上批量下载图片，但通过查看源代码发现他们的图片url的源代码从/i/开始而不是http。一开始以为，在原网页同一目录下，但一番尝试后，发现不仅原网页的同一目录下不行，连原网页的相近目录，父目录等等好像都不行，查询相关内容无果后， 发现图片地址的录入有相对路径和绝对路径，两种形式，绝对路径不必多说， 相对路径，只有 首先，我按照自己的经验，使用相对最熟悉的re...
爬虫scrapy框架--log日志输出配置及使用
热门推荐
python爬虫人工智能大数据
09-15 3万+
1、在配置文件中设置日志输出文件名和日志等级 1、为什么以日期为文件名？ 因为这样可以方便开发者查看每天的日志信息，同时也可以防止单文件log日志信息堆积的越来越多，所以将当天日志信息保存到当天的日志文件中 2、配置选项有日志等级LOG_LEVEL、日志文件路径LOG_FILE，我这里设置等级为WARNING 2、在程序中导入logging模块，对需要输出的内容进行log日志输出 我...
python爬虫-小白学习日志（分享超详细哦！更新中……）
qq_63290322的博客
10-20 480
大家好，这是一篇记录小白学习爬虫的日志，让我们共同进步吧！
python不爬虫你爬什么爬我嘛
winnerdance的博客
11-21 240
首先来了解什么是爬虫？ Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。 调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。 URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。 网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Pytho
Python爬虫学习日志——day1（urllib）
Kyrieki11的博客
05-29 939
网络爬虫 爬虫 python urllib is not a package
python日志的使用
ch_atu的博客
12-02 1809
日志的使用 import logging # 创建一个记录器对象 logger = logging.getLogger() # 设置日志级别 logger.setLevel(logging.INFO) # 设置日志的保存路径 logfile = 'path/data.logs' # 指定文件处理器，发送日志输出到磁盘文件 fh = logging.FileHandler(logfile, encoding='utf-8') fh.setLevel(logging.INFO) # 指定流处理器，发送日志输
工作随笔：利用爬虫抓取系统日志
weixin_64392229的博客
08-29 1020
利用爬虫，简化了每周巡检服务报错的工作，为每一点小进步加油！
Python爬虫——总结小知识点
12-22
#服务器返回的类文件对象支持python文件对象的操作方法 #read()方法就是读取文件里面的全部内容，返回字符串 #此方法的缺点是不能构造，headers不能添加 #所以如下 headers = { "User-Agent":"Opera/9.80 (Windows ...
python爬虫——牛课实习广场
12-22
准备找实习，写了一个爬虫。爬的内容是 牛课网-求职-实习广场 的职业内容。这个时间段，网页更新得比较快，建议用的时候自己爬。 点开一个链接: 爬取信息主要包括以上几个方面。 库方面用的是requests和...
python爬虫——抢课原理.zip
最新发布
12-23
Python爬虫源码大放送：抓取数据，轻松搞定！ 想轻松抓取网站数据，却苦于技术门槛太高？别担心，这些源码将助你轻松搞定数据抓取，让你成为网络世界的“数据侠盗”。 它们还具有超强的实用价值。无论你是想要分析...
python爬虫——01
09-28
刚入门写的非常简单的爬虫练习代码，获取www.51yuansu.com的图片
Python爬虫——Scrapy中使用IP池和用户代理池
SmoMark的博客
07-31 1万+
Python爬虫——Scrapy中使用IP池和用户代理池 本文使用的版本为Python3 settings.py中配置IP池和用户代理池 # IP池设置 IPPOOL = [ {"ipaddr": "101.236.21.22:8866"}, {"ipaddr": "101.126.18.101:8866"}, {"ipaddr": "118.31.220.3.
Python爬虫——Post请求示例
SmoMark的博客
07-29 2841
Python爬虫——Post请求示例 本文使用的版本为Python3，使用的IDE为Pycharm 点击此处访问 测试链接 右键测试链接，查看源代码，发现两个字段分别为：name, pass 示例代码： # urllib Post Demo # 测试链接：http://www.iqianyue.com/mypost/ # 导入模块 from urllib import request,...
Python爬虫——使用代理IP
SmoMark的博客
07-29 1861
Python爬虫——使用代理IP 本文使用的版本为Python3，使用的IDE为Pycharm 使用代理IP爬取百度首页 首先需要获取代理IP地址，可以从该 网站 获取，同时选择验证时间尽量短的 示例代码如下： # 使用代理IP爬取百度首页 # 定义使用代理IP函数 def use_proxy(proxy_addr, url): from urllib import req...
python爬虫——北京租房信息导入excel
05-17
以下是一个简单的 Python 爬虫实现，用于从北京租房信息网站上爬取租房信息并将其导入到 Excel 文件中。 首先，我们需要安装以下 Python 库： - requests：用于发送 HTTP 请求和获取网页内容。 - Beautiful Soup：用于解析 HTML 和 XML 网页内容。 - openpyxl：用于操作 Excel 文件。 可以使用 pip 命令进行安装： ``` pip install requests beautifulsoup4 openpyxl ``` 接下来，我们需要编写 Python 代码： ```python import requests from bs4 import BeautifulSoup from openpyxl import Workbook # 发送 HTTP 请求并获取网页内容 url = 'https://bj.zu.anjuke.com/fangyuan/p1/' response = requests.get(url) html = response.text # 使用 Beautiful Soup 解析网页内容 soup = BeautifulSoup(html, 'html.parser') houses = soup.select('.zu-itemmod') # 创建 Excel 文件并添加表头 wb = Workbook() ws = wb.active ws.append(['标题', '链接', '小区', '面积', '租金']) # 遍历租房信息并将其添加到 Excel 文件中 for house in houses: title = house.select('.zu-info h3 a')[0].text.strip() link = house.select('.zu-info h3 a')[0]['href'] community = house.select('.details-item')[0].text.strip() area = house.select('.details-item')[1].text.strip() price = house.select('.zu-side strong')[0].text.strip() ws.append([title, link, community, area, price]) # 保存 Excel 文件 wb.save('beijing_rent.xlsx') ``` 该爬虫程序将会从北京租房信息网站的第一页开始爬取租房信息，包括标题、链接、小区、面积和租金，并将其添加到 Excel 文件中。你可以根据需要修改代码以实现更多功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值