task4 简单的爬虫实现自动化办公 ----学习来源：Datawhale自动化办公课程

已于 2022-07-21 22:50:55 修改
阅读量305 收藏
点赞数
文章标签： 爬虫 python 数据挖掘
于 2022-07-21 22:48:04 首次发布
原文链接：https://github.com/datawhalechina/office-automation/blob/main/Task04-%E7%AE%80%E5%8D%95%E7%9A%84python%E7%88%AC%E8%99%AB/%E7%AE%80%E5%8D%95%E7%9A%84python%E7%88%AC%E8%99%AB.ipynb
版权

taks4 简单的爬虫实现自动化办公

1、requests库

Requests这个http请求库，能非常方便的对网页数据进行爬取。

2、请求响应 ，用到了re.status_code

代码：

import requests
re = requests.get('http://www.baidu.com')
print(re.status_code)

运行结果：
在这里插入图片描述

3、爬取文章的内容，存到txt文件中

  注意打开文件的类型为'w'，然后可以自动创建此文件

re.text响应内容的字符串形式，用于文本内容的获取与下载
代码：

re = requests.get('https://apiv3.shanbay.com/codetime/articles/mnvdu')
with open('1.txt','w') as f:
    f.write(re.text)

运行结果：
在这里插入图片描述
在这里插入图片描述

4、re.content用于爬取图片,视频，音频（以图片为例）

代码：

re = requests.get('https://pic1.zhimg.com/v2-0703954b925845892ef559c423f598a0_r.jpg')
with open('你的名字.png','wb') as f:
    f.write(re.content)

运行结果：
在这里插入图片描述

5、查看bilibili界面的html代码

当向浏览器输入某个网址时，浏览器向服务器发起请求，然后服务器向浏览器返回html代码，最后浏览器将html代码解析成我们看到的界面。
代码：

re = requests.get('http://www.bilibili.com')
re.encoding = 'utf-8'
print(re.text)

运行结果：
在这里插入图片描述

6、项目实战1 爬取数据并存入csv文件中

一些知识点：
headers表示请求网页的头，如果没有这个头，浏览器会认为我们在爬虫

接下来为 BeautifulSoup的简单使用

Beautifulsoup对象的作用：通过re.text产生的是字符串，但是字符串有很多局限性，将字符串解析成Beautifulsoup对象：也就是解释器，解释器对象里面有许许多多的内置函数方便我们对HTML代码进行相关操作

运用Beautifulsoup对象中的find()方法和find_all()方法返回对应的html语句

find方法还有很多其他的参数组合，可以组合起来使用

代码：

import requests
from bs4 import BeautifulSoup
import random
import time
import csv

#这里增加了很多user_agent
#能一定程度能保护爬虫
user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)"]

def get_info():
    csvheader=['名称','面积','朝向','户型','位置','楼层','是否有电梯','建成时间',' 门锁','绿化']
    with open('data.csv', 'a+', newline='') as csvfile:
        writer  = csv.writer(csvfile)
        writer.writerow(csvheader)
        for i in range(1,2):  #总共有50页
            print('正在爬取自如第%s页'%i)
            timelist=[1,2,3]
            print('有点累了，需要休息一下啦（￢㉨￢）')
            time.sleep(random.choice(timelist))   #休息1-3秒，防止给对方服务器过大的压力！！！
            url='https://wh.ziroom.com/z/p%s/'%i
            headers = {'User-Agent': random.choice(user_agent)}
            r = requests.get(url, headers=headers)
            r.encoding = r.apparent_encoding
            soup = BeautifulSoup(r.text, 'lxml')
            all_info = soup.find_all('div', class_='info-box')
            print('开始干活咯(๑>؂<๑）')
            for info in all_info:
                href = info.find('a')
                if href !=None:
                    href='https:'+href['href']#这个href是网址的意思
                    try:
                        print('正在爬取%s'%href)#正在爬取某个网址
                        house_info=get_house_info(href)
                        writer.writerow(house_info)
                    except:
                        print('出错啦，%s进不去啦( •̥́ ˍ •̀ू )'%href)

def get_house_info(href):
    #得到房屋的信息
    time.sleep(1)
    headers = {'User-Agent': random.choice(user_agent)}
    response = requests.get(url=href, headers=headers)
    response=response.content.decode('utf-8', 'ignore')#把得到的东西变成一种。。unicode编码（解码）
    soup = BeautifulSoup(response, 'lxml')#现在要去解析
    name = soup.find('h1', class_='Z_name').text
    sinfo=soup.find('div', class_='Z_home_b clearfix').find_all('dd')
    area=sinfo[0].text
    orien=sinfo[1].text
    area_type=sinfo[2].text
    dinfo=soup.find('ul',class_='Z_home_o').find_all('li')
    location=dinfo[0].find('span',class_='va').text
    loucen=dinfo[1].find('span',class_='va').text
    dianti=dinfo[2].find('span',class_='va').text
    niandai=dinfo[3].find('span',class_='va').text
    mensuo=dinfo[4].find('span',class_='va').text
    lvhua=dinfo[5].find('span',class_='va').text
    ['名称','面积','朝向','户型','位置','楼层','是否有电梯','建成时间',' 门锁','绿化']
    room_info=[name,area,orien,area_type,location,loucen,dianti,niandai,mensuo,lvhua]
    return room_info

if __name__ == '__main__':
    get_info()

运行结果：
![在这里插入图片描述](https://img-blog.csdnimg.cn/4bec5c63bd154e9fb609a59678ee47f2.png)

6、项目实战2 爬取数据并通过邮件发送

代码：
因隐私原因，只分享模板部分：

import requests
import random
from bs4 import BeautifulSoup
import smtplib  # 发送邮件模块
from email.mime.text import MIMEText  # 定义邮件内容
from email.header import Header  # 定义邮件标题

smtpserver = 'smtp.qq.com'

# 发送邮箱用户名密码
user = ''
password = ''  #这里填授权码


# 发送和接收邮箱
sender = ''
receive = ''

user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)"]

def main():
    print('正在爬取数据')
    url = 'https://36kr.com/newsflashes'
    headers = {'User-Agent': random.choice(user_agent)}
    response = requests.get(url, headers=headers)
    response=response.content.decode('utf-8', 'ignore')
    soup = BeautifulSoup(response, 'lxml')
    news = soup.find_all('a', class_='item-title')  
    news_list=[]
    for i in news:
        title=i.get_text()
        href='https://36kr.com'+i['href']
        news_list.append(title+'<br>'+href)
    info='<br></br>'.join(news_list)
    print('正在发送信息')
    send_email(info)

def send_email(content):
    # 通过QQ邮箱发送
    title='36kr快讯'
    subject = title
    msg = MIMEText(content, 'html', 'utf-8')
    msg['Subject'] = Header(subject, 'utf-8')
    msg['From'] = sender
    msg['To'] = receive
    # SSL协议端口号要使用465
    smtp = smtplib.SMTP_SSL(smtpserver, 465)  # 这里是服务器端口！
    # HELO 向服务器标识用户身份
    smtp.helo(smtpserver)
    # 服务器返回结果确认
    smtp.ehlo(smtpserver)
    # 登录邮箱服务器用户名和密码
    smtp.login(user, password)
    smtp.sendmail(sender, receive, msg.as_string())
    smtp.quit()

if __name__ == '__main__':
    main()

运行结果：
给对应的邮箱发送了相应的数据
在这里插入图片描述

7、后记

1、通过本次的学习，我知道了爬虫的基本原理，并应用到基本的办公上。
借助requests http请求库对相应URL链接下自己需要的数据进行捕获。基本的过程为在浏览器中输入URL链接，浏览器向服务器发送请求，服务器向浏览器返回HTML代码，浏览器对HTML代码进行解析。在解析的过程中有用到Beautifulsoup 对象，这种对象有很多内置函数可以解析HTML网页并最终获取自己所需要的数据。
2、在学习中遇到的最大的困难就是对检索信息的不理解，因为自己本身对HTML标签的不熟悉导致在调用find函数时一些参数实在无法理解，这需要我下去自学一下HTML的相关知识。
3、多多记忆与总结吧。

︶ㄣ我18、O_o岁ㄜ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
小项目 ：读取解析Apache日志分析提取（及正则表达式处理））
power_hsun的博客
08-25 1844
@TOP Apache日志解析（以access_log日志文件为例） Apache 日志是什么 当我们安装并启动Apache后，Apache会自动生成两个日志文件，这两个日志文件分别是访问日志access_log（在Windows上是access.log）和错误日志error_log（在Windows上是error.log）。如果使用 SSL 服务的话，还可能存在 ssl_access_log和s...
【学习笔记】Python办公自动化——爬虫
Mr_Bility的博客
07-22 228
【学习笔记】Python办公自动化——爬虫
如何使用python实现自动化办公？全网最全干货来了！
最新发布
Java癫疯的博客
12-19 1541
如何使用python实现自动化办公？全网最全干货来了！
想学Python爬虫，数据分析，自动化办公，没有任何编程基础，该如何入门？
m0_59162248的博客
03-14 476
爬取知乎优质答案，筛选各话题下最优质的内容；抓取房产网站买卖信息，分析房价变化趋势、做不同区域的房价分析；爬取招聘网站职位信息，分析各行业人才需求情况及薪资水平。比如你要做一个[推荐系统]，那么你可以去爬取更多维度的数据，做出更好的模型。爬取商品的评论以及各种图片网站，获得图片资源以及评论文本数据。掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现。大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。
【总结】浏览器 User-Agent 大全
oYangYongJie的博客
09-14 1万+
【总结】浏览器 User-Agent 大全
爬虫入门04——requests库中的User-Agent请求头
xjl243636988的博客
07-06 4707
QQ浏览器 Android版本。世界之窗（The World）傲游（Maxthon）浏览器
dotnet-Psake基于NET的构建自动化工具采用PowerShell开发
08-14
**Psake：基于.NET的构建自动化工具** Psake是一款强大的构建自动化工具，它利用PowerShell脚本语言进行构建过程的管理。在.NET开发环境中，构建自动化对于提高开发效率、确保代码质量和简化部署流程至关重要。...
dotnet-InvokeBuildPowerShell构建和测试自动化工具
08-14
通过调用`dotnet build`、`dotnet pack`等命令，`Invoke-Build`能够帮助你实现.NET Core或.NET Framework项目的自动化构建。 在实际使用中，`Invoke-Build-master`压缩包很可能是`Invoke-Build`的源码仓库克隆。你...
affective-probabilistic-reversal-learning-task:情感概率逆向学习任务
05-06
使用jsPsych的情感概率逆向学习任务。 版本1.0。 Github存储库。 描述这是一项学习任务，其情感条件在任务之前。 任务叙述涉及一个虚构的足球联赛，要求参与者猜测比赛的获胜者（= 1次审判）。 请注意，IAPS图像未...
leetcode有效期-Datawhale-Coding:Datawhale-编码
07-07
Datawhale-Coding All Tasks Task 1：数组和链表（2天） 时间：2019-08-03 21:00 - 2019-08-05 21:00 讨论&CR时间: 2019-08-05 21:00 - 2019-08-05 22:30 【数组】 实现一个支持动态扩容的数组 实现一个大小固定的...
laravel-envoy：基于Capistrano的Laravel Envoy的自动化部署模板
02-05
该存储库包含Laravel Envoy的自动化部署模板。 部署流程基于 。 安装 使用composer需要此软件包： composer require --dev exolnet/laravel-envoy:"^1.0" 创建Envoy.blade.php您的项目有以下内容根： @import('...
Python-MetaSR一个用于超分辨率的放大任意网络CVPR2019PyTorch
08-11
Meta-SR一个用于超分辨率的放大任意网络(CVPR2019)(PyTorch)
R语言爬虫系列3|HTTP协议
weixin_37737254的博客
09-15 770
要想使用R语言从网络抓取数据，我们就必须对R语言进行设置使得R具备与服务器及Web服务进行通信的能力。而互联网中进行网络通信的通用语言就是HTTP(HypterText ...
爬虫和办公自动化（一）
weixin_47016359的博客
10-16 950
爬虫和办公自动化（一） 请求：在浏览器输入网址（URL）。然后浏览器去访问该网址对应的服务器，这个过程叫 请求 响应：服务器将网站内容发送给浏览器，这个过程叫 响应（response）。 爬虫的三个步骤： 1.获取数据，爬虫会根据我们提供的网址，向服务器发起请求获取数据； 2.处理数据，对获取的数据进行处理，得到我们需要的部分； 3.存储数据，将处理后的数据保存起来，便于后续的使用和分析等。 爬虫最常用的发起请求的第三方库：requests requests.get()方法 获取数据 使用requests
爬虫和办公自动化（四）
weixin_47016359的博客
10-23 468
复习：爬虫和办公自动化（三） 解析数据：BeautifulSoup("<html>HTML文本</html>“,"html.parser") html.parser:解析器 BeautifulSoup对象： find()和find_all()方法：对网页源代码初步筛选 find() 返回符合条件的首个数据 返回值是Tag对象 find_all() 返回符合条件的所有数据 返回值是Tag对象组成
web课程第一次实验报告——利用自动化测试工具操纵无头浏览器，进行网页爬虫、截图等实验
mercy帅坤坤的博客
11-02 7935
实验背景： 无头浏览器 无头浏览器是没有图形用户界面(GUI)的web浏览器，通常是通过编程或命令行界面来控制的。它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。 Selenium自动化测试工具 Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页
爬虫 让网页自动化---selenium
Nurbiya_K的博客
04-02 2341
selenium: selenium 是python的一个强大的库，可以用几行代码，控制浏览器，做出自动打开，输入，点击等操作，就像是有一个真正的用户在操作一样。 （1） 当遇到验证码很复杂的网站时，selenium允许让人去手动输入验证码，然后把剩下的操作交给机器。 （2）对于那些交互复杂，加密复杂的网站，selenium问题简化，爬动态网页如静态网页一样简单 （静态网页：HTML，网页源代码中...
自动化办公：5、爬虫入门与综合应用
qq_45396577的博客
06-24 792
爬虫在没有数据的前提下，是一个很不错的办公工具，但是，一入爬虫深似海，可小玩，大玩就只能铁窗泪了。 Requests简介 Requests是爬虫最常用的发起请求第三方库，http请求。 安装方法：pip install requests re.status_code ：响应的HTTP状态码 re.text ：响应内容的字符串形式 rs.content： 响应内容的二进制形式 rs.encoding： 响应内容的编码 项目一：对百度首页进行数据请求： re.status_code import req
时下流行的浏览器User-Agent大全
热门推荐
肥宝的实验室
03-10 10万+
一、基础知识篇： HttpHeader之User-Agent UserAgent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，UserAgent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访问谷歌和
AZ-104 Q615.pdf
05-08
AZ-104 Q615学习文档 资料

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值