python爬虫
文章平均质量分 72
不定时更新爬虫小知识和有趣的工具
弈鸣coding
这个作者很懒,什么都没留下…
展开
-
使用python进行邮件发送
文章目录前言一.分析爬取目标二.信息的发送1.连接服务器2.获取账号和密码3.主题和正文4.发送邮件和退出邮箱三.定时发送四.效果前言如果你和我一样偶尔看看股票,看看自己关注的股票是涨了还是跌了,或者想快速获取到想看的头条新闻,我们不必把过多的注意力放在去寻找上面,我们只需要让爬虫程序每天自动为你发送你想要了解的信息就可以了,这样就能掌控我们的注意力,更好的去享受生活。一.分析爬取目标这里就不爬取股票的信息,我来爬一个天气预报的信息,然后实现每天定时发送。打开下面的链接就能跳转到中国气象网ht原创 2022-02-04 13:40:50 · 7028 阅读 · 10 评论 -
一小伙用python爬虫除去了减肥路上的绊脚石
文章目录一.分析爬取网站:1.获取数据:2.解析,提取数据:3.编写代码:学会了多协程后,再也没有了漫长的等待,快的飞起,咱们一步一步分析。做完这个项目,既用协程知识实践,又能获得一份食物热量表,两全其美~一.分析爬取网站:我向你推荐一个网站——https://food.hiyd.com/。这个网站可以查询食物的热量数据,还可以用来学习健身动作。首先请你打开HI运动的链接:让我们来观察一下这个网页:饮食热量查询,减肥饮食推荐,食物数据库 - Hi运动食品库然后可以看到11个常见的食物分类。原创 2021-10-01 10:11:32 · 858 阅读 · 0 评论 -
爬虫爬取千万数据如何快速保存,看这里
文章目录前言✨一.项目描述✨二.明确目标✨三.分析过程1.网址的获取2.信息的获取✨四.项目描述✨五.数据保存1.CSV保存2.Excel保存前言????书接上回,我们完成了Scrapy基础的学习,并成功爬取了数据,但是因为篇幅过多,而且针对小白,所以保存数据的内容就没写,今天就来看一看怎么保存数据,并且再次深入学习Scrapy框架????没有看的朋友可以看看,上一篇Scrapy基础教学及实践:https://akastan.blog.csdn.net/article/details/119920原创 2021-09-01 22:46:29 · 1976 阅读 · 0 评论 -
用python爬虫框架Scrapy来完成一个小项目
文章目录前言1.什么是Scrapy前言作为一个爬虫的老手了,不知道大家有没有一种感觉:要写出一个完整的爬虫程序需要做很多琐碎的工作。比如,要针对不同的网站制定不同的解析方式;要导入不同功能的模块;还要编写各种爬取流程的代码。我们在日常工作中会使用PPT模板来制作PPT。那么有没有一个现成的爬虫模板,让我们能够改之即用,也就是说对这个模板进行适当的修改,就能完成一个爬虫项目的开发呢?那就让我们来一起学习一下Scrapy这个nb的框架 (只要认真学,绝对能搞懂)1.什么是Scrapy在学习pytho原创 2021-08-29 11:59:20 · 1381 阅读 · 8 评论 -
用python做一个翻译软件。
文章目录前言一、需要的库二、分析处理1.步骤2.思路三.代码的实现1.翻译部分2.图形界面代码3.整合总结前言对于我这种英语比较差的人来说,无论是敲代码还是看文档,那都是离不开翻译软件的于是乎,我想自己用python做一个翻译软件,花了一个小时,终于做了出来了,各种语言随便翻一、需要的库translate:谷歌翻译的第三方包,可以实现多种语言之间的相互翻译。tkinter:Tkinter 是 Python 的标准 GUI 库。Python 使用 Tkinter 可以快速的创建 GU原创 2021-08-25 11:46:21 · 9753 阅读 · 23 评论 -
一小伙使用 python爬虫来算命?
文章目录前言1.网站分析2.获取内容3.代码4.实操5.代码整合前言相信在日常生活中,平常大家聚在一起总会聊聊天,特别是女生(有冒犯的doge)非常喜欢聊星座,这个男生什么星座呀,那个男生什么星座呀…今天我就来满足各位的需求,通过爬虫来知晓上天的安排:开搞!1.网站分析第一步呢,咋们先打开这个网站:https://www.horoscope.com/us/index.aspx大家就能看到这个页面了我们今天呢,就先做一个通过星座来得知三天的运势的小玩意,这里有十二个星座,我点了第一个和第二个原创 2021-08-22 14:00:39 · 202544 阅读 · 132 评论 -
python:用爬虫定时向邮箱发送天气预报
import requestsimport smtplibimport scheduleimport timefrom bs4 import BeautifulSoupfrom email.mime.text import MIMETextfrom email.header import Headersender = input('请输入发送邮箱:')pwd = input('请输入密码:')recevier = input('请输入收件邮箱:')def get_weathe原创 2021-01-24 15:31:20 · 2275 阅读 · 0 评论 -
看 如何用python爬取歌曲热门评论!
最近学了一手爬虫,于是想到用来爬一爬网友们各种文采飞扬,奇葩有趣的评论。直接上代码。import requests# 引用requests模块url = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg'for i in range(11): params = {'g_tk':'5381','loginUin':'0', 'hostUin':'0','format':'json','inCha原创 2021-01-21 11:29:04 · 172 阅读 · 0 评论