Python知识记
YuY_锦鲤
这个作者很懒,什么都没留下…
展开
-
【学习记录】Python数据处理之matplotlib
plot(x, # xy, # ycolor='r', # 线条颜色inestyle='--', # 线条风格linewidth='5', # 线条粗细alpha=0.5 # 透明度,范围0-1)Matplotlib 教程原创 2020-09-21 17:36:19 · 323 阅读 · 0 评论 -
【学习记录】Scrapy爬取豆瓣数据储存到MySQL库中(数据遗漏问题待解决)
Windows 10 系统,Python 3.7爬取豆瓣读书top250所有的书名,作者,评分,简介,将数据保存至MySQL库中。网址链接:https://book.douban.com/top250待解决问题:数据爬取有缺失,只爬取到了187组数据目录一、创建数据库及数据表1、创建数据库:2、在数据库下创建数据库:二、创建scrapy项目1、定义item2、爬虫spider3、pipelines 数据存储4、settings设置5、运行结果一、创建数据库及数据表1、创建数据库:creat原创 2020-08-31 22:28:44 · 475 阅读 · 0 评论 -
【学习记录】SQL常用语句(随时补充)& Python3连接MySQL库
Windows 10 系统,Python 3.7首先需要启动MySQL库:以管理员身份运行cmd,键入net start MySQL80Python连接MySQL库代码如下:import pymysql# 调用pymysql模块my_host = 'localhost' # 数据库主机地址user = 'root' # 数据库用户名passwd = 'xxxxxxx' # 你的数据库密码# 用try捕获异常try:原创 2020-08-15 20:49:52 · 1577 阅读 · 6 评论 -
【学习记录】Scrapy框架爬取豆瓣图书短评数据,并存储成Excel,TXT(增加xpath处理方法)。
运用scrapy的知识,爬取豆瓣图书TOP250前2页的书籍(50本)的短评数据(包括书名、评论ID、短评内容),并存储成Excel。网址链接:https://book.douban.com/top250(爬虫精进14)Windows 10 系统,Python 3.7分析网页代码多往后翻几页发现规律已经有了:"https://book.douban.com/top250?start=" + “0” , “25” , "50……"用 for…in range() 循环可以得到全部网址,我们只原创 2020-07-31 16:09:06 · 1520 阅读 · 0 评论 -
【学习记录】实操:使用多协程和队列,爬取食物的热量信息
使用多协程和队列,爬取薄荷网前3种和最后一种食物类别的前3页的数据(食物名称、食物热量、食物详情链接),并用将数据存储在excel。(爬虫精进12)Windows 10 系统,Python 3.7from gevent import monkeymonkey.patch_all()import requests,gevent,openpyxlfrom gevent.queue import Queuefrom bs4 import BeautifulSoupheaders = {'User原创 2020-07-25 19:45:45 · 302 阅读 · 0 评论 -
【学习记录】使用多协程和队列,爬取时光网电视剧TOP100的数据
使用多协程和队列,爬取时光网电视剧TOP100的数据(剧名、导演、主演和简介),并用csv模块将数据存储下来。时光网TOP100链接:http://www.mtime.com/top/tv/top100/(爬虫精进11)Windows 10 系统,Python 3.7from gevent import monkey #从gevent库里导入monkey模块。monkey.patch_all() #monkey.patch_all()能把程序变成协作式运行,就是可以帮助程序实现异步。imp原创 2020-07-22 20:20:53 · 1104 阅读 · 0 评论 -
【学习记录】自动爬取每日的天气,并定时把天气数据和穿衣提示发送到你的邮箱。
Windows 10 系统,Python 3.7import requestsimport smtplib #连接服务器需要用到smtplib库,smtplib是python的一个内置库,所以不需要用pip安装import scheduleimport time#引入schedule和time,用于实现定时功能from bs4 import BeautifulSoupfrom email.mime.text import MIMETextfrom email.header import H原创 2020-07-11 15:06:34 · 2219 阅读 · 0 评论 -
【学习记录】用schedule模块定时
Python库中,用schedule模块部署定时任务代码如下:import scheduleimport time#引入schedule和timedef job(): print("I'm working...")#定义一个叫job的函数,函数的功能是打印'I'm working...'schedule.every(10).minutes.do(job) #部署每10分钟执行一次job()函数的任务schedule.every().hour.do(job)原创 2020-07-09 14:00:37 · 195 阅读 · 0 评论