Python
fswy
欲当大事,需是笃实。
展开
-
Django3.0+Python3.8+MySQL8.0 个人博客搭建|前言
一、为什么要搭建个人站点一直以来,我都有写博客的需要。一方面是好记忆不如烂笔头,把学习中知识点总结起来,方便以后查找;另一方面是在这个共享时代,想把自己遇到的各种坑写下来,方便其他读者解决问题,也算是我从其他博主那里学习后的一个反馈吧。除此之外,最近在学习Python的Django框架,结合以前学习的网页制作的知识,准备来实践一下。二、需求思考需求:制作一个可以自己随意实践所学的站点...原创 2020-04-23 13:46:09 · 1787 阅读 · 0 评论 -
Python3+Flask Mac中配置flask运行环境
配置:Python:3.8.0mac0S :10.15.3一、安装Homebrew如果没有安装我们来安装下/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"如果已经安装过的话我们更新下brew update二、查看python版本p...原创 2020-04-22 16:49:22 · 2361 阅读 · 0 评论 -
Mac for mongodb的安装以及可视化工具的使用
一、到Mongodb官网下载相应的安装包地址:https://www.mongodb.com/download-center?jmp=nav#community点击Server选择当前版本Version(4.2.5),OS(macOS x64),Packeage(TGZ)点击Download二、Mac Mongodb安装过程方法一:正常安装解压mongodb-osx-ssl-x8...原创 2020-03-25 10:49:58 · 2080 阅读 · 1 评论 -
Python实战演练之数据过滤
上章回顾从上一章Python实战演练之数据导出中最后导出的数据表中有None的存在,它们是免费课程,这不是我们所需要的内容,所以对其进行数据过滤,保证获取数据的完整。开启EducsdnPipeline在settings中开启EducsdnPipelineITEM_PIPELINES = { # 为了做数据过滤,凡是要经过 MysqlPipeline的先经过 EducsdnPipel...原创 2020-03-04 10:26:43 · 298 阅读 · 0 评论 -
Python实战演练之数据导出
上章回顾前两章Python实战演练之scrapy初体验和中讲到了scrapy项目的创建,爬虫的创建,以及数据的提取。原创 2020-03-04 10:10:00 · 450 阅读 · 1 评论 -
Python实战演练之跨页爬取
上章回顾上一章Python实战演练之scrapy初体验中讲到了scrapy项目的创建,爬虫的创建,以及数据的提取。跨页爬取如何实现不过这些都是建立在单页网页数据的爬取之中,很多时候我们需要跨很多页去爬取数据,这个时候该怎么实现呢?首先分析该网页的下一页和本页的区别https://edu.csdn.net/courses/o280/p1 (第一页)https://edu.csdn.ne...原创 2020-03-03 17:27:37 · 693 阅读 · 0 评论 -
Python实战演练之scrapy初体验
最近一直在做网络爬虫的练习,现在对整个爬取过程做个总结。配置:电脑:MacBook Pro系统:macOS Catalina 10.15.3Python版本:3.8Python IDE:PyCharm数据库:Mysql数据库管理工具:Navicat Premium正式进入正题scrapy初体验scrapy安装我前面有在macOS成功在python3环境下安装Scrapy中提到,...原创 2020-03-03 17:13:24 · 663 阅读 · 0 评论 -
Python学习中遇到的问题小结
问题一:同时安装了py2/py3,如何使用pip安装和管理第三方模块在python语言的发展过程中,安装和管理第三方模块的方法也历经变化。现在,我们终于等来了pip这个近乎完美的工具。pip除了安装(install)和删除(uninstall)这两大功能,还可以指定模块的安装版本(无需预先删除当前已安装版本),可以显示所有已安装的模块,还可以通过 upgrade 自主升级。很多同学在使用pip...原创 2020-02-16 09:35:54 · 311 阅读 · 0 评论 -
Scrapy使用shell调试
使用shell尝试爬取$ scrapy shell https://www.zhipin.com/c101280100/2020-02-07 10:42:20 [scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: scrapybot)2020-02-07 10:42:20 [scrapy.utils.log] INFO: Versions:...原创 2020-02-07 19:36:19 · 1243 阅读 · 0 评论 -
MacOS中创建Scrapy项目
创建Scrapy项目$ scrapy startproject ZhipinSpiderNew Scrapy project 'ZhipinSpider', using template directory '/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/scrapy/templat...原创 2020-02-07 09:05:59 · 410 阅读 · 0 评论 -
macOS成功在python3环境下安装Scrapy
mac的坑mac系统自带了python2,且pip指令的默认环境也是python2.在这个python3盛行的时代,不得不说这样原始的默认设置有些反人类:解决方案:任何需要用到pip的地方都用pip3,如:$ pip3 install scrapy报错:ERROR: Could not install packages due to an EnvironmentError: HTTPS...原创 2020-02-06 20:24:50 · 1862 阅读 · 0 评论 -
datetime.timedelta类型转换为int类型
import datetimeprev_day = datetime.datetime(2017, 12, 31)cur_day = datetime.datetime(2018, 1, 31)diff = cur_day - prev_dayprint(diff)31 days, 0:00:00diff是datetime.timedelta类型的数据datetime.time...原创 2020-02-06 10:08:16 · 32511 阅读 · 2 评论 -
使用urllib下载数据时的证书验证失败以及403Forbidden错误
使用urllib下载数据1、使用urllib.request向m.tianqi.com发送请求、获取该网站的响应2、再使用Python的re模块来解析服务器响应、从中提取天气数据import urllib.request, redef get_html (city, year, month): url = 'https://m.tianqi.com/lishi/%s/%s%s.h...原创 2020-02-05 17:06:52 · 831 阅读 · 0 评论 -
pip安装pygal所遇问题
安装Pygal包与安装其他Python包也基本相似,同样可使用pip来安装启动命令行窗口,在命令行窗口中输入如下命令pip install pygal报错:OSError: [Errno 13] Permission denied: '/Library/Python/2.7/site-packages/pygal-2.4.0.dist-info'解决方案:权限不足,添加sudo...原创 2020-02-04 16:51:32 · 1563 阅读 · 0 评论 -
Python3安装完全攻略 Mac篇
前言:mac系统自带python,不过以当前mac系统的最新版本为例,自带的python版本都是2.X版本,虽然不影响老版本项目的运行,但是python最新的3.X版本的一些语法与2.X版本并不相同,网上的教程大神们也肯定都更新出了最新版的教程,我们不论是学习还是使用,当然用最新版会更好一点。我的电脑是MacBook Air,系统版本是最新的macOS Catalina 10.15.1一、熟...原创 2019-11-22 17:26:12 · 18312 阅读 · 2 评论