Python
关注
分享
扫一扫
文章平均质量分 82
CoderYYN
社畜
展开
-
Pycharm运行Flask项目指定运行参数
背景某天使用Pycharm开发Flask项目时运行app.py时，没有按照预期的运行监听外网IP和打开开发模式，代码如下：from flask import Flask app = Flask(__name__)@app.route('/')def hello_world(): return 'Hello World'if __name__ == "__main__":...原创 2020-04-21 19:26:17 · 2792 阅读 · 1 评论 -
Flask打开调试模式
调试模式Flask支持本地开发，但是每次修改代码后需要手动重新启动程序，这不是很友好，事实上Flask支持调试模式来做到更好，Flask服务会在代码更改时自动重新加载，如果出现问题，还能提供调试器以供调试如何设置要启用所有开发功能（包括调试模式），可以 在运行服务器之前导出FLASK_ENV环境变量并将其设置为development：export FLASK_ENV=devel...原创 2020-04-19 22:12:47 · 1080 阅读 · 0 评论 -
Splash添加headers报错：'headers' must be either a JSON array of (name, value) pairs or a JSON object
背景最近在测试爬虫的Splash方案，虽然已经实现了Selenium版方案，但是觉得配环境比较麻烦不适合分布式的场景，然后发现Splash是服务的形式提供一个接口访问，形式上类似走一层代理，对原有代码改动少，所以就开始测试过程，加代理已经实现，但是加headers时报错。报错请求请求render.html接口请求方式：GETURL：http://127.0.0.1:8050/render...原创 2020-04-15 15:59:34 · 582 阅读 · 0 评论 -
Flask的安装与简单使用
简介Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2 。Flask使用 BSD 授权。Flask也被称为 “microframework” ，因为它使用简单的核心，用 extension 增加其他功能。Flask没有默认使用的数据库、窗体验证工具。环境准备Python3.XWindows10...原创 2020-04-14 11:19:46 · 28523 阅读 · 5 评论 -
毕设淘宝用户行为推荐（一）：数据来源介绍
淘宝用户数据数据来源：阿里云天池：阿里妈妈提供的数据集数据集介绍：文件描述特征UserBehavior.csv用户所有行为数据用户ID，商品ID、类别ID、行为类型、时间戳UserBehavior.csv我们随机选择约100万用户，这些用户在2017年11月25日至12月3日之间具有点击，购买，向购物车中添加商品和偏好商品的行为。数据集的组织形式与Mo...原创 2020-04-07 11:51:22 · 2609 阅读 · 2 评论 -
更新PyYAML失败：ERROR: Cannot uninstall 'PyYAML'
前言上周我在运行一个历史项目的时候，因为使用了pyyaml模块读取yaml配置文件，然后总是弹出以下警告：因为强迫症，所以想不显示，最后找到解决办法，加一个解析器一样的配置即可，本来公司电脑已经搞定了，可是我回家运行的时候发现，提示该配置不存在，然后我观察了一下公司与家里电脑PyYAML的版本，一个是3.x，一个是5.x。然后就开始升级的过程，结果又报一个错误：ERROR: Cannot un...原创 2019-12-16 00:11:36 · 8738 阅读 · 6 评论 -
机器学习简单入门：线性回归
import numpy as np#原始数据X=[ 1 ,2 ,3 ,4 ,5 ,6]Y=[ 2.6 ,3.4 ,4.7 ,5.5 ,6.47 ,7.8]#用一次多项式拟合，相当于线性拟合z1 = np.polyfit(X, Y, 1)p1 = np.poly1d(z1)print (z1) #[ 1. 1.49333333]print (p1) # 1...原创 2019-11-30 23:42:28 · 455 阅读 · 0 评论 -
Python如何实现图片显示
Python如何实现画图原创 2019-11-30 23:37:09 · 2346 阅读 · 0 评论 -
Python如何使用YAML
简介YAML（/ˈjæməl/，尾音类似camel骆驼）是一个可读性高，用来表达数据序列化的格式。YAML参考了其他多种语言，包括：C语言、Python、Perl，并从XML、电子邮件的数据格式（RFC 2822）中获得灵感。Clark Evans在2001年首次发表了这种语言，另外Ingy döt Net与Oren Ben-Kiki也是这语言的共同设计者。当前已经有数种编程语言或脚本语言支持（...原创 2019-11-07 16:45:40 · 1571 阅读 · 0 评论 -
Python的ORM框架：SQLAlchemy
什么是ORM对象关系映射（Object Relational Mapping，简称ORM）是通过使用描述对象和数据库之间映射的元数据(描述数据的数据)，将面向对象语言程序中的对象自动持久化到关系数据库中。本质上就是将数据从一种形式转换到另外一种形式。 这也同时暗示着额外的执行开销；然而，如果ORM作为一种中间件实现，则会有很多机会做优化，而这些在手写的持久层并不存在。 更重要的是用于控制转换的元...原创 2019-10-31 23:43:56 · 528 阅读 · 0 评论 -
PyCharm下如何使用Git
添加SSH公钥任何基于Git的在线代码托管平台都需要配置电脑的SSH公钥以GitHub为例，在个人设置里面找到对应的位置，点击添加按钮，将电脑用户目录下的.ssh文件夹里的id_rsa.pub文件里面的值复制输入进去，设置一个名字就添加成功了利用PyCharm克隆项目打开PyCharm，如果你原来有项目的话，依次点击左上角的File->Close Project，如果没有直接...原创 2019-10-24 20:31:43 · 3867 阅读 · 0 评论 -
爬虫案例三：IP限制
爬取网站：http://glidedsky.com/相关文章我的个人博客网站是：www.coderyyn.cn上面会不定期分享有关爬虫、算法、环境搭建以及有趣的帖子欢迎大家一起交流学习转载请注明...原创 2019-09-30 22:37:59 · 620 阅读 · 0 评论 -
爬虫案例二：分页
爬取题目网站：http://glidedsky.com/相关文章我的个人博客网站是：www.coderyyn.cn上面会不定期分享有关爬虫、算法、环境搭建以及有趣的帖子欢迎大家一起交流学习转载请注明...原创 2019-09-30 22:36:14 · 1054 阅读 · 0 评论 -
爬虫案例一：基础
爬取题目网站：http://glidedsky.com/相关文章我的个人博客网站是：www.coderyyn.cn上面会不定期分享有关爬虫、算法、环境搭建以及有趣的帖子欢迎大家一起交流学习转载请注明...原创 2019-09-30 22:34:36 · 1776 阅读 · 0 评论 -
爬虫需要注意的常见事项
前言注意事项构造合理的 HTTP 请求头设置合理的cookie爬虫访问速度和路径的控制避免进入蜜罐注意网页隐藏的信息使用可变IP我的个人博客网站是：www.coderyyn.cn上面会不定期分享有关爬虫、算法、环境搭建以及有趣的帖子欢迎大家一起交流学习转载请注明...原创 2019-09-30 22:31:27 · 1558 阅读 · 0 评论 -
Python如何发送邮件
前言今天我在构思软件的需求时，发现一个功能，完成某项操作时需要通知我，然后想了想发邮件与短信是比较流行的方式，可是短信还是需要钱钱的，所以我选择了邮件通知。邮件通知的应用除了通知，还有验证用户信息等等其他功能，接下来我们开始实现Python发送邮件模板import smtplibfrom email.mime.text import MIMETextfrom email.utils...原创 2019-08-01 19:41:26 · 305 阅读 · 0 评论 -
Django的安装与简单使用
Windows 下安装 Django原创 2019-07-20 15:50:30 · 842 阅读 · 0 评论 -
Windows下PyCharm的安装与使用
简介PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发。环境Python：Windows10下安装Anaconda3(64位)详细过程...原创 2019-07-29 07:11:36 · 1282 阅读 · 0 评论 -
微信爬取公众号评论
微信爬取公众号评论大家平常都喜欢看公众号的文章，但是仅仅是文章内容又不足以使我们更好的参与与作者的互动，于是我找了一篇我喜欢的公众号的最新文章进行爬取分析。结尾有彩蛋欧…环境：Windows10、Anaconda(Python的IDE)、Fiddler(抓包工具) 首先我们利用的是Python的requests模块来模拟请求，如果没有下载的同学就请打开cmd，如果你已经对Anacon...原创 2018-08-28 16:49:31 · 6345 阅读 · 16 评论 -
Jupyter Notebook修改默认的工作目录
Jupyter Notebook修改默认的工作目录原创 2018-08-31 16:12:17 · 54379 阅读 · 25 评论 -
Linux下安装Anaconda(64位)详细过程
Linux下安装Anaconda3(64位)详细过程原创 2018-08-31 16:15:44 · 262693 阅读 · 32 评论 -
微信好友性别分布与签名分析词云图
介绍我们知道，python有很多支持的第三方库，有些库广泛用于数据分析，例如numpy和pandas，而用于方方面面的第三方库里面，一个比较有趣的库是itchat。itchat是一个开源的微信个人号接口，使用python调用微信从未如此简单。 使用不到三十行的代码，你就可以完成一个能够处理所有信息的微信机器人。应用范围itchat可以用来做自动回复聊天机器人，并且还可以自动添...原创 2018-09-01 16:49:51 · 1235 阅读 · 0 评论 -
小微-你的专属聊天机器人
云服务器部署微信自动聊天机器人总结：环境要求环境搭建代码实现项目部署环境要求：云服务器(腾讯云学生服务器)Python环境itchat库图灵机器人api环境搭建： 云服务器： 云服务器的购买及基础环境搭建请参考我的另一篇博客 Linux下安装Anaconda(64位)详细过程Python环境安装： 请参考我的博客Linux下安装Anac...原创 2018-09-11 16:24:05 · 3684 阅读 · 7 评论 -
爬虫的一个重要的第三方库：Selenium
Selenium的安装与使用Selenium的安装因为Selenium有许多环境库，所以使用pip install selenium安装可能会失败，推荐使用Anaconda下的命令conda install selenium来安装，安装成功后显示如下：Windows10下Anaconda3(Python3)安装方法：https://blog.csdn.net/ychgyyn/artic...原创 2018-10-31 17:46:46 · 3807 阅读 · 1 评论 -
酷狗音乐全站爬取
酷狗音乐全站爬取原创 2019-02-28 23:45:41 · 5903 阅读 · 2 评论 -
网易云音乐评论爬取
网易云音乐评论爬取原创 2019-02-28 23:46:45 · 3544 阅读 · 4 评论 -
Python解决cannot import name '_AES'问题
环境：Windows10Anaconda3Crypto模块背景：我这段时间在整理网易云音乐评论爬取这个项目，然后运行时发现出现报错提示：cannot import name '_AES'，我有点懵，因为这是很久以前写的了，我也忘了当初是如何解决的了，然后又开始疯狂的查资料。虽然我很想吐槽国内某些人的唯利是图与抄袭，可是至少还是让我有些收获，大概弄懂了Crypto的发展史(手动滑稽，没...原创 2019-03-17 16:38:39 · 4950 阅读 · 4 评论 -
解决使用Python连接Mysql数据库时出现错误：Access denied for user 'xxx'@'xxx' (using password: NO)
Access denied for user ‘rose’@‘localhost’ (using password: NO)原创 2019-03-31 22:04:24 · 5495 阅读 · 0 评论 -
如何使用Python来连接MySQL数据库
前言原创 2019-04-30 23:14:55 · 7325 阅读 · 1 评论 -
从国家统计局获取最新国家省市区的行政区域数据
import requestsfrom bs4 import BeautifulSoupimport pymysqlimport timeclass Administrative(object): def __init__(self): self.db = pymysql.connect("127.0.0.1","root","a","travel",charse...原创 2019-05-24 13:50:10 · 21243 阅读 · 8 评论 -
酷狗音乐网站前端JS的逆向过程
事件背景前不久我写了一个按歌手爬取酷狗音乐所有歌曲的爬虫，然后在昨天2019年5月10日使用的时候出现了错误，排查问题后发现是获取歌曲相关信息的那个接口做了修改，导致我原有的爬虫失效。在测试后发现，在原有的基础上需要携带Cookie里面的kg_mid参数才能正常获取，然后我去浏览器里面查看页面刷新出来的请求，发现kg_mid参数是浏览器生成的而不是服务器返回的，所以就开始了逆向破解前端JS的过程...原创 2020-05-31 20:54:37 · 5270 阅读 · 4 评论 -
Python如何执行JS代码
Python如何调用JS代码原创 2019-05-11 18:12:47 · 47650 阅读 · 2 评论 -
Python连接Redis数据库插入数据出现错误：DataError: Invalid input of type: 'NoneType'
错误提示DataError: Invalid input of type: 'NoneType'. Convert to a byte, string or number first.运行截图原因Python的第三方库redis升级到3.0后仅接受用户数据为字节、字符串或数字（整数，长整数和浮点数）。尝试将键或值指定为任何其他类型将引发DataError异常。解决办法方法一：...原创 2019-07-01 17:44:55 · 11959 阅读 · 0 评论 -
如何使用Python来连接Redis数据库
cc原创 2019-06-30 23:59:15 · 3591 阅读 · 0 评论 -
Windows10下安装Anaconda3(64位)详细过程
Windows10下安装Anaconda3(64位)详细过程Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。里面所包含的Jupyter Notebook是数据挖掘领域中最热门的工具。(例如Kaggle网站) 废话不多说，现在我们开始来安装Anaconda3。环境： Windows10 下载：进入Anaconda的...原创 2018-08-28 11:19:47 · 157884 阅读 · 23 评论