![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python学习
正心全栈编程
Keep Reading , Keep Writing , Keep Coding.
展开
-
python-MySQLdb学习
特别提示:在浏览本教程时,不要强行记忆。记住一点:在使用中学习。 很久之前就像学习数据库了,但是一直仅仅在于想学而没有动手去学。今天再一次看到这个东西了,然后就复制粘贴了一些东西,作为学习过得见证。同时还可以作为复习资料,当自己再次遇到时首先是去看自己的笔记而不是去百度海量的资源(google暂时用不了,用公司的内网。)。先上原地址:http://docs.pythontab.com转载 2018-01-22 22:54:34 · 400 阅读 · 0 评论 -
python操作数据库
python操作数据库都是通过数据库驱动取操作的。现在主要有两张,一种是通过pymysql,还有一种是通过sqlalchemy。在这里可能还会有人说还有MySQLdb模块也可以操作。确实是的,但是MySQLdb对python3已经不支持了,所以这里我就不讨论了。 第一种pymysql: pymysql帮助文档 这里我就直接抄袭帮助文档了,毕竟官放的示例非常棒import pymysql....原创 2018-08-11 11:51:47 · 215 阅读 · 0 评论 -
优美地将字符串时间变为date格式
from datetime import date# 列表推导式方法date(*tuple([int(i) for i in "2018-8-11".split("-")]))Out[29]: datetime.date(2018, 8, 11)# 内置函数map方法date(*tuple(map(int,"2018-8-11".split("-"))原创 2018-08-11 15:14:06 · 227 阅读 · 0 评论 -
sqlalchemy中文插入报错
今天在使用sqlalchemy时插入数据报错,将字符编码设置来设置取都没用,到最后发现sqlalchemy在创建数据库时没有设置编码。网上大多数教程都是教让在create_engine("mysql+pymysql://root:xxponly@localhost/test", encoding='utf-8', echo=True)时修改字符编码,然而并没有什么卵用。当我我打开sqlalch...原创 2018-08-13 18:08:58 · 1693 阅读 · 0 评论 -
自己写python的线程池
参考原文:https://www.cnblogs.com/Eva-J/p/5106564.html一个调用三方接口的获取数据,总共三千五百多个请求。原本我是用50个进程获取信息,都需要十多分钟。如果放到低配服务器就会直接崩溃。在得知这类请求是io密集型,鸡肋的线程用于这种情况下也还是有一些帮助的。因为没看到官方的线程池,所以就尝试自己写。当看到前面那篇文字之后,本着不重复造轮子的原则,就直接在...转载 2018-08-22 19:19:47 · 454 阅读 · 0 评论 -
pipenv的安装使用
看到这个东西之后,我不得不感叹技术的进步。这个东东是 pip 与 virtualenv 的结合体。对 requirements.txt 进行了很大的优化。比 pip 好用很多。 参考: https://pengshp.github.io/post/pipenv-guide/ https://cuiqingcai.com/5846.html安装: pip3 install pip...原创 2018-08-17 17:14:16 · 2574 阅读 · 0 评论 -
pip无视 HTTP Error 403: SSL is required 安装模块
pip 有时候安装模块出现urllib.error.HTTPError: HTTP Error 403: SSL is required真的很烦,而且按照网上的帖子各种尝试还是没有什么用,各种换源安装模块也还是没有用。然后我就找到了另一种方法安装。 原贴:https://stackoverflow.com/questions/46967488/getting-error-403-while-in...翻译 2018-08-17 18:04:53 · 15120 阅读 · 1 评论 -
ubuntu16.04安装uwsgi
原本装过了,试了各种方法并且出现了各种错误,也看了不少帖子,结果还是没有。最后我使用anaconda安装,结果因为使用的是清华镜像源的镜像,因为不是稳定版本,结果还是各种冲突。最后使用了miniconda3的最后一个版本,然后再使用anaconda安装就没有问题了。可能是之前的版本有些冲突没有解决。# 从官方获取最新稳定版本wget https://repo.continuum.io/min...原创 2018-08-28 13:57:08 · 1635 阅读 · 0 评论 -
werkzeug.routing.BuildError: Could not build url for endpoint 'xxxx'.
werkzeug.routing.BuildError: Could not build url for endpoint 'login'. Did you mean 'web.login' instead?127.0.0.1 - - [24/Aug/2018 14:20:51] "GET / HTTP/1.1" 500 -用蓝图做模块划分,结果引发这个错误。原因是我用蓝图执行模块划分,然...原创 2018-08-24 14:34:35 · 10190 阅读 · 1 评论 -
一种另类的读取 json 数据方式
ValueError: Expecting property name enclosed in double quotes: line 1 column 2(char 1)在做 scrapy 爬虫时,获取的数据存入 json 时有些数据格式不对,导致各种问题。不仅是字符编码,还有格式。搜了半天的解决办法都不行。所以就自己利用基本知识,编写了一个比较全能的读取方式,只要是文本文件就可以读取。 ...原创 2018-09-16 15:16:54 · 177 阅读 · 0 评论 -
用三元表达式简化代码量
简化 if else 语句用普通方法实现逻辑def get(self, url, return_json=True): r = requests.get(url) if r.status_code == 200: if return_json: return r.json() else: ret...转载 2018-09-16 21:50:10 · 592 阅读 · 0 评论 -
flask: The CSRF token is missing.
今天在做表单验证时,结果出现了上面这个问题。以前我弄都没有问题,为什么今天会出现这个问题?难道要关机重启???于是我便开始断点调试,结果发现在 if form.validate() 判断时出现了问题,然后便跳进去查看,结果发现在验证时多出了一个参数{ "csrf_token": [ "The CSRF token is missing." ]}然后...原创 2018-09-17 15:17:06 · 12116 阅读 · 1 评论 -
python爬虫自动解决字符编码问题
In [34]: import requests ...: ...: response = requests.get('http://www.dytt8.net/index.htm') ...: print(response.text[200:300]) ...:-Type content="text/html; charset=gb2312"><t...原创 2018-09-22 15:31:08 · 1147 阅读 · 0 评论 -
filter函数用法
filter(function, iterable)function 为 true 时从 iterable 的那些元素构造一个迭代器。 iterable可以是序列,支持迭代的容器,也可以是迭代器。 如果function为None,即删除所iterable的元素。In [1]: list(filter(lambda x: True if x else False, [1, None, 2]))...原创 2018-10-05 18:59:54 · 6584 阅读 · 0 评论 -
mysql重复数据更新,不重复则插入
insert into racing_ball(rounds, time, home_team, home_team_goal, home_team_goal_lost, home_ranking, score,guest_team, guest_team_goal, guest_team_goal_lost, guest_ranking, court_all,court...原创 2018-08-14 13:36:30 · 2877 阅读 · 0 评论 -
linux下mysql可视化工具安装
之前是一直用shell交互界面,但是最近频繁地检查数据库中的数据感觉特别麻烦,便装了一个可视化工具。安装:$ sudo apt-get install mysql-workbench[sudo] ubuntu 的密码: 正在读取软件包列表... 完成正在分析软件包的依赖关系树 正在读取状态信息... 完成 启动$ mysql-workbenchR...转载 2018-08-10 15:47:11 · 11708 阅读 · 0 评论 -
python多版本共存
在原版的ubuntu系统里面,系统默认的python指令指向python2.7。使用python3.x以上都需要指定版本,这样有时候用起来很不方便。想把python默认指向3.5版本的话,我们可以修改bin目录下的软链接。首先检查一下环境变量:xxp@xxp-V3-572G-5247:/home/pycode$ echo $PATH/home/xxp/bin:/home/xxp/原创 2018-01-24 23:09:52 · 643 阅读 · 0 评论 -
unittest测试类
本文内容原自python从入门到实践一书。原方法:def get_formatted_name(first, last, middle=''): """生成整洁的姓名""" if middle: full_name = first + ' ' + middle + ' ' + last else: full_name = first + ' ' + last return原创 2018-01-26 23:20:05 · 208 阅读 · 0 评论 -
观用python玩跳一跳源码后感
项目地址:https://github.com/wangshub/wechat_jump_game在没有看到跳一跳源码时,总感觉用python去玩跳一跳会很难。前天下午有两个时间的空闲时间,便去GitHub上找到了python玩跳一跳的源码,便开始琢磨玩跳一跳。首先我是先在网上找到了跳一跳在GitHub的链接,然后用GitHubdesktop下载下来了(当然你也可以直接下下来)。用GitH原创 2018-01-19 22:52:25 · 424 阅读 · 0 评论 -
python学习闲言碎语(下)
近来经历的事情比较多,也比较烦。可以说是有点痛苦,但是也是痛并着快乐。首先是关于python学习的,python学习入门阶段已经过了,正在刷今年前半年计划中的《流畅的python》一书。虽说进度比较慢,但还是断断续续地在继续完成。同时使用公司的网络很蛋疼,连外网与国外网站一律屏蔽,GitHub都上不了(哭晕在厕所了)。不过国内的一个东西搜索还蛮快的,可以将就着用着。第二是工作上的,因为来工原创 2018-01-29 00:24:56 · 142 阅读 · 0 评论 -
自动填表脚本
import re,openpyxl,time,os''' 获取imei号、初始vol、续航总时间 利用正则表达式与list知识获取这些数据 获取excel模板 获取一个系统定义好的模板 将对应的数据填入 保存文件 修改文件名字时间'''class auto_fill(object): def _...原创 2018-02-07 22:31:04 · 8499 阅读 · 3 评论 -
python装opencv
python有时候安装各种第三方库比较麻烦,比如opencv就是其一。但是anacanda却非常容易装第三方库,以装opencv为例。只需要一句话就可以搞定。@xxp-V3-572G-5247:~/download$ conda install --channel https://conda.anaconda.org/menpo opencv3Fetching package metadata ...原创 2018-02-17 14:49:38 · 414 阅读 · 0 评论 -
将数据存入文件pickle,shelve
原文地址:http://docs.pythontab.com/learnpython/# pickle# import pickle/import cpickle as pickle# 1>>> import pickle>>> integers = [1, 2, 3, 4, 5]>>> f = open("22901.dat", ...转载 2018-02-19 22:00:15 · 662 阅读 · 0 评论 -
python函数式编程——闭包
# 非闭包def curve_pre(): def curve(): print('This is a function') return curvef = curve_pre()f()# 闭包 = 函数 + 环境变量# 现场def curve_pre(): a = 25 def curve(x): return a*x*...原创 2018-05-01 20:02:48 · 182 阅读 · 0 评论 -
爬取笔趣阁小说
很早之前就看了别人写的笔趣阁的爬虫,那时候自己也不会什么,所以就暂时没有自己尝试去写。最近又学了点东西,所以尝试写一个静态爬虫。所以就爬了笔趣阁。利用request+pquery,感觉还蛮简单的,不过是因为第一次自己动手,所以写的比较慢。设计思路是先获取所有的一本书章节的url链接,然后再一章章爬取下来写入到文件。import requestsfrom pyquery import Py...原创 2018-06-03 19:22:31 · 1483 阅读 · 0 评论 -
使用requests + bs4抓取B站web端Python视频数据
使用requests + bs4抓取B站web端Python视频数据目标:掌握bs4抓取数据的套路抓取关键词:视频图片播放量上传时间作者:import requestsfrom bs4 import BeautifulSoupdef get_html(): url = "https://www.bilibili.com/" headers ...原创 2018-07-17 21:13:21 · 2251 阅读 · 0 评论 -
pandas.to_json官方文档阅读
例子import pandas as pddf = pd.DataFrame([['a', 'b'], ['c', 'd']], index=['row 1', 'row 2'], columns=['col 1', 'col 2'])df col 1 ...原创 2018-07-18 17:20:40 · 9309 阅读 · 0 评论 -
numpy.c_,numpy.r_与numpy.ravel,numpy.flatten
numpy的ravel() 和 flatten()函数两者功能In [14]: x=np.array([[1,2],[3,4]])# flattenh函数和ravel函数在降维时默认是行序优先In [15]: x.flatten()Out[15]: array([1, 2, 3, 4])In [17]: x.ravel()Out[17]: array([1, 2, 3, 4]...转载 2018-07-19 23:35:07 · 145 阅读 · 0 评论 -
对象引用与copy,deepcopy之间的区别
import numpy as np赋值(对象引用)a = np.array([1, 2, 3, 4])aarray([1, 2, 3, 4])b = abarray([1, 2, 3, 4])a[2] = 0aarray([1, 2, 0, 4])barray([1, 2, 0, 4])b[1] = 0aarra...原创 2018-07-15 22:38:15 · 471 阅读 · 0 评论 -
xpath常见用法
本文在jupyter notebook下可以直接运行,选取的站点为猫眼电影top排行版。 本文是在异步社区出版图书《精通python爬虫框架scrapy》的第二章的帮助下完成的# -*- encoding:utf-8 -*-import requestsfrom lxml import etreeheaders = { "User-Agent": "Mozilla/5.0 (X...原创 2018-07-28 11:38:19 · 1617 阅读 · 0 评论 -
某小公司的笔试题
1、什么是类变量与实例变量类变量为所有实例共享,实例变量为为实例独有。2、__init__ 与 __new__的含义__new__作用于_init_之前。前者可以决定是否调用后者,或者说可以决定调用哪个类的_init_方法。__new__ 方法负责创建一个实例对象,__init__ 方法负责将该实例对象进行初始化3、调度算法有哪些,分别有哪些优势在操作系统中调度是指一种资源分配,因而调...转载 2018-09-27 20:53:23 · 389 阅读 · 0 评论