Python
文章平均质量分 51
苏葛
这个作者很懒,什么都没留下…
展开
-
python操作mysql 多参数insert,获取自增id
# coding:utf-8import configparserimport pymysqlconfig = configparser.ConfigParser()config.read('mysql.conf')lists_header = config.sections() # 配置组名, ['luzhuo.me', 'mysql'] # 不含'DEFAULT'host=...原创 2020-04-08 11:10:04 · 2047 阅读 · 0 评论 -
在linux环境下用python2操作mysql
有时候需要在服务器上通过python脚本操作数据库,这时就有一个问题,linux上默认安装的python2.7,但是没有操作mysql脚本需要的相关模块。解决:1、下载pipwget https://bootstrap.pypa.io/get-pip.py可以看到安装文件被下载到了/root/script的目录下2、安装pip3、利用pip安装操作数据库的pymys...原创 2020-03-03 18:03:37 · 698 阅读 · 0 评论 -
python 错误处理 try...except..else及raise用法
try:执行可能会出错的试探性语句except:如果try里面的语句无法正确执行,就执行except里面的语句,这里面可以是错误信息或者其他的可执行语句else:如果try里面的语句可以正常执行,就执行else里面的语句# -*- coding: utf-8 -*-def err( level ): if level < 1: raise Ex...原创 2019-05-19 16:00:46 · 915 阅读 · 0 评论 -
python3 读取txt内容,并批量update mysql
接上一篇博客,将pdf的内容 抽取成了txt文件,现在需要将txt的内容读取, 然后将内容插入到数据库,update一个字段的值。要修改的记录数大概有20万,这里采用批量update的方式,提高update效率,每1000条记录commit一次# -*- coding: utf-8 -*-#读取目录下的txt内容并mysql 批量修改import configparserimport ...原创 2019-05-19 21:10:03 · 1549 阅读 · 1 评论 -
python 闭包
原文地址:https://blog.csdn.net/sc_lilei/article/details/80464645#commentBox首先给出闭包函数的必要条件:闭包函数必须返回一个函数对象闭包函数返回的那个函数必须引用外部变量(一般不能是全局变量),而返回的那个函数内部不一定要return几个典型的闭包例子:# ENV>>> Python 3.6 ...转载 2019-05-15 21:51:43 · 146 阅读 · 0 评论 -
python *args和**kwargs
之前对*args和**kwargs有了解,但不是特别清楚,所以记录一下:# -*- coding: utf-8 -*-#*args和**kwargsdef function(*args): print(args, type(args))function(1,3,4,3,4,5,6,7,8,4)def function2(x, y, *args): print(...转载 2019-05-16 17:16:53 · 115 阅读 · 0 评论 -
python 获取当前日期的前n天或后n天
根据当前的日期获得前n天的日期或后n天的日期# -*- coding: utf-8 -*-import datetimefrom datetime import timedeltaimport time#获取当前日期today=time.strftime('%Y-%m-%d',time.localtime(time.time()))str=today.replace("-"...原创 2019-05-16 17:32:19 · 3153 阅读 · 0 评论 -
python3 多进程 处理PDF为txt文件
需求是将pdf的文本抽取出来,然后将文本存入到数据库中。之前尝试直接读取在线的pdf文件,发现用第三方读取在线的文件时有些问题,所以考虑先将pdf下载到本地。然后多进程抽取本地的pdf文件为txt文件。再去读取txt里的文件内容存入数据库代码如下:# -*- coding: utf-8 -*-#将pdf下载到本地再读取pdf文件内容到txt#多进程处理版本import reim...原创 2019-05-17 15:40:18 · 530 阅读 · 0 评论 -
python3 抽取PDF文本
# -*- coding: utf-8 -*-import datetimeimport reimport sysimport timefrom datetime import timedeltafrom io import StringIOfrom pdfminer.converter import TextConverterfrom pdfminer.layout import...原创 2019-08-06 17:30:17 · 340 阅读 · 0 评论 -
python3 读取配置文件
有时候脚本里面会包含一些配置信息。如何读取配置文件的信息:结构:properties.conf[mysql]ip=192.168.1.102user=rootpassword=123db=test[redis]ip=192.168.1.103first.py读取配置信息:# coding:utf-8import configparsercon...原创 2019-05-08 22:59:40 · 6073 阅读 · 0 评论 -
利用asyncio并发下载pdf并同步到七牛云网盘
#pdf下载并上传到七牛云# -*- coding: utf-8 -*-import aiohttpimport asyncioimport redisimport reimport timeimport osimport pymysqlfrom qiniu import Authfrom qiniu import put_fileimport logginglo...原创 2019-04-19 22:48:20 · 472 阅读 · 0 评论 -
linux 安装plantomjs相关环境
一、文件准备plantomjs下载:windows版本:链接:https://pan.baidu.com/s/19EHiObm8ue3Mwpjfnz3YKg 提取码:ck8l linux 64位版本:链接:https://pan.baidu.com/s/1p-SFBgkLnydKx41OihYmmA 提取码:fvr9 pip linux版:链接:https:...原创 2019-01-25 16:30:16 · 567 阅读 · 0 评论 -
Python学习-列表和元组
列表和元组,感觉就是Java中的List和数组列表和元组的主要区别就在于:列表可以修改,元组不能。通用序列操作:所有序列都可以进行某些特定的操作:索引、分片、加、乘以及检查某个元素是否是序列的成员。1、索引序列中的所有元素都是由编号的——从0开始递增,可以通过索引访问使用负数,python会从序列的最后一个元素开始计数,最后一个元素的索引是-1原创 2017-10-26 09:41:09 · 388 阅读 · 0 评论 -
Python学习-基础知识
我的环境是Linux环境,在命令行输入Python,即可进入Python的编译环境:、ctrl+d,退出编译环境1、数字和表达式Python提供了用于实现整除的操作符,双斜线“//”,即使是浮点数,双斜线也会执行整除幂运算: **幂运算还可以使用原创 2017-10-20 16:32:23 · 224 阅读 · 0 评论 -
scrapy 网页数据爬取demo
1、创建项目:scrapy startproject cnblogsSpider2、使用pycharm打开创建的项目cnblogsSpider在spiders目录下新建文件:cnblogs.py,编辑3、启动爬虫:scrapy crawl cnblogs效果:完整项目下载地址:链接:https://pan.baidu.com/s/13x6A0k0uhw4XbksrqYj5cQ 密码:gtgj...原创 2018-03-25 14:22:11 · 321 阅读 · 0 评论 -
window Phantomjs、seleniu安装及基本使用
Phantomjs1、安装参考如下博客https://blog.csdn.net/qq_26718271/article/details/550461982、使用实例1:创建文件夹myJs,创建文件:loadPage.jsloadPage.js:var page=require('webpage').create();page.open('http://www.cnblo...原创 2018-03-25 18:42:06 · 1148 阅读 · 0 评论 -
django windows安装
安装django的之前先要在系统安装python,这个我就跳过了1、下载djangohttps://github.com/django/django/releases2、将下载的文件解压缩,解压后的文件放到和python文件夹一样的根目录C:\Users\Administrator\AppData\Local\Programs\Python python的默认安装目录3、运行执行脚本cmd 切...原创 2018-04-02 10:13:49 · 948 阅读 · 0 评论 -
centos 安装 Anaconda
1、下载Anacondahttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 2、运行安装文件bash Anaconda3-2.1.0-Linux-x86.sh然后跟提示,输入3、将路径配置到环境变量中,路径会在安装的过程中显示 4、修改镜像的下载路径,这样下载的速度会很快https://blog.csdn...原创 2018-08-26 16:48:58 · 286 阅读 · 0 评论 -
linux下,用crontab定时执行scrapy任务
1、爬虫项目在如下目录下:/spiderProject/getData2、脚本downData.sh3、定时任务一分钟执行一次原创 2018-08-26 17:23:44 · 623 阅读 · 0 评论 -
windows 安装scrapy
在windows安装scrapy的时候出了各种问题,找了个最简单的办法1、下载安装Anaconda3-4.3.1-Windows 64位链接:https://pan.baidu.com/s/15o2X2aagfZzENM25ELTeLA 密码:1t9c 2、下载之后,无脑安装,环境变量也 不用配置,会自动配置环境变量,安装成功:3、还有一些命令需要切换到具体项目目录 下...原创 2018-08-25 12:05:07 · 184 阅读 · 0 评论 -
Anaconda3常用命令
利用Anaconda3,可以在windows上很方便的搭建scrapy的框架。1、查找scrapyconda search scrapy可以看到scrapy的很多个版本2、下载具体的版本号的 scrapyconda install scrapy=1.5.03、删除scrapyscrapy remove scrapy 4、对python版本 进行切换详...转载 2018-08-25 21:56:19 · 902 阅读 · 0 评论 -
windows 安装Python2.7
Win7 Python2.7 安装教程Win7 Python2.7 安装过程如下: 1. 到 官方网站 下载安装文件包Python-2.7.10.amd64.msi(根据自己的电脑配置选择相应的安装包),点击安装即可(默认安装在C:\Python27)。 添加环境变量:点击我的电脑—属性—高级系统设置—环境变量—系统变量Path——编辑,添加 C:\Python27 及 C转载 2017-07-09 14:14:45 · 587 阅读 · 0 评论