- 博客(18)
- 收藏
- 关注
原创 mac下结合Anaconda配置python虚拟环境
conda activate env_name # 切换到名字为env_name的环境下。conda remove -n env_name --all # 删除环境。conda install package_name # 安装指定包。conda upgrade package_name # 更新指定包。conda remove package_name # 卸载指定包。conda upgrade --all # 更新所有包。conda list # 查看本环境下所有安装的包。
2024-01-18 16:58:57
557
原创 Centos7安装Python3的方法
由于centos7原本就安装了Python2,而且这个Python2不能被删除,因为有很多系统命令,比如yum都要用到。[root@VM_105_217_centos Python-3.6.2]# pythonPython 2.7.5 (default, Aug 4 2019, 00:39:18)[GCC 4.8.5 20150623 (Red Hat 4.8.5-16)] on linux2Type "help", "copyright", "credits" or "licen...
2020-06-19 15:19:18
238
原创 Python通过cx_Oracle插入clob类型数据
最近通过Python插入Oracle数据时,遇到一个小问题,现记录下。 需求描述:将长度大于4000的字符插入clob类型的字段中;解决过程:将string对象转化为clob对象,代码如下:# -*- coding: utf-8 -*-import cx_Oracle# 创建数据库连接db = cx_Oracle.connect('test', '12345', '127.0.0...
2018-10-30 18:45:19
1625
原创 Python字典中增删改查的操作
增:字典中的增加键值对与列表相差无几,例:dic = {'name1':'tom'} 实现增加的操作:dic['name2'] = 'Jack' 注意不要忘记加''(上引号)删:三种方法,dic.pop('key'),可以直接删除字典中key与其对应的valuedic.clear(),删除整个字典中的所有键值对dic.poptiem(),随机删除字典中的键值对,在字典容量较...
2018-10-18 10:56:08
666
原创 python异步编程之asyncio(百万并发)
前言:python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板,如最新的微服务框架japronto,resquests per second可达百万级。 python还有一个优势是库(第三方库)极为丰富,运用十分方便。asyncio是python3.4版本引...
2018-08-28 17:46:51
1271
原创 Python库大全
环境管理管理 Python 版本和环境的工具p – 非常简单的交互式 python 版本管理工具。pyenv – 简单的 Python 版本管理工具。Vex – 可以在虚拟环境中执行命令。virtualenv – 创建独立 Python 环境的工具。virtualenvwrapper- virtualenv 的一组扩展。包管理管理包和依赖的工具。pip – Python 包和依赖关系管理工具。pi...
2018-06-25 15:46:40
359
原创 我的Java第一个程序
一个Java程序可以认为是一系列对象的集合,而这些对象通过调用彼此的方法来协同工作。下面简要介绍下类、对象、方法和实例变量的概念。对象:对象是类的一个实例,有状态和行为。例如,一条狗是一个对象,它的状态有:颜色、名字、品种;行为有:摇尾巴、叫、吃等。类:类是一个模板,它描述一类对象的行为和状态。方法:方法就是行为,一个类可以有很多方法。逻辑运算、数据修改以及所有动作都是在方法中完成的。实例变量:每...
2018-05-11 17:02:48
223
原创 Scrapy 探索之路
1 scrapy 是啥?2 怎么学习2.1 看手册2.2 安装2.3 入门2.4 一些工具3 碰到的一些问题3.1 request和response的拼接关系,3.2 如何post数据3.3 request被scrapy过滤3.4 scrapy的item是什么?3.5 中文的显示问题3.6 复杂的start_ruls3.7 小爬虫不想建项目3.8 其他4 后记1 scrapy 是啥?scray是p...
2018-04-27 11:19:13
254
原创 Scrapy 中判断重复内容的方法(RFPDupeFilter)
爬虫抓取数据时,重复肯定是存在的,scrapy 是如何来筛选这些重复的 url 的呢?这个处理的代码是编写在 dupefilter.py 文件中的,其中定义了处理重复 url 的方法。在 scrapy 启动时,如果配置了重复 url 写入文件(requests.seen),那么就会以追加的方式打开这个文件,并且从这个文件中载入以前的数据到内存 set() 中保存,当遇到一个新来的 url 时,通过...
2018-04-26 13:51:29
3826
1
原创 Python常用模块
Python之路-python(常用模块学习)模块介绍time &datetime模块randomossysshutilshelvexml处理yaml处理configparserhashlibre正则表达式logging模块1、模块: 定义:其实模块简单说就是一堆代码实现某个功能,它们是已经写好的.py文件。只需要用import应用即可。 分类: ...
2018-03-01 18:45:02
343
原创 数据库的日期类型字段该如何选择?
当设计一个产品,其中很多地方要把日期类型保存到数据库中,如果产品有兼容不同数据库产品的需求,那么,应当怎样设计呢? (1)当然,首先想到的是,使用数据库的Date或DateTime类型,可是看看不同数据库这些类型间的区别吧,真让人望而止步。mysql数据库:它们分别是 date、datetime、time、timestamp和year。date :“yyyy-mm-dd”格式表示的日期值 time...
2018-02-28 11:31:18
11275
原创 Python爬虫之多线程,多进程
前言我们之前写的爬虫都是单个线程的?这怎么够?一旦一个地方卡到不动了,那不就永远等待下去了?为此我们可以使用多线程或者多进程来处理。首先声明一点!多线程和多进程是不一样的!一个是 thread 库,一个是 multiprocessing 库。而多线程 thread 在 Python 里面被称作鸡肋的存在!而没错!本节介绍的是就是这个库 thread。不建议你用这个,不过还是介绍下了,如果想看可以看...
2018-02-09 14:39:22
478
原创 Python常用大全
此文参考python文档,然后结合自己的理解,写下来,一方面方便自己,让自己好好学习,顺便回忆回忆;另一方面,让喜欢的盆友也参考一下。 经查询,3.6版本总共有68个内置函数,主要分类如下: 数学运算(7个) 类型转换(24个) 序列操作(8个) 对象操作(9个) 反射操作(
2018-02-07 15:15:01
656
原创 Scrapy Settings级别 & 如何获取settings & 一些可能用到的setting
http://doc.scrapy.org/en/1.0/topics/settings.html一、有5种类型的Settings,优先级由高到低1. 命令行选项使用-s复写设置,如scrapy crawl myspider -s LOG_FILE=scrapy.log2. 每个spider的settingscrapy.spiders.Spider.custom_set
2018-02-05 18:18:49
2610
转载 mysql存储过程
存储过程简介SQL语句需要先编译然后执行,而存储过程(Stored Procedure)是一组为了完成特定功能的SQL语句集,经编译后存储在数据库中,用户通过指定存储过程的名字并给定参数(如果该存储过程带有参数)来调用执行它。存储过程是可编程的函数,在数据库中创建并保存,可以由SQL语句和控制结构组成。当想要在不同的应用程序或平台上执行相同的函数,或者封装特定功能时,存储过程是非常
2018-01-26 18:58:50
255
转载 Windows下运行python脚本报错“ImportError: No Module named ...”的解决方法
之前遇到一个问题,在Pycharm或IPython之类的IDE上运行脚本正常,但是直接运行或cmd命令行运行的时候报了模块未能找到的误——ImportError: No Module named ...。 这是啥情况?Python在启动解释器(Interpreter)的时候不光会导入环境变量中sys.path发现的模块,还会导入当前工作目录下的模块。当你在IDE中启动解释器时,
2018-01-26 18:55:51
11464
原创 mysql唯一约束
表结构[sql] view plain copyFIELD TYPE COLLATION NULL KEY DEFAULT Extra PRIVILEGES COMMENT ------------- ------------ -------------- ------ ------
2018-01-19 17:26:41
830
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人