Python
文章平均质量分 51
小白白白又白cdllp
数据挖掘,数据分析,数据市场
展开
-
python调用clickhouse并把结果存储为csv
【代码】python调用clickhouse并把结果存储为csv。原创 2024-03-12 15:31:48 · 87 阅读 · 0 评论 -
python调用clickhouse
使用clickhouse-driver包,先通过pip install clickhouse-driver安装包,再通过以下代码执行sql。原创 2024-03-12 11:30:47 · 276 阅读 · 0 评论 -
通过Pycharm中的版本控制工具VCS使用Git
日常开发中,如何使用git做好版本管理是个很重要的课题,除了在Git Bash中使用命令行来管理代码外,我们还有更简洁的,不通过命令行来管理代码,追踪变动的工具,就是直接在IDE中使用VCS,对于Python开发同学来说,这个IDE通常就是Pycharm。clone项目在弹出的对话框中输入项目地址,并选择本地存储位置即可完成clone。如果是要新建一个项目,有两种方法:一. 可以直接在VCS中选择VCS - > Import into Version Control -> Cr原创 2021-04-08 11:33:38 · 6639 阅读 · 1 评论 -
设置jupyter可启动python2或python3作为kernel
(作者:小白白白又白cdllp,data-master.net)很多时候,虽然我们习惯用某个版本的python,但可能需要使用的python版本会发生改变,比如我们在合作方的机器环境下使用python时,或者拿到一份其他版本的python代码但又没时间改代码时。那么最方便的方法还是,我们让python2和python3并存,我们可以选择使用哪个版本。1. 安装python2和python3环境实现这个目标的前提,就是我们本机需要同时有python2和python3的环境,所以我们需要同时安装pyth原创 2020-06-20 20:27:48 · 2547 阅读 · 0 评论 -
pip离线通过whl文件安装包
(作者:陈玓玏data-master)在离线环境下,我们没有办法直接通过pip install来安装包,此时我们需要通过离线文件来安装python包。大部分的python包都可以在这个网址找到:https://pypi.org/如果没有,一般在github上也能找到开源项目代码。输入你想要的包,找到对应版本的选择download files找到你的python对应版本的whl文件,注意,不只是py2和py3哦,py27或py37等也要是对应的。下载好whl后,通过pip安装。pip原创 2020-05-31 19:30:24 · 17944 阅读 · 0 评论 -
python 生成器和迭代器有这篇就够了
转载:原文地址:https://www.cnblogs.com/wj-1314/p/8490822.html 本节主要记录一下列表生成式,生成器和迭代器的知识点 列表生成器 首先举个例子现在有个需求,看列表 [0,1,2,3,4,5,6,7,8,9],要求你把列表里面的每个值加1,你怎么实现呢?方法一(简单):+ View Code?123456789info = [...转载 2019-12-15 21:28:31 · 132 阅读 · 0 评论 -
Pandas的匿名函数(lambda)中if elif elif的实现方法
(作者:陈玓玏)Pandas的匿名函数lambda,能够避免写简短函数也需要定义的麻烦,配合apply的使用还能实现map功能,轻松对每一行使用同样的操作。lambda中比较熟悉A if 条件 else B的用法,即满足条件则输出A,不满足则输出B,但if elif elif的用法或陌生些。有两种方法可以实现。一. 直接定义函数,用if elif elifdef f(x): if...原创 2019-12-07 17:36:15 · 15882 阅读 · 0 评论 -
读取字符串为列表或集合
(作者:陈玓玏)场景碰到s = "[1,2,3,4,5]"这种形式的字符串,直接通过s[0],s[1]这样的字符串来获取元素1和2,是不可行的,使用list(s)也会存在问题,只能获取到[,1这两个元素。解决方案使用eval函数。s = eval(s)这样能够把字符串根据其形式转换为列表,进而通过列表的切片读取其元素内容。eval函数还是很好用哒,在一些表达式中也比较好用。...原创 2019-12-01 21:45:47 · 785 阅读 · 0 评论 -
Anaconda中安装不同版本的python并安装对应包
(作者:陈玓玏)在实际使用Python的过程中,我们常常需要安装不同版本的Python环境,并且安装相应的各个package。这里我们解决三个问题:anaconda中如何安装多个版本的Python;anaconda中如何安装不同版本的Python对应的各个package;如何改变镜像源加速下载。一. anaconda中如何安装多个版本的Python1)在开始菜单中找到anacon...原创 2020-05-31 19:36:25 · 10270 阅读 · 0 评论 -
JSON错误JSONDecodeError: Expecting delimiter解决方案
(作者:www.data-master.net 数据极)原创 2020-05-31 19:35:26 · 21470 阅读 · 0 评论 -
Json错误JSONDecodeError: Extra data解决方案
(作者:www.data-master.net 数据极)问题描述:使用以下代码转换字符串为json格式时,出现JSONDecodeError: Extra data的错误:import jsonimport pandas as pddf = pd.read_csv('test.csv')df['col1'] = df['col1'].apply(lambda x:json.load(...原创 2020-05-31 19:34:51 · 35313 阅读 · 1 评论 -
Tensorflow安装后,import时出现错误:ImportError: DLL load failed: 找不到指定的模块
(作者:陈玓玏)tensorflow可以通过pip安装,也可以通过anaconda安装,但安装好之后,在python脚本中运行import tensorflow as tf时,却报错:ImportError: DLL load failed: 找不到指定的模块。尝试了三种解决方案:1) 一说是除了tensorflow,还要安装tensorflow-gpu后来了解到,安装tensorf...原创 2019-01-03 21:32:17 · 58754 阅读 · 36 评论 -
Linux中使用pip安装库时出现Aborted (core dumped)问题解决方案
(作者:陈玓玏)在Linux中安装上pip后,通过pip install安装python库时出现这个问题:root@DZG0370:/mnt/c/Windows/System32# pip3 install pandasDownloading/unpacking pandaspython3: ../sysdeps/posix/getaddrinfo.c:2591: getaddrinfo:...原创 2018-12-08 17:07:59 · 4361 阅读 · 0 评论 -
Pandas中Initializing from file failed及UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in posit
(作者:陈玓玏)在使用pandas的read_csv读取文件时,如果你读取文件的路径包含中文,就会出现Initializing from file failed的错误。这时候我们可以做一下修改:import pandas as pddf = pd.read_csv(path,encoding='gbk')修改为:file = open(path)df = pd.read_csv(fi...原创 2018-12-04 21:27:34 · 1014 阅读 · 0 评论 -
Python的Markdown库添加escape限制
(作者:陈玓玏)想要把markdown格式的文件转换成html格式,使用python的第三方库markdown是一个非常不错的选择,但存在一个很恶心的问题,那就是它会把&符号翻译成&,并且把<翻译成<。但很多时候,我们并不希望其翻译,比如说网址中有&符号时,又比如说公式中有&符号时,这样网址和公式就不能被正常识别了。这个问题在开发者的官方文档中提到了,...原创 2018-11-18 21:36:19 · 1052 阅读 · 0 评论 -
Python常见错误:1) ValueError: Unknown label type: 'continuous-multioutput' 2)TypeError: bad operand type
(作者:陈玓玏)1) ValueError: Unknown label type: ‘continuous-multioutput’错误原因:决策树如果用分类树classifier就会出现这个错,因为无法处理连续整数的值。 解决方案:把classifier换成回归树Regressor就可以了。2) TypeError: bad operand type for unary ...原创 2018-09-08 10:23:40 · 13120 阅读 · 2 评论 -
pandas和Oracle中空值的比较及逻辑运算,数值型及时间型数据
(作者:陈玓玏)下面代码所使用的原数据及读取数据的代码如下:#取数代码arr = pd.read_excel('C:/Users/cdl/Desktop/空值test_1.xlsx',encoding='gbk')arr['strTest_1'] = arr['strTest'].apply(lambda x:str(x))print(arr)print(arr.dtypes)...原创 2018-08-21 21:33:09 · 1523 阅读 · 0 评论 -
Python字典、集合、列表等用法(包含各种增删查改排序筛选和遍历,以及set和frozenset的交集等计算)
(原创作者:陈玓玏)如果不自己去实现几个复杂点的算法,还真发现不了这几个数据结构到底有什么好处。先简单说一下好处,到后面再说一下这几种数据结构增删查改遍历的用法吧。一、三种数据结构适用场景1、列表 的好处在于很好遍历,有顺序,而且允许重复对象的存在,一般如果只是用来存储一下for循环这类的语句产生的序列型的结果,我会选择用列表来存储,因为它顺序固定,方便访问,结构简单。2、字典...原创 2018-06-30 21:45:34 · 2649 阅读 · 0 评论 -
Python生成全0二维数组及使用range、arange自动生成等差数列
(作者:陈玓玏)一、自动生成全0二维数组比如在实现逻辑回归和线性回归等算法时,需要先初始化一个权值矩阵,也就是要自动生成一个固定大小且各值全部相等的二维矩阵,这时候就可以用numpy来实现了。下面的代码就是生成一个x行y列的全为0的矩阵。import numpy as nparray = np.ones((x,y))*0二、使用range生成整数等差数列在进行fo...原创 2018-07-04 21:50:45 · 19915 阅读 · 0 评论 -
列表推导式和lambda匿名函数以及map、filter 、zip函数:让你的代码更简洁
(作者:陈玓玏)一、列表推导式列表推导式,故名思义,是一种很方便地快速生成列表各项的方法,而且是基于一定的可推导、可迭代的逻辑。说得简单一些,就是简化可以用for语句和if语句组合产生列表的句子。举个栗子:for i in listA: for j in listB: if i!=j: listC.append([i,j])这种...原创 2018-07-11 22:42:12 · 1047 阅读 · 0 评论 -
Pandas中groupby+agg+merge及describe实现各类分组统计及一些实用技巧
(作者:陈玓玏) 在SQL中,我们可以用分析函数轻松实现变量分组后的组内max、min等结果的统计,而在Python中,使用pandas来实现这些功能也是非常简单的。pandas中也有groupby函数,能够根据特定的列将所有数据进行分组,并通过agg方法对选定的列进行分组统计,内置的统计方法有max、min、mean、var、count等,还能通过lambda或者def自定义匿名函数或者函...原创 2018-07-12 21:03:29 · 9068 阅读 · 0 评论 -
Python库的安装与卸载(含statsmodels和xgboost)
(作者:陈玓玏)Python库的安装window下python2、python3安装包的方法在线安装安装好python、设置好环境变量后,在python安装目录下Script文件夹内会存在pip.exe和easy_install.exe两种在线安装工具。只需要在cmd输入pip,可以查看pip是否可用 没有报错表示可用,在cmd中输入pip install xxx就可以...原创 2018-07-07 16:35:10 · 8718 阅读 · 1 评论 -
Numpy用法入门之创建数组(arange, array, copy, empty, empty_like, eye, fromfile, fromfunction, identity, linsp)
(作者:陈玓玏)在求解系数矩阵、画图等过程中,我们总是需要创建很多初始的矩阵,那么今天就干脆来总结一下,numpy中常用的矩阵创建方法及它们的应用场景。import numpy as np#arange创建等差数列,可以是整数也可以是小数,np.array(起始值,结束值,步长),注意是左闭右开区间data = np.arange(0,1,0.1)#结果:[ 0. 0.1 0...原创 2018-07-29 21:26:28 · 2574 阅读 · 0 评论 -
Python常见错误:ValueError: If using all scalar values, you must pass an index(四种解决方案)
(作者:陈玓玏)1、错误发生场景:import pandas as pddict = {'a':1,'b':2,'c':3}data = pd.DataFrame(dict)2、错误原因:直接传入标称属性为value的字典需要写入index,也就是说,需要在创建DataFrame对象时设定index。3、解决方案:通过字典来创建DataFrame对象是很常见的需求,但是...原创 2018-08-05 11:13:26 · 142777 阅读 · 12 评论 -
Python中的深复制浅复制(等号赋值、copy和deepcopy的区别)
(作者:陈玓玏)不是那么有耐心的朋友可以直接看总结!一、深复制浅复制的区别以我比较愚笨的理解,浅复制就是,仅复制对象的引用,而不新开辟内存,也就是说,会共享指针,当你改变复制后的对象时,其实是在改变原对象内存中的内容。而深复制的意思是,会将新开辟内存,并把原对象内存中的内容复制到新的内存中来,如果你改变复制后的对象,是不会改变原对象的内容的,这就是说两个对象在完成复制之后,已经是两...原创 2018-08-05 21:25:27 · 3600 阅读 · 0 评论 -
Pandas的iloc、loc、ix的区别
(作者:陈玓玏)取DataFrame的部分数据,或者修改部分数据是非常非常常见的操作,但是实际应用中,到底使用ix方法,还是iloc方法,还是loc方法,还需要讨论。请看下面的实验:import pandas as pddata = [['自有房',40,50000], ['无自有房',22,13000], ['自有房',30,30000]]data...原创 2018-08-09 21:12:35 · 12443 阅读 · 0 评论 -
解决Python memory error的问题(四种解决方案)
(作者:陈玓玏)昨天在用用Pycharm读取一个200+M的CSV的过程中,竟然出现了Memory Error!简直让我怀疑自己买了个假电脑,毕竟是8G内存i7处理器,一度怀疑自己装了假的内存条。。。。下面说一下几个解题步骤。。。。一般就是用下面这些方法了,按顺序试试。一、逐行读取如果你用pd.read_csv来读文件,会一次性把数据都读到内存里来,导致内存爆掉,那么一个想法就是一...原创 2018-08-08 21:35:51 · 326375 阅读 · 37 评论 -
Pandas中空值的判断方法,包括数值型、字符串型、时间类型等
(作者:陈玓玏)原创 2020-05-31 19:33:16 · 77286 阅读 · 0 评论 -
Pandas获取符合条件的行、获得对应索引,及模拟Excel中的VLOOKUP功能
(作者:陈玓玏)使用的原始数据集如下:import pandas as pdarr = pd.read_excel('C:/Users/cdl/Desktop/空值test_1.xlsx',encoding='gbk')print(arr)print(arr.dtypes)结果:numTest timeTest strTest0 1.0 2017-0...原创 2018-08-22 22:26:00 · 46114 阅读 · 9 评论 -
通过镜像在Docker中搭建一个自己的系统
(作者:陈玓玏) 我们要模拟的系统是以镜像为基础的,镜像是类,容器是实例,我们必须以一个标准的系统为基础,创建一个容器,然后在这个容器上安装各种软件,形成一个自己的虚拟系统,你可以把这个容器打包成一个镜像,今后各种测试就都可以很方便地在这个镜像上实现啦。1、首先进入管理者模式:su root2、安装Ubuntu镜像:18.04这个版本好用。docker pull ub...原创 2018-08-30 22:44:13 · 1415 阅读 · 0 评论 -
Python实现八大排序算法
(原创作者:陈玓玏)import mathimport random'''时间复杂度记忆- 冒泡、选择、直接插入排序需要两个for循环,每次只关注一个元素,平均时间复杂度为O(n2)O(n2)(一遍找元素O(n)O(n),一遍找位置O(n)O(n))快速、归并、希尔、堆基于二分思想,log以2为底,平均时间复杂度为O(nlogn)O(nlogn)(一遍找元素O(n)O(n),一...原创 2018-06-04 20:44:08 · 727 阅读 · 0 评论