python
安心做个小废物
这个作者很懒,什么都没留下…
展开
-
Docker安装airflow(超详细)单机,集群部署教程
基于这个项目 :git clone https://github.com/puckel/docker-airflow上图的文件解压后如图:### 更改配置文件vim airflow.cfg### 文件移动docker-airflow底下所有文件放进 /usr/local/airflowdocker的安装这里不再列出参考:https://www.runoob.com/docker/centos-docker-install.html启动:docker-compose -..原创 2021-06-21 18:06:20 · 1584 阅读 · 0 评论 -
python Pandas读取数据
1.读取CSV,使用默认的标题行、逗号分隔符import pandas as pdFpath = "" #文件路径df = pd.read_csv(Fpath) # 使用pd.read_csv读取数据df.head() #查看前几行数据df.shape #查看数据的形状返回df的行数和列数df.columns #查看df的列名df.index #查看索引列df.dtypes #查看每列的数据类型2.读取txt文件,自己指定分隔符、列名import pandas as p原创 2021-02-04 15:43:53 · 673 阅读 · 2 评论 -
pyspark ValueError: Some of types cannot be determined after inferring
场景:当pandas的DF转换成spark的DF的时候报错 ValueError: Some of types cannot be determined after inferring报错原因是 存在字段spark无法推断它的类型解决方案,直接全部转换成strb['request_market'] = b['request_market'].astype(str)b['request_vin'] = b['request_vin'].astype(str)b['request_br...原创 2021-01-27 18:24:46 · 4482 阅读 · 0 评论 -
CDH6.2.1 集群在线安装kafka 和 brokerid报错 以及 连接超时报错 总结
进入 cloudera manager 点击添加服 选择kafka 然后点击选择主机 本教程选择了三台机器 点击继续进入Review Changes页面 配置zookeeper的目录 配置Java Help Size of Broker (一定要大于512) 点击继续,运行完成后安装成功(如果是首次安装) 因为不是首次安装所以就出现了报错 此时我们点击角色日志 查看报错日志 通过日志可以看出是broker id不匹配的问题 这个时候我们原创 2020-12-28 17:48:01 · 1175 阅读 · 1 评论 -
spark读取csv生成DF(python和scala两版)
python流程图: python代码:from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate()path = 's3://nyc-tlc/test/fhvhv_tripdata_*.csv'df_fhvhv=spark.read.format('csv').option('sep',',').option('inferSchema',True).op...原创 2020-11-23 16:14:08 · 930 阅读 · 0 评论 -
python3 实现发送邮件详解
首先获取邮箱的授权码(这里以qq邮箱为例):首先点击设置-》账户下拉之后选择pop3/SMTP服务并开启,然后按照提示发送短信,获取授权码代码部分:import smtplibfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartfrom email.mime.application import MIMEApplicationdef demo_emai.原创 2020-11-09 11:02:04 · 301 阅读 · 0 评论 -
SQL 中常用的日期函数以及SQL中常见的日期转换
1.SQL 中常用的日期函数当前的时间:now()当前年月日curdate()当前的时刻curtime()日期的运算datediff('2020-10-20','1996-10-29')date_diff(time,time1):返回两个日期之间(time,time1)的天数timediff(time,time1):两个日期相减 time-time1,返回 time 差值timestampdiff(unit,begin,end):返回end-begin的结果,其中begin和end.原创 2020-11-03 10:33:31 · 1758 阅读 · 0 评论 -
Mac安装pymssql库报错 mac error: command clang failed with exit status 1
macbook 直接进行安装pip install pymssql的时候会报错 如:mac error: command 'clang' failed with exit status 1解决方案:在终端执行安装freetds brew install freetds 如果已经安装breetds 先进行卸载:brew uninstall freetds 在进行安装:brew install freetds 然后 pip3 install pymssql==版本号 问题解决...原创 2020-06-18 11:01:24 · 659 阅读 · 1 评论 -
namenode和datanode启动不成功的解决方案
1,首先查看hadoop的日志文件cat /usr/local/hadoop-3.2.1/logs/hadoop-root-namenode-master.log2,根据日志文件判断出问题,不过我直接用的比较暴力的方法 直接删除name文件夹3,执行hadoop namenode -format4,然后节点启动成功...原创 2020-06-16 09:49:59 · 1046 阅读 · 0 评论 -
一个简单的Form表单,简单的留言板实现
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title></title> <link rel="stylesheet" href="/static/c原创 2018-08-31 16:57:44 · 7622 阅读 · 1 评论 -
具有签名机制的阿里云api的调用代码实现
一,首先导进来本次调用需要的模块二,公共参数的格式以及参数的类型三,生成SignatureNonce 阿里云要求每次请求api中此值不一致,本文用如下方法生成四,获取时间戳五,参数的整体参数主题六,处理参数将参数拼凑成url的参数七,生成签名字符串,根据签名机制八,转码(按照签名机制url编码的编码规则) ...原创 2018-09-11 15:06:43 · 3538 阅读 · 2 评论 -
python 精确的除法计算,以及有效数字的保留
python实现精确的计算,并且保留小数点后面的两位有效数字 实现精确的除法minutes = float(i) / 60保留小数点后的两位有效数字minutes = round(minutes,2)...原创 2018-09-18 18:16:08 · 11124 阅读 · 2 评论 -
python多环境的使用和一个电脑两个python环境应该i如何让切换
1.可以根据系统变量里面的上下顺序来确定默认的python环境2.在默认后的环境中,我们可以根据自己的需要进入不同的python环境 1).进入python2的环境 2).进入python3的环境...原创 2018-11-15 11:18:53 · 3146 阅读 · 1 评论 -
Python 获取当前时间的前一个月,和前一个星期的时间列表
1.获取前一个星期的时间列表def dateRange(beginDate): """ 设计时间格式,也就是取出今天前七天的时间列表 :param beginDate: :return: """ yes_time = beginDate + datetime.timedelta(days=+1) aWeekDelta = datetim...原创 2018-11-29 15:45:47 · 5691 阅读 · 0 评论 -
python Django 数据导入表格,并下载到本地的实现
1.首先把数据导入表格上面是创建表表格文件,其中有三列,分别操作人,报表时间,异常信息、 利用xlwt.easyxf(‘’)进行单元格字体颜色,样式的设置上图实现设置单元格的宽度实现数据的写入文件wb.save("home_application/step/download/test.xls")然后执行保存2.实现下载的功能需要下载test.x...原创 2018-12-18 10:45:22 · 1183 阅读 · 0 评论 -
关于webstorm和vue项目的拉去的时候内存爆满,卡顿,或者加载不出来的问题
一共分为三步1.首先找到对应的IDE的文件,并找到如下所示的文件对文件进行打开然后更改成下图所示的内容2.设置程序在打开的时候不对一栏的包进行加载3.第三部对加载项进行设置接下来操作一下注:没完成一步进行重启,这样的话就基本加快了加载的速度问题...原创 2018-12-18 14:29:34 · 992 阅读 · 0 评论 -
apidoc的安装与使用步骤
1.首先安装nodejs和npm安装步骤:(1)下载:https://nodejs.org/en/ (2)直接对下载进行安装 (3)安装过程中,直接一直next,很简单 (4) 查看安装是否成功 打开cmd 输入...原创 2019-03-19 17:58:25 · 936 阅读 · 0 评论 -
python 字典推导式,通过循环列表生成相应的字典
执行结果如下:get_scripts=[{"id":item.id,"name":item.name}foritemincs_data]原创 2019-04-12 16:49:26 · 2301 阅读 · 0 评论 -
flask8检测代码长度过长的解决方案
在项目根目录下创建.flake8文件,并把下面文件中的内容粘过去就行了[flake8]ignore = W504,W605,C901exclude = *migrations*, # python related *.pyc, .git, __pycache__, ./apidoc/* ./docs/* ./webpack/...原创 2019-04-03 16:14:57 · 1511 阅读 · 0 评论 -
python Django 初始化数据到数据库的操作
引言:开发中经常会遇到一些数据在程序的运行时就要在数据库中存在,然后就对Django的数据初始化做一个简单的分享1.首先在我们的app下创建对应的models,然后在models里面进行表的创建2.对应上面的表,我们想要为这个表初始化进去两条数据 name:1 script_content:‘11111’ name:2s...原创 2019-04-03 17:01:21 · 4736 阅读 · 0 评论 -
Vim的基本使用以及常用的命令
gg 移动到文件开头G 移动到文件结尾dd 删除当前行yyp 复制一行v 进入选择模式,viw ,选择一个单词 ,如果选错想退出 按esc (选择一行,按v然后按l) p 退出 p 复制vi " [ ( 选中“”、【】、()中的内容va " [ ( 选中包括“”、【】、()的内容v 然后shif 4 选择当前光标到结尾位置< >向左 向右移动 shift + v 开启...原创 2018-08-16 20:35:20 · 265 阅读 · 0 评论