自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(24)
  • 收藏
  • 关注

原创 用python按时间戳查找kafka记录

需求:有一个kafka队列,我需要从中找到我想要的一条数据,目前知道的是数据的生成时间的大致范围和value中的一个字段内容。from kafka import KafkaConsumerimport jsontime_st = '1603344765476'txt = '随便一个字段.pptx'consumer = KafkaConsumer(group,topic,ip...)思路:基本逻辑:查询kafka的数据需要用到offset, partition来定位消费的开始的点。然后开

2020-10-23 17:19:42 48

原创 使用手机半个钟头响铃一次

最近腰椎间盘突出了,医生建议半个小时起身活动一下,探索了下自己的iphone。找到相当完美的方案,记录如下。思路: 使用倒计时完成半小时或者20分钟的计时,倒计时结束后可以选择重新开始和结束倒计时。具体如下图流程第一步,设定倒计时,并开始计时第二步,等待倒计时结束,中间就是开心的工作了!第三步,倒计时结束了,手机开始响铃,提示大致如图,这里可以自由选择结束倒计时,还是选择重复,重新开始倒计时。是不是非常好用...

2020-10-10 17:32:20 10

原创 python: if条件判断的先后规则

结论:if 后的多个条件依次判断,遇到不符合的条件后直接跳转到else,不在执行之后的条件.如下代码# 1中,如果 tiaojian1() == False , 做完该判断,获取到false后,直接进入到else环节.if后面条件的写法:用and,or,not,()来链接各个条件用any([]),all([])等方法来判断具体使用哪一个,需要看具体逻辑和场景需要.def tiaojian1(r=True): print('tiaojian1',r) return rde

2020-09-18 18:07:01 72

原创 jinja2初次使用记录

官网: https://jinja.palletsprojects.com/en/2.11.x/安装: pip install Jinja2 or pip3 install Jinja2基础模块:基本使用:使用dataframe的数据填充html表格:用到的 templates.html<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <tit.

2020-08-31 19:03:41 58

原创 用python在excel画画

在B站看到一个人在excel画人像,秀的一手好技术,但是作为半个程序猿有点忍不了,所以有了这个小脚本。主要实现功能很简单,读取图片,把像素转化成excel的表格底色,保存到excel。import openpyxlfrom openpyxl.styles import PatternFillfrom PIL import Imagefrom openpyxl.utils.cell import _get_column_letterfrom datetime import datetimec

2020-05-30 21:40:02 248

原创 用写sql的思路写 pyspark

文章目录初始化:1. 查询筛选1.1 新增字段1.2 字段为list,包含子项2. group by 聚合2.1 想自定义聚合函数,3. 对数据结果排序4. join关联6. 窗口函数7. 加rank和排序8. 取topN10. 展开一个字段到多行初始化:from pyspark import SparkConf, SparkContextfrom pyspark.sql import HiveContextfrom pyspark.sql.utils import AnalysisExceptio

2020-05-09 21:37:01 98

原创 用写sql的思路写 Elasticsearch 的DSL

目录Elasticsearch的DSL基础操作基础查询筛选查询多条件教材筛选聚合查询排序对结果分页查询kibana可视化图表配置先挖坑,慢慢填Elasticsearch的DSL基础操作GET POST DELETE PUT HEAD 基础查询筛选查询多条件教材筛选聚合查询排序对结果分页查询kibana可视化图表配置(这个可以单开一个的吧)...

2020-04-16 17:41:53 57

原创 关于背单词,看到一个方法,想试试

想试试这个方法,具体的可以看B站视频简单整理了下,所以的模块都会被6次以上的背到。

2020-03-24 17:38:05 50

原创 Mac安装mysql,下载地址

目录1. 下载安装包2. 安装3. 开启binlog4. 其他常用配置1. 下载安装包下载地址:官网清华镜像,其他版本也有,下载速度还行阿里镜像2. 安装安装过程过于枯燥,下一步,等待,下一步,等待,结束注意:记得保存给的root初始密码。万一没保存,还可以从mysql的查询记录里找。3. 开启binlog4. 其他常用配置...

2020-03-13 21:52:11 95

原创 python读取文件路径问题

python读取文件时,明明在同一路径下,却无法读到文件,报路径不存在。问题比较奇葩,感觉自己对路径读取相关问题也不是很透彻,先挖坑后面清楚了在整理出来。现在把工程的.idea文件夹删除,然后重新导入工程目录解决了。这个可能跟pycharm的一些设置有关,但是在vscode上也不行,跟vscode也有关系?命令行单独执行脚本现在是ok的...

2020-01-10 12:02:10 163

原创 mac安装java8jdk

下载jdk官网http://www.trojan.cloud/offlinedownload/system/jdk/8/8u231/安装> java -versionjava version "1.8.0_231"Java(TM) SE Runtime Environment (build 1.8.0_231-b11)Java HotSpot(TM) 64-Bit S...

2020-01-08 17:23:58 1107

原创 用写sql的思路写dataframe:把sql语法转化成dataframe语法

查询表 a_table如下:classnameprojectscore一班张三语文80一班张三数学90二班李四语文80二班李四数学90查询筛选select name,scorefrom a_tablewhere class='一班' and project='语文'a_table = pd.DataFrame(...

2020-01-03 16:59:51 294

原创 mac path 环境变量配置

mac环境变量配置,把不同的内容分开来做。我一般分 alias 部分、shell个性化、软件环境的path 三部分。其中软件环境的path可能会比较多,就单独在做一个path文件在启动系统的环境时check下,在sourceNeon$ vim .bash_profile# aliasalias ll='ls -ahl'alias l='ls -hl'# colorfulexpo...

2019-12-25 10:38:56 325

原创 mysql忘记密码处理

1. 修改密码1.1 mysqld 跳过密码验证,用root登陆# 使用root权限,配置my.cnfroot# vim /etc/my.cnf#在mysqld下添加skip_grant_tables,保存后重启mysql[mysqld]skip_grant_tables1.2 登陆后修改用户名密码忘记密码还是因为没有一个test用户# 此时,启动mysql客户端时,可以跳过...

2019-12-03 21:40:45 29

原创 pgsql解析text格式json串语法

pgsql用的不多,遇到解析json的问题,查了下文档,可以这么处理,记录如下。下次再遇见的时候想不起来也有的查。-- 下面两个sql是等价的select name, json(name)->'n' as n,json(name)->'m',json(name)->'k'->'s' as s from public.t_user where ct is null;...

2019-11-18 18:53:15 266

原创 flume.sink自定义实现sink输出异常[已解决]

flume自定义sink输出异常,是因为source端配置的问题。使用exec替换原来测试用的netcat,问题解决.

2019-11-18 17:36:35 182

原创 Mac查看CPU具体型号

sysctl命令可以查看很多系统的信息,可以用如下命令找到CPU的型号[11-02 21:51:55 xxx]$ sysctl -a |grep Coremachdep.cpu.brand_string: Intel(R) Core(TM) i5-6400 CPU @ 2.70GHz

2019-11-02 21:55:39 4475

原创 pyodps 读取表字段title的方法

# 1Record()._name_indexes.keys()# 2Reader()._schema.names

2019-10-30 18:38:14 283

原创 python下载wiki中的excel

内部wiki使用的是 Atlassian Confluence ,业务上回有些数据用excel跟新到wiki,现在用程序下载目标excel。file_url直接在页面上获取的,excel其实可以从url里截取,有时间再更吧。刚开始使用requests.get(url)无法正常下载,需要登录授权才能下载,在官网看了下文档,找到了他们提供的登录api。现在发现有问题还是要找官方文档来的简单,整...

2019-10-28 18:00:02 56

原创 hive行转列和列转行问题的两个角度,两种表述

行转列和列转行表1:_c1_c2a1a2b1b2b3表2:_c1_c2a1,2b1,2,3表述1:表1变成表2,需要行转列,表2变成表1,需要列传行。换一种方式在来一次。表3:_c0_c1_c2_c3_c4user_1abcd表4:_c0...

2019-09-29 11:10:59 83

原创 pyudf 计算自然周和当周周一

目录目标代码效果目标业务统计需要按照自然周看数据,所以把每天计算都归到自然周。展示的时候用自然周的周一来代替自然周展示。odps 没有计算自然周的函数,所以用 Python 做了一个 udf 来实现。一年的第一天是周一,那么这一年的自然周就是以01开始,否则是以00,这个在计算对应的周一时会产生问题,针对跨年周做了兼容处理。似乎 MySQL 在计算自然周的时候也有类似问题,这里没有细...

2019-08-23 16:16:49 260

原创 python查询MySQL结果输出dict/json

from mysql import connector cnx = connector.connect()cur = cnx.cursor(dictionary=True)sql = '''select 1 as one,2 as tow union select 11 as one,22 as tow union select "011" as one,"022" as tow;'...

2019-08-21 16:08:24 766 2

原创 1991-2018年北京平均工资官方数据整理汇总 附数据来源链接

代码import pygalthis_bar = pygal.Bar()years = ['1991', '1992', '1993', '1994', '1995', '1996', '1997', '1998', '1999', '2000', '2001', '2002', '2003', '2004', '2005', '2006', '2007', '2008', ...

2019-08-15 14:59:50 467

原创 微信公众平台获取的头像又挂了 20190802

今天微信公众号获取用户头像的时候报错的量又上来了,20成功,4、5个失败腾讯服务又抽了吗?懂的大佬讲讲如何避免这种问题?

2019-08-02 10:36:12 235

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除