CCESARE-CSDN博客

原创 python按字节长度截取字符串(按bytes长度截取str)

需求： python将字符串按照字节数来截取，找了很多文章都是有关联但又不能完全解决此需求，自己总结一下。遇到的需求是：推送目标有字节数限制最大4096字节，但我推送的是个字符串(包含中/英文、特殊符号)，且想要尽可能多的将文本内容推送出去，所以按照字符串截取时不想取太少，取太多又偶尔会超出限制。下面列出代码：str_txt = '测试文本ceshi'cut_bytes = str_txt.encode('utf-8')cut_tmp = cut_bytes[:900] #..

2021-11-02 17:38:17 7930 2

原创记一次yum源报错解决:linux的yum命令报错Loaded plugins / Repository epel is listed more than once

执行yum install命令时报错 Loaded plugins: fastestmirror, langpacksRepository epel is listed more than once in the configuration执行yum list命令时报错Existing lock /var/run/yum.pid: another copy is running as pid 10841.报错出现的情况具体为：[root@xx_0_15_centos /]#...

2021-02-22 10:40:15 18619 1

原创删除pandas中产生的Unnamed:xx列

python在使用 pd.read_csv(xxx, sep='\t' ) 读文件时，结果df中多出了一列Unnamed:38，本来38个字段又多了一个，变成39个字段。看起来就很烦。解决方案一：pd.read_csv(path, index_col=0)pd.to_csv(path, index=False)解决方案二：用pandas处理数据是，产生了 Unnamed:0 列，解决方案如下：df.loc[ : , ~df.columns.str.contains("..

2020-11-18 15:06:01 5470 1

原创钉钉直播回放视频的下载方法( fd抓包配合m3u8 )

钉钉直播回放视频的下载方法用到的工具：M3U8 介绍:https://huajiakeji.com/software/2018-12/1683.htmlFiddler 抓包工具，也可使用别的，本文采用fiddler 版本v5.0.20194.41348首先，打开Fiddler ，保持捕获数据即可，也可以点击“任意进程”拖动想要抓包的程序上边，仅对此程序抓包设置完成后，点击钉钉直播回放列表中的播放，开始播放视频进行抓包...

2020-08-31 17:40:49 23738 14

原创 hive表查询时使用中文别名

当前需求场景：每月要提供一份数据给客户，以excel表的形式，每次都要去Hive中取数据，但Hive表字段都为英文所以每次取了数据出来后还要手动处理修改成指定格式。手动操作较多较为麻烦。在hive查询时使用英文别名是没有任何问题的，SELECT st.source_task_order A, st.creation_date B FROM tr_source_task st;但是有某些特殊需求，需要使用中文别名时解决方法：将中文别名用反单引号（tab键...

2020-08-05 19:49:14 4582 1

原创 Windows Terminal powershell 内置SSH使用、SSH指定端口链接远程服务器

首先吹一波Windows Terminal真滴好用，舒服简洁好看

2020-06-11 17:48:07 9566

原创记一次通过跳板机链接远程数据库以及备份mysql和恢复

场景：本机通过一台ECS服务器，再去连远程服务器上的mysql数据库。有多种方式可操作：1. haproxy tcp代理 (https://www.cnblogs.com/qinshuipo/articles/10382079.html) (此方式可长久使用) 2. Linux版 Navicat for MySQL 3. mysql-client 通过mysql dump备库 (一次性)此次使用第3种方式一次性备库down到本地。先在跳板机（ECS）安装mysq...

2020-05-29 17:48:03 896

原创 hive on tez 执行任务报错

hive on tez，在执行任务的时候报错，这种情况原因是container资源被抢占或者是资源不足。而task最大的失败次数默认是4，am自己失败的最大重试次数默认是2次。分析：task_1442391298043_123239_1_01_000000，失败了4次，失败的原因是container被高优先级的任务抢占了。而task最大的失败次数默认是4。当集群上的任务比较多时，比较容易出现这个问题。解决方案：命令行修改默认值set tez.am.task.max.failed....

2020-05-19 11:32:25 4722

原创 hive的巧用：查询两个表中不一样的数据

一个有趣的SQL：select a.* FROM A a left outer join B b on a.qq = b.qqWHERE b.qq is null;恩，很好。WHERE b.qq is null;.........？？这不是查空得吗，查空的是干毛用啊？这是查A有B没有的数据。什么意思呢？首先，我们先来看一下 left join 后是什么样的结果。画了一...

2020-03-11 20:55:15 6062 2

原创 Navicat 查看密码破解保存的密码 + 密码解密

（baidu搜索的文章写的都不全，于是自己总结好写一个）如果想要破解一个已经连接好的数据库密码，可以参考这个方法。一、查看navicat保存的密码1. 进入注册表win + R 输入 regedit 回车2.找到 navicat 中存储的密码HKEY_CURRENT_USER Software PremiumSoft Navicat Servers 点击...

2020-03-09 10:10:31 19608 17

原创 hivesql常见的与不常见的日期格式转换 (持续更新)

12/31/2015 00:00:0012/31/2015 00:00:001/4/2016 00:00:001/4/2016 00:00:00故事起源于某日接手了 ↑ 这种日期格式的数据 mm/dd/yyyy HH:mm:ss ，需要将数据放进hive里，肯定得转成标准格式呀。baidu了很久没找到所需函数，只找到了类似的：16/Mar/2017:12:25:01 +08...

2020-03-06 17:54:37 3675 3

原创数据自习室第三周·常见概率分布0728-0804

基本概念随机变量1.连续性随机变量如果随机变量X的所有可能取值不可以逐个列举出来，而是取数轴上某一区间内的任一点的随机变量2.离散型随机变量设X是一个随机变量，如果它全部可能的取值只有有限个或可数无穷个，则称X为一个离散型随机变量古典概率古典概率通常又叫事前概率，是指当随机事件中各种可能发生的结果及其出现的次数都可以由演绎或外推法得知，而无需经过任何统计试验...

2019-08-05 03:02:35 308

原创数据自习室第二周·Python数据分析基础0722-0728

文章目录Numpy（Numerical Python) Pandas 补充Numpy（Numerical Python)是一个功能强大的Python库，主要用于对多维数组执行计算，其提供了大量的库函数，可应用于矩阵的计算，图像的处理、各类数学任务计算（例如，微积分）等，是一种基于Python的MATLAB的快速替代。下面通过代码块展示Numpy部分可实现的功能：# 使用NumPy...

2019-07-29 10:14:01 159

原创数据自习室第一周·数据的描述性统计0715-0721

学习笔记第一周数据的描述性统计0715-0721目录一、数据的集中趋势1.众数：一组数据中，出现次数最多的那个数，用大写字母 M 表示。一组数据可以有多个众数，也可以没有众数。用众数代表一组数据，可靠性较差，不过众数不受极端数据的影响，并且求法简便。在一组数据中，如果个别数据有很大的变动，选择中位数表示这组数据的“集中趋势”就比较适合。众数的三种求解方法...

2019-07-22 00:15:04 490

原创切换用户su hdfs出现This account is currently not available.

切换用户su hdfs进入不了出现This account is currently not available.用vi看看 hdfs的帐号信息# cat /etc/passwd|grep hdfshdfs:x:995:992:Hadoop HDFS:/var/lib/hadoop-hdfs:/sbin/nologin发现它的shell是“/sbin /nol...

2019-07-18 17:35:50 3410

原创虚拟机安装Centos7.6

写在前面网上有非常多的各种安装文档，有详细有粗略，都不一样，所以写下自己的安装文档，总结一下自己遇到过的坑。准备：VMware12 、 Centos7.6这里使用：VMware版本：VMware pro12Centos版本：Centos7.6 创建虚拟机这里由于本机为6核cpu 32G内存，所以设置比较大，具体情况请根据自...

2019-01-03 16:55:58 2222

CCESARE的博客