- 博客(17)
- 收藏
- 关注
RSS订阅原创 linux yum异常Error: Cannot retrieve repository metadata (repomd.xml) for repository: base.
Error: Cannot retrieve repository metadata (repomd.xml) for repository: base. Please verify its path and try again
2022-07-31 11:46:06
671
原创 R笔记+++++
R语言下载路径:https://mirrors.tuna.tsinghua.edu.cn/CRAN/Rstudio:下载路径:https://www.rstudio.com/products/rstudio/download/
2022-01-18 23:25:18
201
原创 SLS使用心得
1.去掉json格式e_json("content",depth=1,fmt='simple')2.删除某个字段e_drop_fields("content")3.正则匹配字段的某个部分部分匹配e_if(e_match("content", "(\\{).*"), KEEP, DROP)e_if_else(e_match("content", r'{.*'), KEEP, DROP)完全匹配e_if_else(e_match("_table_", "balance_history",
2021-06-22 18:06:53
312
原创 Spark算子
https://blog.csdn.net/qq_32595075/article/details/79918644Transformation输入和输出分区1对1mapflatMapmapPartitionsglomunioncartesiangroupByfilterdistinctsubtractsamplemapPartitionsWithIndex
2021-05-12 18:08:39
54
原创 sqoop？
主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop参数/opt/module/sqoop/bin/sqoop import –connect –username –password –target-dir –delete-target-dir –num-mappe
2021-04-26 16:35:42
96
原创 Click house笔记1.1
本文章是阅读 朱凯著的《ClickHouse原理解析与应用实践》的个人读书笔记摘要，如有偏差与原著为主，只供学习参考。About name**C**lick Stream Data Ware**H**ouse 数据类型基础类型数值类型整数浮点数定点数更改精度的数值运算两种形式可以申明定点1.简写方式Decimal32(S)、Decimal64(S)、 Decimal128(S)2.原生方式Decimal(P,S)·P代表精度，决定总位数（整数部分+小数部分），取值范
2021-03-05 11:59:57
1571
1
原创 Python高级，整理笔记1.1
面向对象创建类使用 class 语句来创建一个新类，class 之后为类的名称并以冒号结尾:class ClassName: '类的帮助信息' #类文档字符串 class_suite #类体创建实例对象没有new这个关键字"创建 Employee 类的第一个对象"emp1 = Employee("Zara", 2000)"创建 Employee 类的第二个对象"emp2 = Employee("Manni", 5000)访问属性点号 . 来访问对象的属性。使用如下
2021-03-02 15:36:20
73
原创 python基础笔记1.1
执行Python程序#告诉操作系统执行这个脚本的时候，调用 /usr/bin 下的 python 解释器。#!/usr/bin/python print("Hello, World!")introduduction特点1.Python 是一种解释型语言：没有编译环节2.交互式 >>>3.面向对象环境搭建传送门https://www.python.org/downloads/release/python-377/中文编码>>> print.
2021-03-01 17:02:46
2670
1
原创 R统计方法整理1.1
R函数平均值，中位值，模式mean（）求平均值mean(x, trim = 0, na.rm = FALSE, ...)x是输入向量。trim用于从排序向量的两端丢弃一些观察结果。na.rm用于从输入向量中删除缺失值。median()x <- c(12,7,3,4.2,18,2,54,-21,8,-5)直接输出平均值result <- mean(x)result.mean <- mean(x)输出：print(result.mean)#直接输出名字也可以输出
2021-02-26 18:41:20
1190
原创 R初级整理笔记--1.2版
标准统计软件类似SAS，SPSS，Stata标量是只含一个元素的向量，用于保存常量F<-3方括号给定位置，可以用于访问任意位置的元素a[3],a[,3]a <- c(2:6)生成数值序列C( )矩阵----跳过数组—数据框因子变量可归结为名义型、有序型或连续型变量名义型变量是没有顺序之分的类别变量。有序型变量表示一种顺序关系连续型变量可以呈现为某个范围内的任意值，并同时表示了顺序和数量。类别（名义型）变量和有序类别（有序型）变量在R中称为因子（factor）。因子在
2021-02-05 11:33:04
1049
原创 QA一箩筐
1.所谓的的分区，是真的分成一个一个么按照min?如果将min 改变会不会合并成一个分区？hive的分区其实是一个个的目录，如果你是每隔15分钟生成一个分区，那就是每隔15分钟生成一个目录。分区是指定数据放在那个目录下，分桶是指定数据放在哪个文件下，merge合并 2.列转行最快的生成效率，比如两个字段限定，要side=1，direct=1（1，2）（2，1）（2，2）时的其他字段的和这个看具体场景，如果是固定的规则，可以case when，不固定的话，考虑laterallateral：参考链接
2020-12-23 11:21:09
104
原创 日志服务——loghub
日志服务——loghub一.关于查询1.查询和分析索引直接挂钩，所以分析索引决定着查询，在每一个loghub创建后首要的就是开启索引，要不然导入的数据会有一部分可能没有索引而不显示，如果已经出现这种情况可以重建索引，有数据的情况下，可以直接自动生成索引，注意查看字段情况，如有缺失，注意补充，追加的方式可以补充缺失的字段，如果不追加字段，可能以后的索引都会有缺失，导致数据有损失情况发生，强烈建议在建立索引的时候就马上看字段情况，立即补充。2.查询语法文档：点我进入官方文档链接3.日志服务顶端即为搜索框
2020-11-24 15:04:24
2320
原创 关于阿里日志服务logstore
projectlogstore原本logstore数据不能满足当前需求时，解决办法：1.在日志服务对原本的logstore进行数据加工，新建logstore,进行数据新数据对接存储2.在Maxcompute里面进行数据加工处理（这种方案，需要先对源数据导入，再进行加工处理，而且每一个字段需要进行加工处理，不建议）目前对新建logstore 满足的需求：原本的logstore里面的数据是json格式，无法直接提取，需要新建logstore对数据进行加工处理新建logstore ,如下图，除了名称
2020-11-09 13:39:27
2025
原创 虚拟机ping通www.baidu.com
虚拟机ping通www.baidu.com我才不要说,我试了多少种,总结如下:1.点开网络共享中心,查看你网络的ipv4地址,记住网段比如123.12.34.12.设置子网IP和网关IP: VMware —编辑----虚拟网络编辑器-----点击NAT模式----子网IP要和你刚才看到的自己网络前三部分一致,第四部分填0,比如123.12.34.0,点击右面的NAT设置,网关IP:123.12.34.XXX 就是前三部分保持一致,第四部分不一致即可,但是要记住这个网关地址.3.两个配置文件
2020-10-02 20:45:51
2056
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人