- 博客(133)
- 收藏
- 关注
RSS订阅原创 ELK日志实时分析
使用filebeat采集日志数据，通过kafka将数据传输给logstash进行过滤，最后输出到Elasticsearch绘制数据图表。数据说明。
2022-11-15 14:41:21
1172
原创 Elasticsearch（技能点）
使用Logstash将数据采集到Elasticsearch中后，如果想在Kibana中对数据进行分析搜索，需要在Kibana中创建索引。能打开测试网页就说明web服务启动正常。在浏览器地址栏输入：虚拟机的IP地址。
2022-11-10 09:53:54
887
原创 Flink热门商品统计
项目所用的依赖，需要根据安装框架的版本来导入，否则会运行失败代码中使用的文件需要提前导入（UserBehavior.csv）
2022-10-31 15:07:19
854
原创 Pig股票交易数据处理
Pig包括两部分：用于描述数据流的语言，称为Pig Latin；和用于运行Pig Latin程序的执行环境。Pig不适合所有的数据处理任务，和MapReduce一样，它是为数据批处理而设计的。如果只想查询大数据集中的一小部分数据，pig的实现不会很好，因为它要扫描整个数据集或绝大部分。Pig Latin 程序有一系列语句构成。操作和命令是大小写无关的，而别名和函数名是大小写敏感的。Pig处理多行语句时，在整个程序逻辑计划没有构造完毕前，pig并不处理数据。
2022-10-11 10:27:37
807
原创 Pig 关系运算符
将HDFS中的/pig_input目录下的student.txt和score.txt两个文件中的数据分别加载到student和score关系中，并进行左外连接操作。将HDFS的/pig_input目录下的student.txt和score.txt中的数据加载到关系中，对student和score进行内连接操作。BinStorage() 使用机器可读写格式将数据加载并存储到Pig中。JsonLoader() 将非Json数据加载到Pig中。TextLoader() 将非结构化数据加载到Pig中。
2022-10-04 16:17:14
1213
原创 Hive基本查询语句
GROUP BY 语句通常会和聚合函数一起使用，按照一个或者多个列队结果进行分组，然后对每个组执行聚合操作。（1）where 后面不能写分组函数，而 having 后面可以使用分组函数。（2）having 只用于 group by 分组统计语句。（2）使用表名前缀可以提高执行效率。（1）使用别名可以简化查询。
2022-09-17 14:27:46
2020
原创 Hive语句基础（表操作）
SerDe，Hive 通过 SerDe 确定表 的具体的列的数据。用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。DELIMITED，将会使用自带的 SerDe。在建表的时候，用户还需 要为表指定列，用户在指定表的列的同时也会指定自定义的。），在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。关键字可以让用户创建一个外部表，在建表的同时可以指定一个指向实际数据的路径（创建一个指定名字的表。: 允许用户复制现有的表结构，但是不复制数据。
2022-09-16 13:14:47
170
原创 kali WiFi密码破解分享
安装kali:这里就不介绍如何安装kali了，跟着网上教程安装就行这里推荐推荐：https://blog.csdn.net/weixin_41247970/article/details/104118700使用工具：这是我使用的网卡：RT3070开始主题：切换到root模式：su root看见root后面的骷髅头没（请合理使用技术）这里说一下输入密码是看不见的（就是不显示密码）查看无线网卡:airmon-ng可以看到显示wlan0 ，这就是我的网卡
2022-02-11 14:39:46
3687
1
原创 Hive 读写
在Hive中创建数据库和表：service mysql start #可以在Linux的任何目录下执行该命令service mysql start启动Hadoop，然后再启动Hivecd /usr/local/hadoop./sbin/start-all.shcd /usr/local/hive./bin/hivehive> create database if not exists sparktest;//创建数据库sparktesthive> show da
2021-12-28 10:37:53
1723
原创 RDD操作
RDD被创建好以后，在后续使用过程中一般会发生两种操作：转换（Transformation）： 基于现有的数据集创建一个新的数据集。行动（Action）：在数据集上进行运算，返回计算值。转换操作:进行物理的转换操作filter(func)：筛选出满足函数func的元素，并返回一个新的数据集val rdd =sc.parallelize(List(1,2,3,4,5,6)) val filterRdd = rdd.filter(_> 5)filterRdd.collect.
2021-12-26 18:57:48
1097
原创 scala 基础学习（4）
map操作：让每个字符串都变成大写字母scala> val books = List("Hadoop", "Hive", "HDFS")books: List[String] = List(Hadoop, Hive, HDFS)scala> books.map(s => s.toUpperCase)res0: List[String] = List(HADOOP, HIVE, HDFS)(参数) => 表达式 //如果参数只有一个，参数的圆括号可以省略flat
2021-12-22 15:23:38
481
原创 scala 基础学习（3）
简单匹配：Scala的模式匹配最常用于match语句中val c = 1val cr = c match { case 1 => "red" case 2 => "green" case 3 => "yellow" case _ => "Not Allowed" } println(cr)//输出 red在模式匹配的case语句中，还可以使用变量val c = 4val cr = c match { case 1 =
2021-12-22 14:11:47
416
原创 scala基础学习（2）
数组常用算法scala> val a = Array(2,9,4,3)a: Array[Int] = Array(2, 9, 4, 3)scala> a.maxres34: Int = 9scala> a.sumres35: Int = 18scala> a.minres36: Int = 2scala> a.sorted //排序res37: Array[Int] = Array(2, 3, 4, 9)scala> a.sortWit
2021-12-21 20:35:03
511
原创 scala基础学习（1）
在路径 usr/local/src/scala/mycode目录下创建一个test.scala文档使用 vim或者 gedit 编辑，其中 gedit 比较好用命令： gedit test.scala 打开文档使用： scala test.scala 编译变量：1.val变量：定义变量2.var变量：在初始化以后还要不断修改的使用var定义val i=123 //123是int型，//同理: val i="123" =>>i=true(布尔型)也可以：v.
2021-12-20 21:51:10
430
原创 分块—入门
区间加法，单点求值//给出一个长为 n 的数列，以及 n 个操作，操作涉及区间加法，单点查值。#include<cstdio>#include<cmath>using namespace std;#define MAXN 50005int n, a[MAXN], p[MAXN], m, v[300];int opt, l, r, c;void Add( int l, int r, int c ){ if ( p[l] == p[r] ){//同属一分块时直接暴力即
2021-07-21 18:52:23
145
2
原创 双链表（函数模板）
模板：//! 初始化void into(){ l[1] = 0, r[0] = 1;//* 初始化 第一个点的右边是 1 第二个点的左边是 0 idx = 2;//! idx 此时已经用掉两个点了}//* 在第 K 个点右边插入一个 X void add(int k, int x){ e[idx] = x; l[idx] = k; r[idx] = r[k]; //这边的 k 不加 1 ， 输入的时候 k+1 就好 l[r[k]] = i.
2021-06-30 15:33:07
111
原创 单链表（函数模板）
题目链接：单链表// head存储链表头，e[]存储节点的值，ne[]存储节点的next指针，idx表示当前用到了哪个节点int head, e[N], ne[N], idx;// 初始化void init(){ head = -1; idx = 0;}// 在链表头插入一个数avoid insert(int a){ e[idx] = a, ne[idx] = head, head = idx ++ ;}// 将头结点删除，需要保证头结点存在void r
2021-06-29 20:36:58
158
原创 归并排序（函数模板）
模板：一个是将数组一分为二,一个无序的数组成为两个数组.另外一个操作就是,合二为一,将两个有序数组合并成为一个有序数组.双指针操作图片解释int a[N];int b[N];void megre_sort(int a[],int l,int r){ if(l>=r) return ; int mid=(l+r)/2; megre_sort(a,l,mid),megre_sort(a,mid+1,r);// 递归排序left，right int k=0
2021-06-29 18:51:03
306
原创 Java复习
创建文件名称为：java01第一题：打印九九乘法表public class java01 { public static void main(String []args){ for(int i=1;i<=9;i++){ for(int j=1;j<=i;j++){ System.out.print(j+"x"+i+"="+j*i+"\t"); } System.
2021-06-17 16:30:16
90
原创 创建Django项目
在专业版的 pycharm 中创建项目：社区版没有创建Django 选项在更多设置，添加应用程序名称myapp（自定义名称）创建完成
2021-06-14 15:57:04
87
原创 Django(models admin 模块)
课程链接创建一个超级用户： 输入密码是看不见的 创建好之后运行进入登录http://127.0.0.1:8000/admin创建文章第一步：python manage.py makemigrations第二步：python manage.py migrate第三步：python manage.py shell在admin 里设置文章标题都以Article object (1)…表示；在models 中设置：设置完成： 重新启动以文章标题显示.
2021-06-14 15:46:37
246
1
原创 Django基础(get post使用)
views 视图函数获取https://www.bilibili.com/video/BV13E411N7Eo?t=2189&p=3info=request.GET.get(“Name”)views 中的视图函数要在urls中配置pathget使用：1：form 表单提交 method = get 时2：访问超链接时3：地址栏直接访问POST使用：1：form 表单提交 method = post 时 django 中 post 方式提交 需要设置跨域请
2021-06-14 11:15:47
129
原创 训练题解（20210525）
求出e的值法一#include<stdio.h>#include<iostream>using namespace std;double jchen(int x){//自定义函数求阶乘，函数为double类型 double sum1=1;//不要定义成 0 for(int i=1;i<=x;i++){//小于等于 x sum1*=i; } return sum1;}int main(){ int n; cin>>n; double
2021-05-25 19:29:55
225
原创 新生赛题解（20210516）
A：计算多项式的值数字的计算，输入输出即可#include<stdio.h>int main(){ double x,a,b,c,d; scanf("%lf%lf%lf%lf%lf%lf",&x,&a,&b,&c,&d); double sum=a*(x*x*x)+b*(x*x)+c*x+d;//sum保存结果 printf("%0.7lf",sum);//%0.7lf输出 return 0;}B：高
2021-05-17 10:22:34
283
1
原创 高精度模板之加减乘除（c++）
高精度加法：题目链接：高精度加法#include<bits/stdc++.h>using namespace std;vector<int> add(vector<int> &A,vector<int> &B){ vector<int> c; int t=0;//进位 for(int i=0;i<A.size()||i<B.size();i++){ if(i<A.si
2021-05-16 14:57:32
225
原创 [选拔赛 2019-2020]含有 3 的所有数
输入一个小于 1000的自然数，输出小于该自然数且数字中含有 “3” 的所有数。要求：不分行、连续显示，相邻两数间隔 22 个空格，具体显示格式参见样例。输入格式2∼1000 之间的自然数输出格式小于输入数且数字中含有 “3” 的所有数输出时每行末尾的多余空格，不影响答案正确性样例输入36样例输出3 13 23 30 31 32 33 34 35每一位都拿出来判断是否等于3，取模取余操作法一#include<stdio.h>int main(){
2021-05-15 10:20:45
1236
原创 又是斐波那契数列
有另一种斐波那契数列：F_0 = 7F 0 =7，F_1 =11F 1 =11，F_n=F_{n - 1}+F_{n - 2}F n =F n−1 +F n−2(n≥2)。输入格式输入数据有多行组成，每一行上是一个整数 n(n \leq 10^6)n(n≤10 6 )。输出格式如果 F n能被 33 整除，那么打印一行"yes"，否则，打印一行"no"。提示先使用数组把 10 6 的F i 计算出来，然后每次查询，要不然会超时的。输出时每行末尾的多余空格，不影响答案正确性
2021-05-15 10:07:05
1417
1
原创 奇数单增序列
#include<stdio.h>int main(){ int n; scanf("%d",&n); int a[n+10];//防止数组越界 int q=0;//数组下标从 0 开始 for(int i=0;i<n;i++){ int x; scanf("%d",&x); //保存奇数 if(x%2!=0){ a[q]=x; q++; } } //冒泡排序模板 int t; for(int i=0;i<.
2021-05-11 21:50:21
468
原创 D题，红与黑
蒜厂有一间长方形的房子，地上铺了红色、黑色两种颜色的正方形瓷砖。你站在其中一块黑色的瓷砖上，只能向相邻的黑色瓷砖移动。请写一个程序，计算你总共能够到达多少块黑色的瓷砖。输入格式第一行是两个整数 W 和 H，分别表示 x 方向和 y 方向瓷砖的数量。W 和 H 都不超过 20。在接下来的 H 行中，每行包括 W 个字符。每个字符表示一块瓷砖的颜色，规则如下1）’.’：黑色的瓷砖；2）’#’：白色的瓷砖；3）’@’：黑色的瓷砖，并且你站在这块瓷砖上。该字符在每个数据集合中唯一出现一次。输出格式
2021-05-08 09:47:34
140
1
原创 E 活动安排
n 个活动的集合 E{1,2,⋯n}，其中每个活动都要求使用同一资源，如演讲会场等，而在同一时间内只有一个活动能使用这一资源。每个活动 i 都有一个要求使用该资源的起始时间 si 和一个结束时间 fi，且 si<fi。如果选择了活动 i，则它在时间区间 [si,fi) 内占用资源。若区间[si,fi) 与区间 [sj,fj) 不相交，则称活动 i 与活动 j 是相容的。也就是说，当 fi≤sj 或 fj≤si时，活动 i 与活动 j 相容。选择出由互相兼容的活动组成的最大集合。输入格式第一行
2021-05-08 09:32:47
175
1
原创 A [NOIP2008]笨小猴
笨小猴的词汇量很小，所以每次做英语选择题的时候都很头疼。但是他找到了一种方法，经试验证明，用这种方法去选择选项的时候选对的几率非常大！这种方法的具体描述如下：假设 maxn是单词中出现次数最多的字母的出现次数， minn是单词中出现次数最少的字母的出现次数，如果 maxn−minn 是一个质数，那么笨小猴就认为这是个 Lucky Word，这样的单词很可能就是正确的答案。输入格式只有一行，是一个单词，其中只可能出现小写字母，并且长度小于 100100 。输出格式共两行，第一行是一个字符串，假设输入
2021-05-08 09:18:01
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人