mysql实现oracle中的row number功能 **mysql实现窗口函数row number() over()的效果**先有student表±-----±-------±-----------±------±—+| s_id | s_name | s_birth | s_sex±-----±-------±-----------±------±—+| 07 | 郑竹 | 1989-07-01 | 女| 01 ...
向mysql中导入文件时，忽略我们不想要的几列数据 向mysql中导入文件时，忽略文件中的两列数据当我们导入文件时，不需要某列数据，只要用@字段名即可。@后面用什么名都行，即跳过某列。cat xiaozhang.txtid name sex class score 1 小张 男 class1 1002 张三 男 class2 993 小红 女 class1 98create table ...
awk查看某列值有多少行，及多少种数据 查看xiaozhang.txt第3列为101的数据有多少行awk -F ‘#’ '$3==101 {print $0} xiaozhang.txt |wc -l查看xiaozhang.txt第2列有几种数据awk -F ‘#’ ‘{print $3}’ xiaozhang.txt | sort -un...
logstash收集nginx日志实战 目的：收集access.log日志文件信息,收集ip, 时间 , 请求行.nginx数据源例子：36.157.150.1 - - [05/Nov/2018:12:59:27 +0800] “GET /phpmyadmin_8c1019c9c0de7a0f/js/messages.php?lang=zh_CN&db=&collation_connection=utf8_unic...
统计多个文件总共多少行 目的：统计每月的总文件的总行数shell脚本：#!/bin/bashecho ‘’ > a.txtecho ‘输入月份，如01,12’read numfor ((x=1;x<10;x++))doa1=‘xiaozhang_2019’${num} ‘0’a2=’.txt’file=${a1} $ x${a2}wc -l ${file} >> a.txt...
mysql中索引的使用 **索引**我们在使用sql时，在遇到sql性能下降、执行时间长时，就需要考虑用索引来帮我们解决问题。如，数据过多，关联太多的表等。创建索引create index idx_name_age_address on student(name,age,address);create table student(id int（10） auto_increment,name varchar...
Spark中RDD **RDD**RDD叫做弹性分布式数据集。是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的几个。RDD具有数据流模型的特点，自动容错、位置感知性调度和可伸缩性。RDD是一个应用层面的逻辑概念。一个RDD多个分片。RDD就是一个元数据记录集，记录了RDD内存所有的关系数据。基于RDD之间的依赖，RDD会形成一个有向无环图DAG，该DAG描述了整个流式计算的...
Spark基础 **spark**spark是一种快速、通用、可扩展的大数据分析引擎。spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、Graphx、MLlib等子项目。spark是基于内存计算的大数据并行计算框架。是基于MapReduce算法实现的分布式计算。**特点**快、易用、通用、兼容性。主要架构模块spark Core:...
关注
