StoneWords的博客

分享一些日常学习工作时候的心得于体会

ROW_NUMBER() OVER函数的基本用法

语法:ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN) 步骤1: 简单的说row_number()从1开始,为每一条分组记录返回一个数字,这里的ROW_NUMBER() OVER (ORDER BY xlh DESC) 是先把xlh列降序...

2019-06-13 19:32:34

阅读数 29

评论数 0

MySQL的binlog日志详解

binlog 基本认识 MySQL的二进制日志可以说是MySQL最重要的日志了,它记录了所有的DDL和DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL的二进制日志是事务安全型的。 一般来说开启二进制日志大概会有1%的性能损耗(参见MyS...

2019-02-26 20:00:12

阅读数 34

评论数 0

hive常用函数之字符串处理函数

1. 字符串长度函数:length 语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例: hive> select length('abcedfg') from lxw_dual;           7 2. 字符串反转函数:reve...

2019-02-22 18:46:59

阅读数 54

评论数 0

百亿级全网舆情分析系统存储设计

前言 在时下互联网信息的浪潮下,信息的传播速度远超我们的想象。微博里一条大V的帖子,朋友圈的一个状态更新,热门论坛的一条新闻,购物平台的购物评价,可能会产生数以万计的转发,关注,点赞。如果是一些非理性负面的评论会激发人们的负面感,甚至影响到消费者对企业品牌的认同,如果不能及时的采取正确的应对措施...

2019-02-21 17:16:50

阅读数 146

评论数 0

基于TableStore的数据采集分析系统介绍

摘要 在互联网高度发达的今天,ipad、手机等智能终端设备随处可见,运行在其中的APP、网站也非常多,如何采集终端数据进行分析,提升软件的品质非常重要,例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单,但是数据量大,对系统的吞吐量、实时性、分析能力、查询能力都有较高的要求,搭建起来并不...

2019-02-21 17:11:38

阅读数 105

评论数 0

使用Hive处理服务器导入到OSS的日志数据

假设这样一个场景,用户有许多的机器(ECS或者自有机房的都可以),每天产生非常多的日志,记录了用户的访问的一些信息,比如userId,访问的页面地址,访问的时间,访问Ip等等。我们对这些数据进行一个离线分析,每天分析一次,计算网站的各个页面的UV、PV,并观察一下是否有作弊的情况:如多个不同的账号...

2019-01-11 14:21:54

阅读数 139

评论数 0

sql50道题及答案详解

创建表语句   create table Student(sid varchar(10),sname varchar(10),sage datetime,ssex nvarchar(10)); insert into Student values('01' , '赵雷' , '1990-01-...

2018-11-17 20:36:02

阅读数 259

评论数 0

教你如何使用强大的adb工具,解决你最头疼的问题!

先介绍一下什么是ADB:adb的全称为Android Debug Bridge,就是起到调试桥的作用。 借助adb工具,我们可以管理设备或手机模拟器的状态。还可以进行很多手机操作,如安装软件、系统升级、运行shell命令等等。其实简而言说,adb就是连接Android手机与PC端的桥梁,可以让用户...

2018-11-05 21:27:07

阅读数 1988

评论数 0

Auto.js 脚本自动收取自己和好友的蚂蚁森林能量

用autoJS写的能量收取脚本软件.说一下达到的效果,把蚂蚁森林按钮要设置在常用应用中.先收取自己主页的能量,然后进入排行榜收集好友的能量.中途可以按下音量下键提前结束脚本运行.改改测测基本上现在运行完美的了,充分衡量了网络延迟和程序运行正常的平衡性.并且支持支持运动能量生成时间段执行,等待自己的...

2018-08-20 16:33:41

阅读数 2079

评论数 4

sql常用语句整理(包括增删改查),适合小白使用

一、插入(复制)表数据1、INSERT INTO 语句(1)插入新的一行数据[sql] view plain copyINSERT INTO Persons VALUES ('Gates', 'Bill', 'Xuanwumen 10', 'Beijing');  (2)在指定的列中插入数据[...

2018-05-29 15:59:44

阅读数 7510

评论数 0

用阿里云轻松搞定日志实时分析及监控大屏

 通过最佳实践帮助您实现上述案例效果 Step1:数据准备数据格式如下:$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent"$ht...

2018-05-11 09:12:38

阅读数 3706

评论数 1

关系型和非关系型数据库的区别?

当前主流的关系型数据库有Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL等。非关系型数据库有 NoSql、Cloudant。nosql和关系型数据库比较?优点:1)成本:nosql数据库简单易部署,基本都是开源软件,不需要像使用ora...

2018-05-10 15:01:57

阅读数 341

评论数 0

大数据项目的一般测试方法

一.功能性测试       大数据功能主要涉及系统实现面向大数据分析应用的POSIX API,包括文件读取与访问控制,元数据操作,锁操作等功能;大数据分析系统的POSIX语义不同,实现的文件系统API也不同,功能测试要覆盖到大数据系统涉及实现的API和功能点;功能测试工作量大,应该重点考虑应用...

2018-05-08 09:14:02

阅读数 4869

评论数 1

常见的几种RuntimeException及其详解

一般面试中java Exception(runtimeException )是必会被问到的问题常见的异常列出四五种,是基本要求。更多的。。。。需要注意积累了 常见的几种如下: NullPointerException - 空指针引用异常ClassCastException - 类型强制转换异常...

2018-04-24 09:36:26

阅读数 11553

评论数 0

Windows下使用DOS命令进入MySQL数据库

工具/原料MySQL数据库5.5.25(已完成安装并配置环境变量)Windows7操作系统方法/步骤桌面左下角windows图标--搜索框内输入cmd,结果如图所示,点击cmd.exe,或者使用快捷键Windows键(在键盘上有个Windows标志的按键)+R输入cmd后回车。启动mysql数据库...

2018-04-21 15:28:54

阅读数 65

评论数 0

Hadoop Shell命令(基于linux操作系统上传下载文件到hdfs文件系统基本命令学习)

Apache-->hadoop的官网文档命令学习:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlFS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <a...

2018-04-20 13:03:36

阅读数 82

评论数 0

linux中ifconfig后不显示eth0网卡的解决方法

【环境参数】VMware:10.0.1 build-1379776Host OS:Win7 32bitHost IP:192.168.0.101Client IP:无网卡Client OS:CentOS 6.5 x86_64,i686,最小化安装(Minimal)。在安装自定义组件包时,(1)...

2018-04-18 22:11:06

阅读数 3701

评论数 1

Sqoop-1.4.6安装部署及详细使用介绍

之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用,综合比较后选择Sqoop1。Sqoop1安装配置比较简单一、安装部署(1)、下载地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz解压到/...

2018-04-18 12:37:10

阅读数 77

评论数 0

Kettle Spoon入门教程

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等。Spoon通过图形化的页面,方便直观的让你完成数据转换的操作。1、安装配...

2018-04-16 21:22:52

阅读数 434

评论数 0

Spark基础知识点儿汇总

*spark的理解spark是一个快速的、统一的大规模数据处理引擎它是基于内存计算的它的特点是:快速、易用、适用于各种数据处理场景(批处理、流处理、交互式处理)、它可以运行在多种分布式计算框架中,如yarn和mesos等*spark的架构Master  spark计算集群的主节点,负责接收客户...

2018-04-13 19:26:05

阅读数 776

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭