miaomiaom11的博客

原创 hive踩坑记录

hive踩坑记录1使用大数据平台补录数据出错，错误如下：Error: GC overhead limit exceededFAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedduring job, obtaining debugging information原因：内存不足，添加如下参数：set mapreduce.reduce.memory.mb=5120set mapredu

原创 商业模式的逻辑--清华大学X-lab沈拓学习笔记

1.为什么学习商业模式商业模式的定义描述了企业如何让创造价值、传递价值和获取价值的基本原理。通俗的说，如何为客户带来价值，怎么把价值交付出来，最终是赚钱。案例手机行业：华为，高端市场，传递是线下渠道，电信运营商（海外），高毛利挣钱小米，高性价比，线下线上，收集收益，流量红利（周边产品）oppo，音乐收集，二三四线城市，手机收益商业模式的价值商业模式的设计及创新，是企业的最高优先级。2.商业模式逻辑概述商业画布顺序：客户细分–价值主张（客户购买或者使用的理由）–渠

原创 hive sql和mysql用法区别一之连接查询

子查询hive只支持在from使用子查询，子查询要有别名，列名唯一。mysql支持在select，from，any，=(!=) ,IN，exists等使用子查询。hive中semi join是用来在hive中解决in exists子查询的问题。2.连接查询hive不支持等值连接，只能使用join on...

原创 数据分析-网站分析示例

原创 MYSQL----基础函数

1.了解SQL1.1数据库基础数据库是保存有组织的数据的容器（通常是一个文件或一组文件）注意：区别数据库软件，数据库软件应成为DBMS（数据库管理系统）。主键：一列（或一组列），其值能够唯一区分表中每个行。注意：主键并不是必须的；条件（MySql本身强制实施）：1.任一两行都不具有相应的主键值；2.每行都必须具有一个主键值（主键列不允许NULL值）1.2什么是SQLStructured Query Language的缩写，结构化查询语言2.MySql简介2.1什么是MySql

原创 数据分析之数据解决产品问题1

指标和维度指标是一数列，维度是每列的行。比如城市的gdp；gdp是指标，城市是维度，可以是北京或上海；指标和属性属性比如一个人的性别，身高，地点异常查找趋势图看变化，首先确定明显是否真的变化了，通过同比排除周期性的规律；确定是变化了，再进行细分。细分：根据不同的维度拆解。数据产品1.数据采集前端:埋点可视化埋点/全埋点：页面浏览数据，点击数据业务同学临时需求，缺点：不能提供多维度丰富的属性数据；代码埋点：购买商品后端：代码埋点：库存商品导入工具：用户风险等级

原创 mysql修改/删除表的语法

修改表首先都以ALTER开头修改表名：ALTER TEBLE <旧表名> RENAME [TO] <新表名>；修改字段数据类型：ALTER TABLE<表名>MODIFY <字段名><数据类型>；修改字段名：ALTER TABLE <表名>CHANGE <旧表名><新表名>&l...

原创 linux操作之用户和用户组管理

用户配置文件一、用户信息文件2、影子文件保存密码三、组信息文件用户管理相关文件用户管理命令1.用户添加命令useradd一般不推荐手动设置。2.修改用户密码passwd3.修改用户信息usermod删除用户密码状态chage4.删除用户userdel用户切换命令su用户组管理命令...

原创 linux操作之文本编辑器Vim

Vim简介Vim是一个功能强大的全屏幕文本编辑器，是linux/unix上最常用的文本编辑器，它的作用是建立、编辑、显示文本文件。Vim没有菜单，只有命令。文本编辑器使用技巧这些只是一次设置，可以在配置文件下设置可永久生效。在需要配置文件一般存放在家目录下，叫.vimrc;普通用户在/home/用户名/.vimrc管理员：/root/.viemc....

原创 linux常用命令

4.1文件处理命令4.1.1命令格式与目录处理命令ls-a表示全部文件，前加.的是隐藏文件-l l=long，显示文件的信息比较多-lh 在显示文件大小时显示k或g补充：-ld只显示目录本身的信息，而不是显示目录里的子文件信息图1中的-d与-l结合。-i查询i节点。4.1.2目录处理文件目录处理命令：mkdir注意：在新创建的目录下再创建一个子目录用mkdir不可行...

原创 mysql高级2——索引介绍

索引是什么官方定义：索引（index）是帮助mysql高效获取数据的数据结构。理解为索引的本质：索引是数据结构。索引目的是提高查询效率，可以类比字典（无序，是键和值一一对应）。（感觉不太对）可以简单理解为：“排好序的快速查找数据结构”。用二叉树的结构来查找数据，称为B tree索引...

原创 高级mysql之五——查询截取分析

优化顺序：查询优化in和exist：A IN BB EXIST A前提是A数据集大于B。order by 关键字优化：首先尽可能在索引上进行排序：两种情况会使用index排序：1）使用索引最左前列2）使用where子句和order by子句条件列组合使用索引最左前列。不在索引上的排序或索引失效时候filesort排序。小结：group by优化和order by...

原创 高级mysql之四——索引优化

防止索引失效1.索引多列时，查询必须从最左开始，中间列也不能省略。否则会到导致索引失效。7.通配符like开头%必须加到右边，非要两边都要加%的话要用覆盖索引。注意like也是范围，但是只要不是%开头，后边的不会失效。口诀：...

原创 mysql高级之四——索引优化小tips

简单来说优化就是添加索引，根据explain语句查看性能，做调整，得到较优的sql语句。单表优化首先添加索引；注意：索引字段查询时不可使用范围，会出现using filesort；两个表优化左连接，在右表上加索引右连接，在左表上加索引（记住相反键）三表优化小表驱动大表减少join次数主表不建索引...

原创 mysql高级之三性能分析

explain语法：explain+sql语句显示的就是运行该语句的性能结果显示栏目录：分别来介绍一下id，告诉表的读取顺序：表示运行表的顺序，同号按序，不同号，大的先运行。select_type：告诉数据读取操作类型，type：type显示子内容posible keys和key分别表示系统中理论中有的索引，和实际所用的索引key_len:索引字节...

原创 linux目录的具体作用

之前快速学习了mysql的增删改查基础部分，趁着疫情在家把高级部分补一下。五个部分mysql的架构介绍索引优化分析查询截取分析主从复制mysql锁机制...

原创 linux操作系统

第一讲linux系统简介1.unix是比较早的操作系统，linux是在1991年开发出来，在unix的基础上。2.大数据计数是在linux操作系统上。3.应用领域：企业服务器，嵌入式（比如安卓）4.linux学习方法：-为什么用命令行： linux命令行只考虑服务器稳定安全，管理在服务器的人员编程能力都很强，所以没有图形化界面，还保留命令行。利用帮助，示例自己试一试专业的英文单词，...