Just do it !

原创 制定等级体系评分标准

原创 RFM用户分层报告

原创 用户注册漏斗分析报告

原创 音视频弹窗A/BTest数据报告

原创 新注册男用户付费率下降归因分析报告

原创 Tableau

菜单栏文件工作薄区域设置：设置报表语言数据工作薄：复制当前工作薄粘贴到另一个工作薄导出打包工作薄选项：创建将与其它用户共享的打包工作薄数据新建数据源：查看所有可用数据源并选择刷新所有提取：刷新数据表单源编辑关系：定义多个数据源中用于连接的字段工作表显示标题显示说明显示摘要仪表板用于创建新的仪表板以及各种显示功能，如显示标题和导出图像等...

原创 Excel

基本操作快捷键ctrl+d 复制上一个单元格内容插入一列/行点击目标列/行，右键，插入插入多列/行(连续)选中多个目标列/行，右键，插入shift+方向键，选中，右键，插入插入多列/行(非连续)ctrl，选择，右键，插入选中连续单元格区域鼠标或shift选中非连续单元格区域ctrl转置选中表数据，复制，选择性粘贴，转置填...

原创 HA机制

HA机制hadoop2.x1.hadoop-HA（high available）所谓HA，即高可用（7*24小时不中断服务），消除单点故障hadoop的HAf分为各个组件的HA机制-----HDFS的HA，Yarn的HA2.HDFS的HA机制通过双namenode消除单点故障双namenode协调工作要点：①元数据管理方式改变：内存中各自保存一份元数据共享的edits放在一个文...

原创 Pandas基本操作

常用技巧（1）读取文件df=pd.read_excel(‘Online Retail.xlsx’)（2）初步设置#最大显示1000行pd.set_option(“display.max_rows”,1000)#最大显示20列pd.set_option(“display.max_columns”,20)#最大精度pd.set_option(‘precision’,7)...

原创 数据分析

数据分析是什么根据分析目的用适当的分析工具和方法对数据进行分析，提取有价值的信息，形成有效结论的过程作用原因分析对比分析（时间，空间）现状分析基础统计分析对比分析预测分析机器学习，统计学习流程明确分析目的原因分析（业务变动，用户变动，指标变动）现状分析（业务分析，用户分析，效果分析，竞争分析）预测分析（数值预测，离散预测）确定分析思路根...

原创 Flume

Flume代理一个source-channel-sink组合 配置启动Flume代理事务和可靠性批量处理HDFS sink分区和拦截器扇出交付保证复用选择器通过代理层分发交付保证Sink组组件编目Flume代理Flume代理是由持续运行的source（数据来源），channel（用于连接source和sink），sink（数据目标）...

原创 Hadoop之MapReduce

mapreduce参数优化资源相关参数shuffle性能优化的关键参数容错相关参数效率和稳定性相关参数运行mapreduce作业inline方式运行local方式运行提交到集群运行MapReduce数据压缩MapReduce补充mapreduce参数优化资源相关参数以下参数在用户自己mr应用程序中配置就可以生效mapreduce.map.memo...

原创 Hadoop之HDFS

HDFS的概念和特性HDFS的命令行操作HDFS工作机制HDFS写数据流程HDFS读数据流程Namenode工作机制CheckpointSafemodeHDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间—目录树来定位文件其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色重要特性如下：HDFS中的文件在物理上是分块存储...

原创 分布式系统组件简介

HDFS简介MapReduce简介Yarn简介HadoopApache官方版本1.x2.x2.6.4商业发行版CDH 5.7.x分布式文件系统HDFS* 端口50070具有分布式的集群结构，我们把实际存储数据的节点Datanode具有一个统一对外提供查询，存储，搜索的机器节点Namenode对外能够和客户端打交道对内跟实际存储数据的节点打交道...

原创 Linux操作

查看当前工作绝对路径pwd查看当前时间 date显示年月日date + %Y-%m-%d查看命令参数date --help日期加减date +%Y-%m-%d --day="-1 day"(month,year同理)设置时间date -s "时间"(重启无效)hwclock -w(永久有效)需要写入硬件bios才能在重启之后依然生效查看服务器当前登录对象who...

原创 晚年

"我本想这个冬日就死去的，可最近拿到一套鼠灰色细条纹的麻质和服，是适合夏天穿的和服，所以我还是先活到夏天吧。" ————太宰治...