基本功
文章平均质量分 78
浩海紫冰
c爱好者。时间
展开
-
《on java》lambda 表达式
一.定义lambda 表达式和累的定义和匿名内部类实现了同样的效果,但是代码量小很多。lambda 产生的是函数,而不是可,在编程时理解为函数。二.使用lambda 表达式 : 参数->表达式1.只有哟各参数,可以只写这个参数,不写括号 static Body bod = h->h+"no parens ";2.第一种是特殊情况,通常是用括号奖参数包裹起来 static Body bod2 = (h)-&...原创 2022-05-09 22:26:05 · 273 阅读 · 0 评论 -
阿里笔试sql
1.假定你当前有两张淘宝交易订单表order和sub_oder,存储于hive环境,其表结构信息如下,一个订单ID下可能多个子订单,一个子订单代表一个买家在一个卖家购买的一种商品,可能购买多件,整个支付金额是在主订单上。 create table order( order_id bigint --订单ID ,sub_order_id bigint --子订单ID ,seller_id bigint --卖家ID ...原创 2021-10-28 21:46:25 · 628 阅读 · 0 评论 -
hive 安装步骤以及问题解决方案
1.安装hive2.启动hive1. 先启动hadoop 见hadoop 文档2.常见操作步骤3.报错1.比较难解决的问题 是最后运行schematool -dbType mysql -initSchema 初始化hive时候报Unable to load authentication plugin 'caching_sha2_password'.schematool -dbType mysql -initSchemaSLF4J: Class path conta...原创 2021-02-10 16:33:59 · 1604 阅读 · 0 评论 -
mac zsh: command not found: vim
mac 配置bash时导致基本命令失效的解决办法背景:在mac环境下安装hive 时候,由于脑残修改了bash_profile 文件中的配置错误,导致所有hadoop 的命令都用不了,然后在网上搜各种解决方案,从开始的权限问题排查,到后来定位到时bash 的配置问题.于是在修改bash文件时候结果更糟糕,连一般的vim 命令都用不了了,根本打不开文件,后来这个博客,给了灵感 救了命了https://blog.csdn.net/weixin_40200876/article/details/879380.原创 2021-01-25 12:05:15 · 10606 阅读 · 3 评论 -
安装hadoop 问题记录
1.安装hadoop 报错目录1.安装hadoop 报错2.hadoop 实例运行3.总结1.启动bin/hdfs namenode -format 命令后包如下错误 SHUTDOWN_MSG: Shutting down NameNode at huwei.local/192.168.1.1002021-01-24 00:09:11,446 INFO common.Storage: Storage directory /usr/local/Cellar/hadoop/3...原创 2021-01-24 19:31:34 · 1615 阅读 · 0 评论 -
数据同步
1.基本概念binlog:https://www.cnblogs.com/rjzheng/p/9721765.html原创 2020-12-16 13:29:18 · 116 阅读 · 0 评论 -
2020-10-24 大数据面试问题
上周面试数据开发职位主要从公司的视角讲一下记录下面试流水。1.三面技术一轮hr,面到了cto 整体来看是这一周技术含量最高信息量最大的一个,1到4轮过了4个小时,技术上的问题主要问的对数据分层的理解。1. 一面自我介绍、目前团队的规模多大(20)、你负责的模块是那些(购物、短信、增长)、那几个人在做2. 数据架构图划分(五层架构讲了7分钟左右)3. 指标口径怎么统一 、那些工作(定标准、报表和核心、场景)、数据治理怎么做(元数据管理)动作:业务迭代下线模型 。依据:指标热度、模型事实冗.原创 2020-10-24 14:36:02 · 2040 阅读 · 0 评论 -
数据仓库笔试题-pdd
题目:商品活动表 goods_activity,字段id主键、goods_id 商品id,act_id 活动id,create_time 活动创建时间 、status 上线状态2 上线 ,3 下线问题一、每个活动的每个商品 的开始时间和结束时间?问题二、假设数据中有脏数据,同一个活动可能 两次上线,也可能两次结束,需要把活动上线重复的状态按照时间取第一条,结束上线状态重复的按时间取最后一条。-- 第一题:-- id,goods_id,act_id,create_time-- asdf3..原创 2020-10-20 23:41:15 · 1552 阅读 · 0 评论 -
Mapreduce 教程-翻译
Mapreduce 教程--大数据基本功一.mapreduce概念mapreduce定义:是hadoop的处理层,将整个任务拆分成各个独立的子任务并行处理的大规模数据编程模型。整个任务被用户提交到master主节点上然后被拆分成子任务并分配给各个从节点。mapreduce编程模型是函数式构造的类型风格。1.1了解mapreduce了解hadoop的mapreduce从以下几个问题入手,hadoop看起来像什么,what,why and mapreduce 怎样工作...原创 2020-07-27 00:38:33 · 388 阅读 · 0 评论