![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
离线大数据
诸葛子房_
先后就职于京东和BAT,在大数据领域有多年工作经验;
Apache Griffin&&Apache Zeppelin Contributor,dataCompare和dataService作者
展开
-
爬虫常见场景
1.普通网页爬取demo:娱乐淘金-虎嗅网 (huxiu.com)爬取demo:zhugezifang/webmagic-collector (github.com)2.js 动态渲染网页爬取通过Quick Javascript Switcher - Chrome 网上应用店 (google.com)进行判断是不是js 渲染的页面demo:豆瓣电影 (douban.com)3.app爬虫---抓包工具Charles抓包 - 简书 (jianshu.com)...原创 2022-04-27 17:05:58 · 1059 阅读 · 0 评论 -
Hadoop MR 任务运行时日志分析
1.任务状态,只有map 节点2.实际日志分析原创 2022-02-17 15:56:45 · 784 阅读 · 0 评论 -
使用Hadoop ToolRunner 运行wordcount demo
1.代码package org.jediael.hadoopdemo.toolrunnerdemo;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache原创 2021-11-24 11:04:00 · 109 阅读 · 0 评论 -
hive中的 lateral view
ateral view用于和split, explode等UDTF一起使用,它能够将一列数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。一个简单的例子,假设我们有一张表pageAds,它有两列数据,第一列是pageid string,第二列是adid_list,即用逗号分隔的广告ID集合:string pageid Array<int> adid_list "front_page" [1, 2, 3] "contact_page" [3, 4, 5]原创 2021-08-13 16:07:26 · 816 阅读 · 0 评论 -
Hologres 是如何完美支撑双11智能客服实时数仓的?
https://blog.csdn.net/weixin_43970890/article/details/110179616原创 2021-03-01 15:54:33 · 162 阅读 · 0 评论 -
用户画像建设
1.用户是否大V(绑定信息根据新浪微博)2.下沉市场(收货地址)3.年龄(老年人)原创 2021-02-01 16:14:54 · 300 阅读 · 0 评论 -
Hive 行列转换
https://www.cnblogs.com/blogyuhan/p/9274784.html原创 2021-01-25 15:56:01 · 124 阅读 · 0 评论 -
口碑榜
参考:实时榜单排行计算商品销量榜单口碑榜:卖的好,且售后问题少。反例:买的好,但是售后(咨询、退款)多 买的好的原因有可能是给流量了原创 2021-01-06 17:18:29 · 95 阅读 · 0 评论 -
Hive SQL 优化
1.案例一原sql:select count(case when a.id in (select id from b) then 1 esle 0) from a;改造后:select count(case when b.id is not null then 1 else 0) from aleft join b on a.id=b.id;原创 2020-12-28 10:48:19 · 248 阅读 · 0 评论 -
Hive全量表和增量表互相转换
全量表和增量表互相转换原创 2020-11-09 17:43:12 · 3751 阅读 · 0 评论 -
hadoop系列——linux hadoop安装
一、安装模式1.单机版本2.伪分布式3.完全分布式二、安装过程1.java jdk 安装2.hadoop安装(1)单机版 standalone步骤一:下载https://hadoop.apache.org/releases.html步骤二:配置使用java/Users/xiaoqiu/alibaba/soft/bigData/hadoop-2.9.2/etc/hadoop/hadoop-env.sh步骤三:修改hdfs的配置文件/Users/xi.原创 2020-05-21 10:21:21 · 291 阅读 · 0 评论 -
ROW_NUMBER() OVER()函数用法详解 (分组排序 例子多)
数据:create table TEST_ROW_NUMBER_OVER( id varchar(10) not null, name varchar(10) null, age varchar(10) null, salary int null);select * from TEST_ROW_NUMBER_OVER t;inse...原创 2019-11-05 17:40:11 · 497 阅读 · 0 评论 -
创建hive表并关联数据
1.数据格式(hdfs数据) \tid+"\t"+namehdfs://ns1/user/traffic_etl/dt=2019-10-15/1.lzohdfs://ns1/user/traffic_etl/dt=2019-10-16/2.lzo2.创建表CREATE EXTERNAL TABLE `app.app_ord_etl_bak`( `id` strin...原创 2019-10-15 11:46:20 · 612 阅读 · 0 评论 -
Hive LAG函数分析
含义:LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值第一个参数为列名,第二个参数为往上第n行(可选,默认为1),第三个参数为默认值(当往上第n行为NULL时候,取默认值,如不指定,则为NULL)数据准备:验证:...原创 2020-05-20 10:48:12 · 9505 阅读 · 0 评论 -
Hive 全量表、增量表、拉链表 解析
1.全量表(1)全量表,有无变化,都要报(2)每次上报的数据都是所有的数据(变化的+没有变化的)第一次:id name money time 1 a 10 2020-05-18 00:01:01 2 b 20 2020-05-18 10:00:00 第二次:id name money time 1 a 20 2020-05-19 00:01:01 2 b 20 ..原创 2020-05-18 20:15:23 · 1171 阅读 · 0 评论