hadoop
文章平均质量分 67
bigdata从入门到放弃
将来的你肯定会感谢现在努力的自己
展开
-
数仓可视化3--dws层宽表
昨天是统计的一个用户启动一次,就记录一次,将启动时间变为了时间段。原创 2024-01-02 08:59:46 · 490 阅读 · 0 评论 -
数仓可视化2--数仓分层
action行为种类:INSTALL("01", "install","安装"),LAUNCH("02", "launch","启动"),LOGIN("03", "login","登录"),REGISTER("04", "register","注册"),INTERACTIVE("05", "interactive","交互行为"),EXIT("06", "exit","退出"),PAGE_ENTER_H5("07", "page_enter_h5","网页页面进入"),原创 2023-12-28 10:43:07 · 430 阅读 · 0 评论 -
电商数仓可视化1--数据导入
1、业务数据业务数据往往产生于事务型过程处理,所以一般存储在关系型数据库中,如mysql、oracle业务数据源:用户基本信息、商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等2、埋点数据埋点日志相对业务数据是用于数据分析、挖掘需求,一般以日志形式存储于日志文件中,随后通过采集落地分布式存储介质中如hdfs、hbase用户行为日志:用户浏览、用户点评、用户关注、用户搜索、用户投诉、用户咨询3、外部数据。原创 2023-12-27 10:32:01 · 991 阅读 · 0 评论 -
Azkaban设置邮箱报警-睿象云电话,短信报警
azkaban实现邮箱、电话、短信、微信报警服务原创 2023-11-10 16:49:07 · 391 阅读 · 1 评论 -
大数据之数据迁移sqoop的安装
sqoop的基本介绍以及安装使用原创 2023-09-14 15:19:33 · 226 阅读 · 1 评论 -
linux的免密登录
免密登录的相关配置原创 2023-09-07 12:07:56 · 1152 阅读 · 1 评论 -
linux中hadoop伪分布搭建
hadoop的核心配置文件在/opt/hadoop/etc/hadoop下,主要修改core-site.xml 、hdfs-site.xml、mapred-site.xml(由mapred-site.xml.template拷贝而来)、yarn-site.xml、slaves五个文件。在正方形内随机撒点,分布于1/4圆内的数量假设为a ,分布于圆外的数量为b,N则是所产生的总数:N=a+b。b、伪分布式 -----只是模拟hadoop集群,会有不同守护进程,这些进程只保留在一台节点。原创 2023-09-06 22:18:48 · 2507 阅读 · 0 评论