大数据
你冻了我的冬天
剖析技术的底层原理
展开
-
Hive 运行流程总结包含优化
关键词:hive处理小文件,数据倾斜,mr程序流程,SQL解析步骤,hive优化,hive面试,hive控制map数,hive控制reduce数由于上传图片大小限制,思维导图未展开,请移步展开原创 2021-02-24 15:23:07 · 182 阅读 · 0 评论 -
kafka 知识总结,以及问题总结
kafka 知识总结,问题总结kafka 知识总结,以及问题总结kafka 知识总结,以及问题总结kafka总结:消息队列,kafka架构,组件作用,为什么比磁盘快,怎么保证数据不丢失,如何手动设置offset,如何保证kafka消费顺序,kafka事务什么,搭建kafka集群等,内容持续更新。由于图片大小设置,思维导图未展开,详细请进入链接:详细思维导图...原创 2021-02-10 11:56:37 · 146 阅读 · 0 评论 -
Cloudera集群初始搭建
2017 08 04 版本 初始1.0 (受用之后的一赞,将是鄙人持久的动力) 目录一,集群规划 二,linux系统环境准备 1,安装linux centos6.5 2,配置网络 3,增加普通用户 4,配置普通用户的sudo权限 5,关闭防火墙 6,禁用Selinux 7, 设置文件打开数量和用户最大进程数 8,yum源跟换和添加 9,卸载Centos自带的JD...原创 2017-08-07 10:51:49 · 3789 阅读 · 0 评论 -
Hive 基本操作
目录1.显示地展示当前使用的数据库2.建表3.导入本地文件4.数据库多用户共享表5.创建数据库5.1仓库数据库判断数据库是否存在5.2.显示现在有的数据库5.3条件查询数据库5.4创建指定存放文件位置 数据库5.5创建数据库时 添加注释信息5.6创建数据库 添加扩展信息转载 2017-08-07 11:04:56 · 366 阅读 · 0 评论 -
Flume(NG)架构设计要点及配置实践
看到一个特别好的博客,对于flume有较深的理解,现转载如下:Flume(NG)架构设计要点及配置实践 原文链接 : http://shiyanjun.cn/archives/915.htmlFlume日志收集分层架构应用实践原文链接: http://shiyanjun.cn/archives/category/opensource/flume...转载 2018-05-14 15:09:20 · 144 阅读 · 0 评论 -
完全关闭及再次启动cdh集群
关闭集群 - 关闭集群所有组件 关闭Cloudera Management Service 关闭cdh所有客户端节点sudo /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-agent hard_stop_confirmed 使用stop不会停止pid相关的进程,会造成在客户端机器重启后再次启动cloudera-s...转载 2018-06-06 19:40:07 · 11072 阅读 · 0 评论 -
大数据项目-----网站点击流
网站点击流数据分析项目:https://blog.csdn.net/u014033218/article/details/76847263转载 2018-07-03 14:08:05 · 2111 阅读 · 0 评论