大数据
王二小、
这个作者很懒,什么都没留下…
展开
-
学习笔记第五天&第六天
课堂学习笔记第五天课程:数据分析数据分析--基本步骤--明确目的和思路--数据分析方法论数据分析--基本步骤--收集 处理 分析 展现数据分析--分布式大数据时代大数据分析系统--实时、离线之分第六天课程:网站流量日志分析网站流量日志分析--网站web流量日志网站流量日志分析--自定义采集原理--雏形原理网站流量日志分析--自定义采集原理--详解网站流量日志分析--设计实现开始--确定收集信息网站...原创 2019-07-08 20:14:24 · 257 阅读 · 0 评论 -
第九第十 hdfs的读写流程&mapreduce流程入门
课堂学习笔记第九天课程:课程大纲HDFS 工作机制--上传文件写数据流程HDFS 工作机制--下载文件读数据流程HDFS 工作机制--nn dn核心概述HDFS java操作--开发环境构建--FileSystem类HDFS java操作--注意身份&注意winUtilsexeHDFS java操作--更加底层Stream的形式访问HDFS 案例--了解shell采集数据到hdfs第九天...原创 2019-07-14 15:35:38 · 731 阅读 · 0 评论 -
第七第八 hadoop环境的搭建&HDFS分布式文件存储系统的学习
课堂学习笔记第七天课程:Apache Hadoop介绍&环境搭建Apache Hadoop介绍Apache Hadoop集群介绍Apache Hadoop集群搭建&集群规划Apache Hadoop集群搭建--服务器环境准备&jdk安装Apache Hadoop集群搭建--源码编译意义&安装目录讲解Apache Hadoop集群搭建--配置文件详解Apache Ha...原创 2019-07-11 21:24:40 · 627 阅读 · 0 评论 -
课堂笔记第三天&第四天
课堂学习笔记第三天课程:ZookeeperZookeeper概述&主从、主备集群全局数据一致性集群主从角色职责数据模型--文件系统特性数据结构--节点类型Zookeeper集群搭建第二天课程:Linux增强&Shell编程查找常用命令su 、sudomount挂载本地yum源系统服务&网络管理网络监听crontab定时器Shell编程——介绍&入门变量&参数...原创 2019-06-19 17:12:46 · 157 阅读 · 0 评论 -
课程学习笔记第一天&第二天
第一天课程虚拟机—虚拟组件网卡交换机网桥DHCP服务器NAT服务器虚拟机—虚拟组件网卡上网的硬件设备。交换机计算机和网线形成局域网。网桥连接两个局域网。DHCP服务器自动分配IP的信息。NAT服务器将内部网络使用(不可路由)的IP转换为外部网络使用(可路由)的IP。...原创 2019-06-12 00:29:16 · 437 阅读 · 0 评论 -
MR的流程再次理解 & Flume采集框架
课堂学习笔记MR的流程再次理解再次理解MR的输入输出理解数据分区&验证默认分区规则mapper阶段解析reducer阶段解析mapreduce案例--流量统计mapreduce--了解combinerApache Flume采集框架组件介绍&采集结构图flume网络到本地测试体验:Apache Flume--案例--采集目录到hdfs--spooldir&hdfsApach...原创 2019-07-26 15:34:00 · 303 阅读 · 0 评论 -
数据管理&数据仓库&Hive的使用
课堂学习笔记数据管理&数据仓库数据文件管理真谛文件管理规范数据质量检测数据仓库--为什么出现数据仓库--为了分析数据仓库和数据库的区别数据仓库的分层架构数据仓库的元数据管理Apache Hive讲解的是数据管理,以及数仓的定义、以及Hive的使用。Hive偏向于操作。数据管理&数据仓库数据文件管理真谛文件管理的真谛在于方便保存和迅速提取,所有的数据文件将通过某种属性分类被...原创 2019-08-05 18:53:47 · 834 阅读 · 0 评论 -
Apache Hive——DML
课堂学习笔记Apache Hive——DDL&DMLApache Hive--DDL创建表--内部表、外部表Apache Hive--了解DDL修改表语法Apache Hive--查看表的信息&探究解密元数据Apache Hive--DML--load加载数据--重点理解local是哪里Apache Hive--DML--insert--使用规范Apache Hive--DML--...原创 2019-08-15 21:44:32 · 300 阅读 · 0 评论