大数据
文章平均质量分 80
Hadoop生态相关技术,包括hdfs、yarn、hive、sqoop、spark等技术
Chaim998
大学生
展开
-
尚硅谷大数据之Linux
尚硅谷大数据之Linux第一章Linux入门1.1概论Linux是一套免费使用和自由传播的类Unix操作系统,Linux继承了Unix以网络为中心的思想,是一个稳定的多用户网络操作系统。1.2Linux和Windows的区别1.Linux免费,Windows收费2.Linux比Windows更加安全3.Windows是纯图形界面操作,而Linux是兼具图形界面操作和命令行4.Linux可定制性很强5.linux应用场景更加的广泛第二章、Linux文件与目录结构3.1Linux系统中一切原创 2021-10-29 11:26:43 · 2105 阅读 · 0 评论 -
scala的简单总结(尚硅谷学习)
scala的简单总结文章目录scala的简单总结一、scala的概述1.1学习Scala的原因1.2scala诞生小故事1.3Scala和Java以及JVM的关系图1.5各种操作系统环境下搭建Scala1.6Scala开发工具介绍1.7Scala快速入门(idea-hello工程)1.8Scala执行流程1.9Scala注意事项(重)1.10Scala转义字符1.11Scala语言输出的三种方式1.12查看源码关联1.12注释1.13良好的编程规范二、变量2.1变量是程序的基本单位2.2变量的使用2.3变原创 2021-10-03 18:03:26 · 432 阅读 · 0 评论 -
scala的简单总结
scala的简单总结文章目录scala的简单总结一、scala的概述1.1学习Scala的原因1.2scala诞生小故事1.3Scala和Java以及JVM的关系图1.5各种操作系统环境下搭建Scala1.6Scala开发工具介绍1.7Scala快速入门(idea-hello工程)1.8Scala执行流程1.9Scala注意事项(重)1.10Scala转义字符1.11Scala语言输出的三种方式1.12查看源码关联1.12注释1.13良好的编程规范二、变量2.1变量是程序的基本单位2.2变量的使用2.3变原创 2021-10-04 16:40:53 · 290 阅读 · 0 评论 -
大数据概论
大数据概论(尚硅谷学习总结01)大数据(Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据4V特性1、Volume(大量)2、Velocity(高速)3、Variety(多样)结构化数据和非结构化数据。结构化数据;数据库和表格文档。非结构化:视音频,照片等4、Value(低价值密度)我们获取的数据大多数为脏数据。一般数据量越大,数据价值密度越低原创 2021-06-11 09:08:00 · 130 阅读 · 0 评论 -
使用sqoop从MySQL导入数据到hdfs
使用sqoop从MySQL导入数据到hdfs1、代码解析:bin/sqoop import --connect jdbc:mysql://hadoop102:3306/ \【此处为换行符,必须是空格加\】book【数据库名】 --username root --password 123–table orders【表名】–columns id,order_id,order_time \【所需的列名】–where “order_id >= 1 and order_id<=20” \【所原创 2021-10-13 20:51:48 · 1340 阅读 · 0 评论