大数据学习路线
关注
分享
扫一扫
好程序员IT
这个作者很懒，什么都没留下…
展开
-
好程序员大数据教程分享大数据之流程控制
好程序员大数据教程分享大数据之流程控制，程序在运行的时候, 对代码执行的先后顺序, 称作程序的执行结构. 在Java中, 程序的执行结构分为三种:顺序结构: 代码从上往下逐行执行, 是程序执行的基本结构 分支结构: 代码执行到某一个节点遇到多个分支, 选择其中的一个分支执行, 其他的分支都不执行 循环结构: 某一个代码段需要重复的执行程序默认采用的是顺序结构, 我们也可以通过一些语句来修...原创 2019-11-19 16:59:01 · 195 阅读 · 0 评论 -
好程序员大数据学习路线分享大数据之基础语法
1.2.1计算机理论介绍1.2.2编程基础--进制分类、进制转换进制就是进位制。指的是我们来表示一个数字的时候进位的制度。进制分类计算机中，常用的进制有以下几种:|进制|描述|示例|备注||--------|----------...原创 2019-11-19 16:41:33 · 126 阅读 · 0 评论 -
好程序员大数据教程Scala系列之方法的嵌套和方法多态
好程序员大数据教程为大家分享Scala系列之方法的嵌套和方法多态方法里嵌套定义其他方法示例1objectEmbedDemo {defadd3(x:Int,y:Int,z:Int)={defadd2(x:Int,y:Int)={x+y}add2(add2(x,y),z)}defmain(args: Array[S...原创 2019-10-12 16:20:28 · 129 阅读 · 0 评论 -
大数据学习路线分享IO流学习笔记
大数据学习路线分享IO流学习笔记-IO流(input/output):作用:实现两个设备之间数据的传递设备:磁盘(硬盘),内存,键盘,文件,网络,控制台网络:当前主机之外的网上资源分类:根据操作的方式:输入流和输出流 ---因**内存**为参考根据数据的类型:字节流和字符流字节流:字节输入流:InputStream字节输出流:OutputS...原创 2019-09-25 16:33:02 · 178 阅读 · 0 评论 -
好程序员大数据学习路线分享大数据之线程
好程序员大数据学习路线分享大数据之线程，默认情况下,主线程和垃圾回收线程都是由系统创建的,但是我们需要完成自己的功能----创建自己的线程对象java将线程面向对象了,形成的类就是Thread,在Thread类内部执行任务的方法叫run()注意:如果想让run作为任务区,必须让他去被自动调用.我们通过执行start()方法,来开启线程,继而实现run方法的自动调用.主线程的名字...原创 2019-09-25 16:26:33 · 143 阅读 · 0 评论 -
好程序员大数据学习路线分享分布式文件系统HDFS
好程序员大数据学习路线分享分布式文件系统HDFS，设计目标：1、存储量大2、自动快速检测应对硬件错误3、流式访问数据4、移动计算比移动数据本身更划算5、简单一致性模型6、异构平台可移植特点优点：高可靠性：Hadoop按位存储和处理数据的能力强 高扩展性：hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中 高效...原创 2019-08-22 16:30:35 · 121 阅读 · 0 评论 -
好程序员大数据学习路线分享Hbase指令学习
好程序员大数据学习路线分享Hbase指令学习启动：1、启动zk zkServer.sh start2、启动hdfs start-dfs.sh3、启动hbase服务 start-hbase.sh（启动报错的话要kill QuorumPeerMain的进程，在重新启动）4启动客户端： hbase shell时间必须同步，不然也会报错...原创 2019-08-16 16:15:58 · 197 阅读 · 0 评论 -
好程序员大数据学习路线hive内部函数
好程序员大数据学习路线hive内部函数，持续为大家更新了大数据学习路线，希望对正在学习大数据的小伙伴有所帮助。1、取随机数函数：rand()语法: rand(),rand(int seed) 返回值: double 说明: 返回一个0到1范围内的随机数。如果指定seed，则会得到一个稳定的随机数序列select rand();select rand(10);2、分割字符串函数:s...原创 2019-08-12 16:32:52 · 140 阅读 · 0 评论 -
好程序员大数据学习路线分享SparkSQl
好程序员大数据学习路线分享SparkSQl，Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。SparkSql中返回的数据类型是DataFrame1.1.1.为什么要学习Spark SQL我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写...原创 2019-08-14 17:19:51 · 233 阅读 · 0 评论 -
好程序员大数据学习路线分享hive的运行方式
好程序员大数据学习路线分享hive的运行方式，hive的属性设置： 1、在cli端设置 (只针对当前的session) 3、在java代码中设置 (当前连接) 2、在配置文件中设置 (所有session有效)设置属性的优先级依次降低。 cli端只能设置非hive启动需要的属性。(log属性,元数据连接属性)查找所有属性： hive>set; 查看当前属性的值：通常是hadoop ...原创 2019-08-07 16:42:29 · 206 阅读 · 0 评论 -
好程序员分享大数据的架构体系
flume采集数据MapReduceHBse (HDFS)Yarn 资源调度系统展示平台 数据平台1，提交任务2，展示结果数据spark 分析引擎 S3 可以进行各种的数据分析 ， 可可以和hive进行整合 ，...原创 2019-08-13 17:01:28 · 128 阅读 · 0 评论 -
好程序员大数据学习路线Hbase总结
好程序员大数据学习路线Hbase总结，为什么有hbase 随着数据的逐渐增大，传统的关系型数据库无法满足对数据的查询和存储，而hive不是数据库，只是数据仓库，虽然能够满足简单的存储要求，但是始终无法满足对非结构化和半结构化的数据的存储和查询2hbase是什么 Hbase是阿帕奇旗下的一款开源的，多版本的，可扩展的非关系型数据库。 他是基于谷歌的bigtable的基础上...原创 2019-08-13 16:29:24 · 173 阅读 · 0 评论 -
好程序员大数据学习路线之Logstach与flume对比
好程序员大数据学习路线之Logstach与flume对比，没有集群的概念,logstach与flume都称为组logstash是用JRuby语言开发的组件的对比: logstach : input filter output flume : source channel sink 优劣对比:logstach :安装简单,安装体积小有filte...原创 2019-08-13 16:22:19 · 142 阅读 · 0 评论 -
好程序员大数据学习路线之mapreduce概述
大数据学习路线之mapreduce概述，mapreduce：分布式并行离线计算框架，是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 与HDFS解决问题的原理类似，HDFS是将大的文件切分成若干小文件，然后将它们分别存...原创 2019-08-13 16:04:15 · 184 阅读 · 0 评论