2018年12月_程序の之道

原创 HBase原理——要弄懂的sequenceId

为什么需要sequenceId?HBase数据在写入的时候首先追加写入HLog，再写入Memstore，也就是说一份数据会以两种不同的形式存在于两个地方。那两个地方的同一份数据需不需要一种机制将两者关联起来?有的朋友要问为什么需要关联这两者，那笔者这里提出三个相关问题：Memstore中的数据flush到HDFS文件中后HLog对应的数据是不是就可以被删除了?不然HLog会无限增长!那问题...

2018-12-29 20:57:50 1035

原创大数据初学者的福利——Hadoop快速入门教程

1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS是Hado...

2018-12-29 18:04:17 2573

由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。VMware的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机，省时省力，需要注意的是需要修改每个虚拟机的IP与主机名。所有虚拟机采用NAT模式上网，而且要保证与物理主机的IP...

2018-12-29 15:48:47 193

原创数据挖掘领域经典算法——CART算法

简介CART与C4.5类似，是决策树算法的一种。此外，常见的决策树算法还有ID3，这三者的不同之处在于特征的划分：ID3：特征划分基于信息增益C4.5：特征划分基于信息增益比CART：特征划分基于基尼指数基本思想CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将输入空间即特征空...

2018-12-28 21:27:10 339

原创一篇文章告诉你大数据应该怎么学

最近不少网友向我咨询如何学习大数据技术？大数据怎么入门？怎么做大数据分析？数据科学需要学习那些技术？大数据的应用前景等等问题。由于大数据技术涉及内容太庞杂，大数据应用领域广泛，而且各领域和方向采用的关键技术差异性也会较大，难以三言两语说清楚，本文从数据科学和大数据关键技术体系角度，来说说大数据的核心技术什么，到底要怎么学习它，以及怎么避免大数据学习的误区，以供参考。1．大数据应用的目标是普适智能...

2018-12-27 20:15:55 701 1

原创大数据的入门之路——Hadoop基础学习

前言目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。基础概念大数据的本质一、数据的存储：分布式文件系统(分布式存储)二、数据的计算：分部署计算基础知识学习大数据需要具备Java知识基础及Linux知识基础学习路线(1)Java基础和Linux基础(2)Hadoop的学习：体系结构...

2018-12-27 16:51:37 430

原创大数据开发初学者该怎么做？

经常有初学者在问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。。其实这就是想告诉你...

2018-12-26 17:06:39 661

原创一篇文章告诉你大数据的重要性

在这10年中，几乎所有行业都或多或少的受到大数据的影响。科技渗透到各个领域，并且已经成为每个处理单元的必要元素。谈到IT行业，具体来说，软件和自动化是较基本的术语，并且用于处理循环的每个阶段毫无疑问，各行各业因为大幅爆发的数据而正变得蒸蒸日上。在这10年中，几乎所有行业都或多或少的受到这巨变的影响。科技渗透到各个领域，并且已经成为每个处理单元的必要元素。谈到IT行业，具体来说，软件和自动化是较...

2018-12-25 10:05:05 10381

原创大数据应用场景有哪些？一篇文章告诉你

美国NASA如何能提前预知各种天文奇观？风力发电机和创业者开店如何选址？如何才能准确预测并对气象灾害进行预警？包括在未来的城镇化建设过程中，如何打造智能城市？等等，这一系列问题的背后，其实都隐藏着大数据的身影——不仅彰显着大数据的巨大价值，更直观地体现出大数据在各个行业的广阔应用。这些行业应用也都更直白地告诉人们，什么是大数据……其实，大数据不是突然出现的，在过去的几十年间，数学分析就已经涉猎金...

2018-12-25 09:54:31 25045

原创一篇文章带你弄懂大数据！

一、大数据是什么?大数据，big data，《大数据》一书对大数据这么定义，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。这句话至少传递两种信息：1、大数据是海量的数据2、大数据处理无捷径，对分析处理技术提出了更高的要求欢迎加入大数据交流群：658558542 一起吹水交流学习二、大数据的处理流程下图是数据处理流程：欢迎加入大数据交流群：658558...

2018-12-24 15:57:26 233

程序之道的博客