![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 87
程序の之道
专注Java、大数据知识干货及相关领域动态分享,请多多关注哦
展开
-
大数据开发初学者该怎么做?
经常有初学者在问,自己想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火,就业很好,薪资很高。如果自己很迷茫,为了这些原因想往大数据方向发展,也可以,那么我就想问一下,你的专业是什么,对于计算机/软件,你的兴趣是什么?是计算机专业,对操作系统、硬件、网络、服务器感兴趣?是软件专业,对软件开发、编程、写代码感兴趣?还是数学、统计学专业,对数据和数字特别感兴趣。。其实这就是想告诉你...原创 2018-12-26 17:06:39 · 660 阅读 · 0 评论 -
大数据到底从何而来?你知道几个数据源供应平台?
国内外比较知名的数据API产品,基础性的可能更多会选择百度APIStore、聚合数据、Haoservice;而对于行业、专业有特别需求的用户来说,通联数据、Apix会使不错的选择;如果是需求国内社交、电商、资讯平台的数据,可以考虑数说聚合;如果是要国外数据,小编则比较推荐Datasift。读者可根据自身的需求,选择最适合的API。我们都知道一句话“巧妇难为无米之炊”,数据源就是让数据产生价值中的那...原创 2019-01-05 09:40:46 · 1641 阅读 · 0 评论 -
一篇文章告诉你大数据的重要性
在这10年中,几乎所有行业都或多或少的受到大数据的影响。科技渗透到各个领域,并且已经成为每个处理单元的必要元素。谈到IT行业,具体来说,软件和自动化是较基本的术语,并且用于处理循环的每个阶段毫无疑问,各行各业因为大幅爆发的数据而正变得蒸蒸日上。在这10年中,几乎所有行业都或多或少的受到这 巨变的影响。科技渗透到各个领域,并且已经成为每个处理单元的必要元素。谈到IT行业,具体来说,软件和自动化是较...原创 2018-12-25 10:05:05 · 10338 阅读 · 0 评论 -
大数据应用场景有哪些?一篇文章告诉你
美国NASA如何能提前预知各种天文奇观?风力发电机和创业者开店如何选址?如何才能准确预测并对气象灾害进行预警?包括在未来的城镇化建设过程中,如何打造智能城市?等等,这一系列问题的背后,其实都隐藏着大数据的身影——不仅彰显着大数据的巨大价值,更直观地体现出大数据在各个行业的广阔应用。这些行业应用也都更直白地告诉人们,什么是大数据……其实,大数据不是突然出现的,在过去的几十年间,数学分析就已经涉猎金...原创 2018-12-25 09:54:31 · 24871 阅读 · 0 评论 -
一篇文章带你弄懂大数据!
一、大数据是什么?大数据,big data,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。这句话至少传递两种信息:1、大数据是海量的数据2、大数据处理无捷径,对分析处理技术提出了更高的要求欢迎加入大数据交流群:658558542 一起吹水交流学习二、大数据的处理流程下图是数据处理流程:欢迎加入大数据交流群:658558...原创 2018-12-24 15:57:26 · 226 阅读 · 0 评论 -
大数据入门——搭建Hadoop处理环境
由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省力,需要注意的是需要修改每个虚拟机的IP与主机名。所有虚拟机采用NAT模式上网,而且要保证与物理主机的IP...原创 2018-12-29 15:48:47 · 192 阅读 · 0 评论 -
数据挖掘领域经典算法——CART算法
简介CART与C4.5类似,是决策树算法的一种。此外,常见的决策树算法还有ID3,这三者的不同之处在于特征的划分:ID3:特征划分基于信息增益C4.5:特征划分基于信息增益比CART:特征划分基于基尼指数基本思想CART假设决策树是二叉树,内部结点特征的取值为“是”和“否”,左分支是取值为“是”的分支,右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征,将输入空间即特征空...原创 2018-12-28 21:27:10 · 335 阅读 · 0 评论 -
大数据的入门之路——Hadoop基础学习
前言目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。基础概念大数据的本质一、数据的存储:分布式文件系统(分布式存储)二、数据的计算:分部署计算基础知识学习大数据需要具备Java知识基础及Linux知识基础学习路线(1)Java基础和Linux基础(2)Hadoop的学习:体系结构...原创 2018-12-27 16:51:37 · 421 阅读 · 0 评论 -
大数据架构师:hadoop与Storm全方位比较,到底选哪一个?
首先整体认识:Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件,磁盘访问延迟约为内存访问延迟的75000倍。所以Storm更快。注释:1. 延时 , 指数据从产生到运算产生结果的时间,“快”应该主要指这个。2. 吞吐, 指系统单位时间处理的数据量。...原创 2019-03-23 15:14:59 · 685 阅读 · 0 评论