大数据
找个借口安静
一个平凡的编程手艺人
展开
-
学习hadoop需要具备的基础知识
首先整体上了解Hadoop,包括hadoop是什么,能够做什么,使用场景等,不需要考虑细节问题。在有了整体上的了解后,就开始准备系统地学习hadoop。建议:勿一味学习理论知识,要注意理论与实践相结合。在实际操作中查缺补漏,提高针对性、目的性。总的来说,学习hadoop需要具备:linux 1、熟练操作linux常用命令以及网络配置; 2、熟悉用户以及权限管理操作; 3、熟悉软...转载 2018-08-02 11:26:09 · 483 阅读 · 0 评论 -
浮点型的三个特殊值 Double.NEGATIVE_INFINITY 负无穷 Double.POSITIVE_INFINITY 正无穷 Double.NaN 非值
浮点型的三个特殊值Double.NEGATIVE_INFINITY 负无穷Double.POSITIVE_INFINITY 正无穷Double.NaN 非值 public void testFun1() { //无穷 --一个浮点型(无论是基本类型还是引用类型)的正数除以0是无穷大, float a = (float) -10.22 / 0...转载 2018-12-24 16:53:06 · 2043 阅读 · 0 评论 -
大数据计算架构Hadoop、Spark和Storm 三者技术比较
短短几年时间,大数据这个词便已家喻户晓。但在大数据这个名词被命名之前,人类对数据的搜集与分析已有着悠久的历史。从人工统计分析到电脑/大型机再到今天的分布式计算平台,数据处理速度飞速提高的背后则是整体架构的不断演进。今天大数据架构最火热的莫过于hadoop,Spark和Storm这三种,而Spark和Storm这两个后起之秀更是抢了不少Hadoop的风头,也让网上逐渐开始有一种声音说Hadoop的日...转载 2018-12-09 22:17:15 · 215 阅读 · 0 评论 -
大数据开发初学者学习路线
目录 前言 导读: 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上 第四章:把Hadoop上的数据搞到别处去 第五章:快一点吧,我的SQL 第六章:一夫多妻制 第七章:越来越多的分析任务 第八章:我的数据要实时 第十章:牛逼高大上的机器学习 目录最近看到一篇很不错的文章,献给正在学习大数据...转载 2018-10-06 21:59:54 · 1200 阅读 · 0 评论 -
大数据组织形象图及详细说明
“听说现在的大数据可厉害,你干啥人家都知道”。早上8点,卖包子的大妈这样对我说: 随着大规模数据处理技术的日渐成熟,拥有海量用户数据的公司都想从中挖掘出有利信息来影响用户的生活消费。 京东、淘宝等电商网站利用用户画像做个性化商品推荐; 今日头条、一点资讯利用算法做个性化内容推荐; 支付宝、宜信等互联网金融公司通过识别高危行为的特征实施风险控制; ...转载 2018-10-06 21:51:40 · 567 阅读 · 0 评论 -
开源工具介绍(大数据关键技术)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011380972/article/details/80716964 在介绍大数据关键技术之前,先给出一张Hadoop大数据应用生态中最主要的组件图,该图描述了这些组件的地位,以及它们之间的相互关系。 图1.Hadoop大数据应用生态组件及其关系HDFS(Hadoo...转载 2018-10-06 09:10:30 · 598 阅读 · 0 评论 -
大数据工程师必备技能
版权声明: https://blog.csdn.net/laomo_bible/article/details/79582023引用几张图片:包括基本技能和高阶能力:基本技能:1、java、python、R等基本语言2、编程能力3、框架、平台的运用,如Hadoop、Spark等高阶能力:1、机器学习及各种算法2、架构设计能力3、云计算基本能力...转载 2018-10-02 12:04:08 · 1153 阅读 · 0 评论 -
大数据学习路线图
一、入门准备1、linux操作基础1) Linux的介绍,Linux的安装:VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程2) Linux的常用命令:常用命令的介绍、常用命令的使用和练习(文件操作、用户管理与权限、免密登陆配置与网络管理)3) Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用;4) L...转载 2018-10-02 11:18:43 · 2344 阅读 · 0 评论 -
SSH免密码登录
公钥和私钥其实就是一种加密算法。公钥与私钥的核心就是:用公钥加密的内容只能用私钥解密,用私钥加密的内容只能用公钥解密。 公钥,就是发给大家使用的,你可以通过电子邮件发布,或者通过网站让别人下载,用来加密/验章用的。私钥,只有个人拥有,用来解密/签章。 用发送加密的邮件进行分析。 首先,我必须拥有你的公钥,你也必须拥有我的公钥。 当一对多的时(服务端给客户端),我用你的公钥给这个邮件加密,这...转载 2018-08-02 11:29:07 · 193 阅读 · 0 评论 -
Flume OG和Flume NG的区别
原文地址为:Flume OG和Flume NG的区别应用场景Flume作为Hadoop中的日志采集工具,非常的好用,但是在安装Flume的时候,查阅很多资料,发现形形色色,有的说安装Flume很简单,有的说安装Flume很复杂,需要依赖zookeeper,所以一方面说直接安装Flume,解压即可用,还有一方面说需要先装了Zookeeper才可以安装Flume。那么为何会才生这种情况呢?其...转载 2019-02-27 11:49:55 · 414 阅读 · 0 评论