自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

方法属性类,一个都不会

横批:啥都不会

  • 博客(12)
  • 资源 (1)
  • 收藏
  • 关注

原创 Hadoop 流自学及工作原理

Hadoop流提供给了 API允许用户使用任何脚本语言编写 map 函数或 reduce 函数。Hadoop 流的关键是,它使用 UNIX标准流作为程序与 Hadoop 之间的接 口。因此,任何程序只要可以从标准输入流中读取数据,并且可以写入数据到 标准输出流,那么就可以通过 Hadoop流使用其他语言编写 MapReduce程序的 map函数或 reduce函数。 bin/Hadoop jar contrib/streaming/Hadoop-0.20.2-streaming.jar –inpu.

2020-07-31 17:30:48 259

原创 Mapreduce自学(9-12没看懂)

MapReduce非常简单,易于实现且扩展性强。可以通过它轻易地编写出同 时在多台主机上运行的程序,可以使用 Ruby、Python、PHP 和 C++等非 Java类 语言编写 map和 reduce程序。MapReduce适合于处理大量的数据集,因为它会 同时被多台主机一起处理,这样通常会有较快的速度。 在 Hadoop 中,用于执行 MapReduce任务的机器角色有两个:一个是 JobTracker;另一个是 TaskTracker。JobTracker 是用于调度工作的,TaskTrack..

2020-07-31 16:58:55 117

原创 HDFS 读写文件

HDFS 读文件 1)客户端显式调用 open()函数打开文件。 2)后台通过 RPC 调用 NN服务,获取欲打开文件的文件块信息和文件所 在的数据节点。 3)客户端显式调用 read()函数,从第一个数据块开始读取数据,并选择离 客户端最近的那个副本。 4)选择离客户端最近的副本后,客户端直接从 DN读取数据。 5)当前数据块读完后继续连接此文件下一个数据块最近副本所在的 DN。 6)读完数据时,客户端显式调用 close()函数。相对于读取本地文件系统数 据,HDFS 读取数据流程较复杂,但对.

2020-07-31 16:29:17 398

原创 Hadoop自学

1.什么是Hadoop? Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,它能让用户轻 松地开发处理海量数据的应用程序,其主要优点有: 高可靠性:Hadoop 按位存储和处理数据的能力值得人们信赖。 高扩展性:Hadoop 在可用的计算机集簇间分配数据并完成计算任务的,这 些集簇可以方便地扩展到数以干计的节点中。 高效性:Hadoop 能够在节点之间动态地移动数据,并保证各个节点的动态 平衡,因此处理速度非常快。 高容错性:Hadoop 自动保存数据的多个副本,并自动将失败任务重分配。 低成本

2020-07-31 16:16:15 281

原创 Iaas、Paas、SaaS区别

2020-07-31 15:35:00 159

原创 元数据

1.元数据包括哪些? 元数据划为三类:数据字典、数据血缘和数据特征 数据字典包括: 数据血缘是指一个表是直接通过哪些表加工而来 元数据中心是数据中台的基石,它提供了我们做数据治 理的必须的数据支撑。 ...

2020-07-31 11:40:41 600

原创 数据中台是大数据的下一站?

1.什么是数据仓库?(尚学堂,慕课网) 数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的,不 可修改的数据集合(hadoop是基础用Java写的,老师让重点看flink) 2.数据中台大事件 3.数据中台是怎么实现所有数据只加工一次的呢?简单来说,就是对于 数仓数据,我们要求相同粒度的度量或者指标只加工一次,构建全局一致 的公共维表。 4.是否要建设数据中台 5.不同的查询引擎 6.数据中台支撑技术 7. ...

2020-07-31 10:32:58 141

原创 新员工 职业化塑造

1.新人成长三态 2.新人成长三要素 3.如何设计正确的程序 4.时间管理 5.有效地沟通原则soften

2020-07-27 22:54:16 266 1

原创 财务

1.了解:经济事项如何变成财务语言-会计核算的基本程序 2.了解会计信息质量要求,在日常费用等报销提供财务核算资料时,要符合会计信息质量要求

2020-07-27 00:59:46 108

原创 5G 驱动力及行业趋势PPT

1.5G—未来触手可及 5G移动宽带系统将成为面向2020年以后人类信息社会需求的无线移动通信系统。 5G不再仅仅是更高速率、更大带宽、更强能力的空中接口技术,而是面向业务应用和用户体验的智能网络。它 是一个多业务多技术融合的网络,通过技术的演进和创新,满足未来包含广泛数据和连接的各种业务的快速发 展需要,提升用户体验。 2. 5G网络概念的三个要点 3. 5G网络的三大应用场景 ...

2020-07-26 23:00:34 481

原创 加快5G视频客服能力构建PPT

1.新型基础设施建设是以新发展理念为引领,以技术创新为驱动,以信息网络为基础,面向高质 量发展需要,提供数字转型、智能升级、融合创新等服务的基础设施体系。 (1)“新基建”之新,新在技术和产业。 在新冠肺炎疫情期间,面临疫情 防控需求,5G技术和人工智能发挥了重要作用;复工复产过程中,云计 算赋能在线教育和在线办公,工业互联网助力制造企业转型升级……面对 疫情危机,“新基建”挺身而出,支撑产业空间开拓,澎湃经济动能。 (2)“新基建”之新,新在发展理念,新在扩大有效投 资、赋能新经济发展的重要手段。 “

2020-07-26 19:50:39 1158

原创 PATH与CLASSPATH区别

PATH:是属于操作系统属性,定义所有可执行程序的路径。 CLASSPATH:是Java程序解释类文件时所使用的加载路径。 当Java命令运行的时候实际上JVM会自动找到CLASSPATH属性,而后根据设置的路径来加载所需要的类。 先找到路径,而后在加载 ...

2020-07-08 18:15:19 417

爬虫视频教程

基础爬虫视频教程,带领大家学习如何利用JAVA做网络爬虫,以及一些网络编程知识。主要利用到了Jsoup框架。

2018-09-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除