加米谷大数据张老师
码龄7年
关注
提问 私信
  • 博客：297,872
    社区：5
    297,877
    总访问量
  • 13
    原创
  • 420,586
    排名
  • 61
    粉丝
  • 0
    铁粉

个人简介：成都加米谷大数据高级技术专家，大数据行业及技术动态分享！

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：四川省
  • 加入CSDN时间： 2018-04-08
博客简介：

shuimuzh123的博客

查看详细资料
个人成就
  • 获得66次点赞
  • 内容获得25次评论
  • 获得619次收藏
创作历程
  • 250篇
    2021年
  • 96篇
    2020年
成就勋章
TA的专栏
  • 大数据
    333篇
创作活动更多

超级创作者激励计划

万元现金补贴，高额收益分成，专属VIP内容创作者流量扶持，等你加入！

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

大数据学习—Azkaban的解析

大数据的核心模块有很多，像Hadoop、spark、kafka等都是比较重要的，但也不仅仅只是这三块。今天我们就来了解一下Azkaban，了解他的使用和简介，才能更好的帮助我们去学习大数据。Azkaban 是什么？是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件(properties)格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点：Web.
原创
发布博客 2021.10.14 ·
909 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

学习大数据需要了解Python吗？有什么联系？

现如今，说起大数据大家都比较熟悉了，大数据作为目前火热的一个行业，越来越多的人投入到大数据行业当中来。很多人新手在学习中会问到，学习大数据需要了解Python吗？他们之间又有什么联系？今天我们就来一起看看。学习大数据为什么需要了解Python？大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。而Python作为公认的适合大数据的语言，想要做大数据开发和大数据分析，不仅.
原创
发布博客 2021.10.12 ·
844 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

在Hadoop环境中，大数据存储的技巧有哪些？

由于大数据的飞速发展和进步，越来越多的人才投入到大数据这个行业中来，但目前来说，大数据人才也是很缺乏的。在学习大数据过程中，Hadoop作为大数据开发的一个核心模块是很重要的。今天我们就来学习一下在Hadoop环境中，大数据存储的技巧有哪些？大数据存储的技巧有好几种，学习大数据开发了解其中的技巧是很重要的，其中分布式存储、虚拟化等这几大块需要重点了解一下。分布式存储学习大数据的人知道，传统化集中式存储存在已有一段时间。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规.
原创
发布博客 2021.10.09 ·
693 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据学习—Kafka的核心调优参数

随着大数据开发的发展，越来越多的人想要转行或者学习大数据开发这一块，工资和发展前景都让大家越来越看好。而kafka作为一个核心模块，是学习过程的一个要点知识，今天我们就一起来看一下关于Kafka的核心调优参数。kafka的配置属性多达几百个，在生产环境中对kafka进行调优时，要如何设置Kafka的核心调优参数？在调优之前，我们要先分析业务场景，然后在吞吐量、延时、可靠性和可用性4个方面做权衡。下面我们就从这四个方面来了解一下，从而逐一分析kafka应该设置哪些核心属性以及提供建议值。.
原创
发布博客 2021.09.26 ·
534 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据改变着生活中的哪些东西？

如今，大数据无处不在，随着社会的发展，我们的生活中开始接触到大数据，它无处不在。但其实很多人对大数据都是只有一个大概的认识，对大数据的应用并不是很清楚，然而大数据的应用已经在悄悄改变着我们的生活！今天我们就来看看大数据改变着生活中的哪些东西？音乐软件对于我们爱听歌的小伙伴应该能明显的感受到音乐软件的变化，以前我们想听什么都得自己去搜索或者翻看，而现在随着大数据的出现，音乐结合了大数据，只要我们用户经常听的一首歌是什么类型，那么软件就会自动推送这种类型的音乐，这就是大数据在音乐软件中的应用。零.
原创
发布博客 2021.09.23 ·
257 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据不是万能的，这几大误区要知道！

这两年，大数据受到了越来越多人的关注，大数据被广泛应用到各行各业。随之而来的也是围绕着大数据产生了许多的误区，今天就来谈谈我眼中的大数据。何为大数据？“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。个人觉得很贴切，“新处理模式”是一个很关键的词汇，这也是我所理解的“大数据”区别于传统统计分析等最关键的特征之一。这个所谓的“新处理模式”有两层含义：A.由于海量的数据，需要更高效的存储和处理技术，Hadoop成为了大数据时代的标志；B.
原创
发布博客 2021.09.03 ·
353 阅读 ·
2 点赞 ·
0 评论 ·
5 收藏

加米谷：金融领域中的大数据应用

如今，越来越多的领域开始运用大数据，它几乎涵盖了各行各业。数据显示，大数据在金融领域的应用范围较广。今天，我们就一起来看看在金融领域中的大数据应用都有哪些？据统计，中国大数据IT应用投资规模以五大行业最高，其中以互联网行业占比最高，占大数据IT应用投资规模的28.9%，其次是电信领域（19.9%），第三为金融领域（17.5%），政府和医疗分别为第四和第五。金融领域将大数据应用到了很多方面，下面一起来看看：风险管控A.对中小企业贷款的风险评估之前有很多中小企业存在贷款偿还能力差、财务制度不.
原创
发布博客 2021.09.01 ·
216 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据编程入门：JavaScript表单

表单在网页中主要负责数据采集功能，在JavaScript的加持下，网页中的表单可以有很多的功能，今天小编将为大家带来大数据编程入门：JavaScript表单。JavaScript表单验证HTML表单验证可以通过JavaScript完成。下面的示例代码用于确定表单字段（fname）值是否存在。如果不存在，将弹出一条消息以阻止提交表单：<!DOCTYPE html><html><head><meta charset="utf-8">
原创
发布博客 2021.08.18 ·
321 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

学习大数据必不可少的一部分：Java

随着大数据的盛行，想进入大数据的人才越来越多，很多Java开发师也纷纷想转行做大数据。也有很多小伙伴来问我，为何大数据要要求Java基础，今天我们就来一起聊聊学习大数据必不可少对的一部分：JavaJava是目前使用作为广泛的编程语言，并且具有众多特性，而大数据可以基于Hadoop的某些技术，这可以作为Java开发人员的职业升级替代方案，所以它特别适合作为大数据应用分开发语言。1、Java吸收了C++语言的优点Java摒弃了C++里面难以理解的多继承、指针等概念，因此Java语言具有功能强大.
原创
发布博客 2021.08.18 ·
192 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据编程入门：JavaScript字符串

字符串一般用于编程、概念说明、函数解释等，今天小编将为大家带来大数据编程入门：JavaScript字符串，介绍在JavaScript中字符串的定义及应用。JavaScript字符串定义在JavaScript中，字符串用于存储和处理文本。字符串可以存储一系列字符，例如“John Doe”。字符串可以是插入引号中的任何字符，可以使用单引号或双引号：var phone= "Redmi";var phone= 'Redmi';想要访问字符串中的每个字符的时候，可以使用索引位置..
原创
发布博客 2021.08.17 ·
138 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

学大数据之后可以做些什么工作？工作内容如何？

很多小伙伴都有这样的疑问，那就是学大数据之后可以做些什么工作？工作内容如何？很多小伙伴不清楚自己的就业方向，所以迷茫是正常的，今天小编就带大家一起来了解一下吧。学习大数据，可以从事的工作有很多，下面这几个题主可以看看：1.数据挖掘工程师职责：熟练搭建数据分析框架，掌握和使用相关的分析常用工具，提取、分析、呈现数据的商业意义，需要业务理解和工具应用能力。2.大数据开发工程师职责：主要负责使用大数据技术采集、开发、建设、测试和维护架构；负责公司大数据平台的开发和维护，负责大数据平台.
转载
发布博客 2021.08.17 ·
255 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据编程入门：JavaScript函数

在数学中，函数是指一个量随着另一个量的变化而变化；那么在JavaScript中，函数的定义是什么以及怎么使用呢？今天小编将为大家带来大数据编程入门：JavaScript函数。JavaScript函数定义在JavaScript中，函数是一个可重用的代码块，在调用时由事件驱动或执行。实例：<!DOCTYPE html><html><head><meta charset="utf-8"><title>测试实例</
原创
发布博客 2021.08.13 ·
410 阅读 ·
0 点赞 ·
1 评论 ·
1 收藏

大数据开发面试技巧都有哪些？如何顺利通过？

随着大数据的火爆发展，越来越多的小伙伴转行投入到大数据行业，因此竞争力也越来越大。8月份是找工作的困难期，今天加米谷的小编就来告诉大家大数据开发面试技巧都有哪些？如何顺利通过？面试是一个双向选择的过程，面试官在选择的同时，面试者也在选公司。不同岗位、不同公司、不同面试官问的问题都是不一样的，但是也基本是按照一个大纲进行的，今天我们就来说说针对于大数据开发这一岗位来具体说说。1.技能方面Java是必问的，其中Java SE是核心模块，把这一核心部分吃透，可以应付Java部分的面试。 ..
原创
发布博客 2021.08.11 ·
191 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据开发教学—什么是Spark

学习大数据专业的人，相信对Spark这个名词不陌生吧，Spark是一个基于内存的开源计算框架。Spark作为大数据领域活跃、热门、高效的大数据通用计算平台，2009年诞生于美国加州大学伯克利分校AMP实验室。今天加米谷为大家带来关于什么是Spark的一些介绍。Spark的发展史2009年诞生于美国加州大学伯克利分校AMP实验室；2010年通过BSD许可协议开源发布；2013年成为Apache孵化项目；2014年2月成为Apache的顶级项目；2014年5月Spark1.0...
原创
发布博客 2021.08.06 ·
446 阅读 ·
0 点赞 ·
1 评论 ·
2 收藏

大数据开发：Spark GraphX图计算入门

Spark框架下，除了支持批处理和流处理，也提供图计算功能，而图计算功能主要由Spark GraphX来提供。而近些年来说，图计算在大数据领域，也得到越来越多的应用。今天的大数据开发学习分享，我们就来讲讲Spark GraphX图计算入门。关于图计算关于图计算，其实是不能单单从字面上去理解。所谓的图计算的“图（Graph）”，其实是指的一种网络，是一种适合表现事物之间关联关系的数据结构，而非大众意义上的图片（Image）。图计算目前广泛应用于公安系统和银行金融领域。通过社交网络分析，可以打击.
转载
发布博客 2021.08.03 ·
1349 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

大数据开发：Spark SQL数据处理模块

Spark SQL作为Spark当中的结构化数据处理模块，在数据价值挖掘的环节上，备受重用。自Spark SQL出现之后，坊间甚至时有传言，Spark SQL将取代Hive，足见业内对其的推崇。今天的大数据开发学习分享，我们就来讲讲Spark SQL数据处理模块。Spark SQL简介Spark SQL，整体来说，还是具备比较多的优势的，比如数据兼容、组件扩展、性能优化——数据兼容：可从Hive表、外部数据库（JDBC）、RDD、Parquet 文件、JSON 文件获取数据，可通过 Scal.
转载
发布博客 2021.08.03 ·
346 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据开发：SparkCore开发调优原则

在大数据计算引擎当中，Spark受到的重视是越来越多的，尤其是对数据处理实时性的要求越来越高，Hadoop原生的MapReduce引擎受到诟病，Spark的性能也需要不断调整优化。今天的大数据开发学习分享，我们就来讲讲SparkCore开发调优原则。Spark在大数据领域，能够实现离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，对于企业而言是低成本下的可靠性选择，但是想要真正用好Spark，实现真正的高性能，调优是不可或缺的手段。SparkCore开发..
转载
发布博客 2021.08.02 ·
167 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据开发：Spark MLlib组件学习入门

在Spark生态圈当中，MLlib组件，作为机器学习库而存在，在大数据分析、数据挖掘等数据处理操作上，提供重要的支持。学习Spark，对于MLlib组件的学习，也可以有相应程度的掌握。今天的大数据开发学习分享，我们就来讲讲Spark MLlib组件学习入门。其实，Spark MLlib在数据挖掘上，与sklearn工具也是非常行相似的，也是Estimator，Transformer，Pipeline为主，如果有sklearn的基础，那么学习MLlib是会非常轻松的。并且，MLlib本身比skl.
转载
发布博客 2021.08.02 ·
546 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据开发：Spark RDD、DataFrame、DataSet

在Spark的学习当中，RDD、DataFrame、DataSet可以说都是需要着重理解的专业名词概念。尤其是在涉及到数据结构的部分，理解清楚这三者的共性与区别，非常有必要。今天的大数据开发分享，我们就主要来讲讲Spark RDD、DataFrame、DataSet。RDD，作为Spark的核心数据抽象，是Spark当中不可或缺的存在，而在SparkSQL中，Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。DataFrame、DataSet和RDD有什么区别？首.
转载
发布博客 2021.07.30 ·
260 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

大数据开发：Spark Structured Streaming特性

在Spark框架当中，早期的设计由Spark Streaming来负责实现流计算，但是随着现实需求的发展变化，Spark streaming的局限也显露了出来，于是Spark团队又设计了Spark Structured Streaming。今天的大数据开发学习分享，我们就主要来讲讲，Spark Structured Streaming特性。Spark Structured Streaming流处理因为流处理具有如下显著的复杂性特征，所以很难建立非常健壮的处理过程：一是数据有各种不同格式（Ja.
转载
发布博客 2021.07.30 ·
350 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多