- 博客(100)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Hadoop大数据存算分离需要什么样的存储？
据IDC预测，到2021年，至少50%的全球GDP将由数字化驱动。面对海量数据，企业亟需通过更加现代化、敏捷、高性能的IT基础设施来推进业务持续发展。当今世界，只有很少的数据得到了分析，还有巨大的待开发潜能，在高达3000亿美元的以数据为驱动的市场中，中国在人工智能、物联网和5G等技术方面已经逐渐成熟，为中国数字经济蓬勃发展奠定了基础，而那些尚未被充分利用的数据，就是新商业价值的关键元素。...
2020-03-31 14:04:16
4705
原创 盘点多数企业容易犯的五个大数据错误
1.使用大数据确认，而不是发现大数据在用于提供以前被忽视的见解和发现时，对于人们来说是最好的。企业不仅可以更多地了解目标受众，并预测市场趋势，还可以对流程进行微调，以提高效率。然而，许多公司都有一个关于需要做什么的理论，并且将使用大数据作为一种证明的方法，同时忽略了提供反驳意见的其他见解。相反，通过查看整个数据分析，企业可以获得准确的信息，而不仅仅是获取正面的信息。2.依靠机器学习，而...
2020-02-07 17:14:58
655
原创 如何基于数据快速构建用户模型（Persona）？
用户模型（Persona）是Alan Cooper在《About Face：交互设计精髓》一书中提到的研究用户的系统化方法。它是产品经理、交互设计师了解用户目标和需求、与开发团队及相关人交流、避免设计陷阱的重要工具。但在现实中，一般只有很少的成熟公司，产品经理、交互设计师或用户研究人员才会花时间构建用户模型，个人认为之所以这样，至少包含两方面原因： 一个主要原因在于，按照传统方法构建用户模型...
2020-02-07 17:14:04
1004
原创 大数据分析实习生应该如何选择职业方向？
那么，大数据方向实习生到底该做些什么?Excel2013目前可以支持104万行数据，即使是这样也远远算不上大数据。以下是华院数据整理的2015年大数据相关公司排名看看你的公司在不在里边?话说回来，对于一个实习生来说，让你处理Excel不能说不合理，因为Excel处理是数据分析的基础中的基础，拉拉数据透视表，写写vlookup等函数甚至用vb写一些自动化，一旦熟悉了对...
2020-02-07 17:12:49
1054
原创 数据可视化工具大集合
所谓数据可视化是对大型数据库或数据仓库中的数据的可视化，它是可视化技术在非空间数据领域的应用，使人们不再局限于通过关系数据表来观察和分析数据信息，还能以更直观的方式看到数据及其结构关系。数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像， 同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。为了...
2020-02-07 17:12:06
545
原创 整理汇总工程师必学解析四种大数据文件格式
众所周知，Apache Spark支持许多种不同的数据格式，其中包括：无处不在的CSV格式、对于Web友好的JSON格式、以及常被用于大数据分析的Apache Parquet和Apache Avro。更多精彩内容点我学在本文中，我们将通过Apache Spark，来向您介绍上述四种大数据文件格式的各种属性，及其优缺点比较。1、CSVCSV(Comma-Separated Valu...
2020-01-28 19:35:58
1221
原创 Java程序员，到底要不要转行大数据？
前几天有个朋友在群里提问：如何看待大数据的未来？有必要转大数据方向吗？关于这个问题，谈谈我的思考。伴随公有云厂商的兴起，大数据的应用进入了2.0时代。传统大数据那种需要大量购买机器以及Hadoop发行商版本的时代一去不复返了，企业可以非常便利的按照自己的需要，在云端弹性的分配资源，并按照使用量付费。这使得大数据技术不但进入到了传统意义上的大中型企业，更是深入到了各行各业的小企业和创业者。...
2020-01-28 19:34:16
1210
原创 没搞懂大数据职业分类，你怎么应聘相应岗位？
随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的？具体是做什么工作的？让我们一起来看看吧。这3个职业是如何定位的？数据科学家数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能寻找新的数据洞察的工程师或...
2020-01-28 19:32:42
984
原创 大数据发展的7个趋势 — 阿里技术专家权威解读
当一项新技术刚出来的时候人们会非常乐观，常常以为这项技术会给人类带来巨大的变革，对此持有过高的期望，所以这项技术一开始会以非常快的速度受到大家追捧。精彩学习内容点我学然后到达一个顶峰，之后人们开始认识到这项新技术并没有当初预想的那么具有革命性，然后会过于悲观，之后就会经历泡沫阶段。等沉寂一定阶段之后，人们开始回归理性，正视这项技术的价值，然后开始正确的应用这项技术，从此这项技术开始走...
2020-01-27 16:43:37
903
原创 JavaScript的几个常用功能综合
本文主要总结了JavaScript 常用功能总结，如一些常用的JS 对象，基本数据结构，功能函数等，还有一些常用的设计模式。JavaScript 中的数据类型JavaScript 提供三种元数据类型，string，number，和Boolean,可使用typeof(v) 测试变量V 的类型，typeof(v)==="number"提供五种基本的引用类型：Object, Array, F...
2020-01-27 16:42:07
743
原创 大数据公司挖掘数据价值的49个典型案例
从谷歌、亚马逊、Facebook、LinkedIn，到阿里、百度、腾讯，都因其拥有大量的用户注册和运营信息，成为天然的大数据公司。而像IBM、Oracle、EMC、惠普这类大型技术公司纷纷投身大数据，通过整合大数据的信息和应用，给其他公司提供“硬件软件 数据”的整体解决方案。我们关注的重点是大数据的价值，第一类公司首当其冲。更多精彩内容点我下面就是这些天然大数据公司的挖掘价值...
2020-01-26 14:50:37
5999
原创 java学习基础总结全集汇总大全
Java基础总结大全（实用）一、基础知识：1、JVM、JRE和JDK的区别：JVM(Java Virtual Machine):java虚拟机，用于保证java的跨平台的特性。java语言是跨平台，jvm不是跨平台的。JRE(Java Runtime Environment):java的运行环境,包括jvm+java的核心类库。JDK(Java Development Kit):j...
2020-01-24 10:39:04
814
原创 2020年针对Java开发人员的十大基本Eclipse插件总结汇集（附下载地址）
毫无疑问，Eclipse是Java开发中最受欢迎的IDE之一，而使Eclipse如此出色的原因全归功于插件。有数百个Eclipse插件可用于执行各种任务并与其他基本工具集成，例如可从GitHub、SVN、CVS等下载代码的插件。点击我系统学习更多教程有一些用于Java开发、Python开发、创建基于Spring的Java应用程序以及从Eclipse本身创建Android应用程序的特...
2020-01-24 10:36:22
2579
原创 java面试题200题基础大汇总带答案2020阿里巴巴（完整详细版）
1、 meta标签的作用是什么2、 ReenTrantLock可重入锁(和synchronized的区别)总结3、 Spring中的自动装配有哪些限制?4、 什么是可变参数?更多的内容点我学5、 什么是领域模型(domain model)?贫血模型(anaemic domain model)和充血模型(rich domain model)有什么区别?6、 说说http,ht...
2020-01-22 21:59:32
1373
原创 java面试题高级基础汇总带全答案2020阿里巴巴（完整详细版）
想让面试官在短短的几十分钟内认可你的能力？想在最短的时间内收获Java技术栈最核心的知识点？想要更全面更深入的了解Java技术？这篇Java常见面试题文章给你想要的所有答案。 1、集合的作用是什么?数据的传送增、删、改、查、constainsAll，可以存放不同类型的对象。 2、集合的通用方法有那些?通用方法是什么?(操作)集合List的遍历方法有：Iterator:...
2020-01-22 21:59:30
1578
原创 java面试题高级基础汇总带全答案2020华为（完整详细版）
java面试题高级基础汇总带全答案2020华为（完整详细版）java基础以及多个“比较”详细内容点我学1.Collections.sort排序内部原理在Java 6中Arrays.sort()和Collections.sort()使用的是MergeSort，而在Java 7中，内部实现换成了TimSort，其对对象间比较的实现要求更加严格2.hashMap原理，java8...
2020-01-22 21:59:28
5507
原创 程序员总结MySQL8.0的安装、配置、启动服务和登录及配置环境变量
目录2.1 在MySQL的官网上下载安装文件并配置MySQL2.2启动mysql服务：2.3登录MySQL数据库2.4关于配置Path环境变量：第二章：Windows10平台下MySQL的安装、配置、启动和登录及配置环境变量更多系统内容点我学2.1 在MySQL的官网上下载安装文件并配置MySQL提示：在安装过程中，window防火墙会弹出是否允许更改硬件等提示...
2020-01-22 21:59:27
939
原创 2020年大数据学习路线指南（最全知识点总结）零基础入门大数据学习必备系统教程和学习目录
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。系统的学习知识点我大数据入门，需要学习以下这些知识点：先附上一张自己总结的学习线路图1、Java编程技...
2020-01-21 22:00:04
3876
原创 2020年大数据学习路线分享大数据之基础语法（内附详细的学习路线图解）
1.2.1 计算机理论介绍1.2.2 编程基础–进制分类、进制转换进制就是进位制。指的是我们来表示一个数字的时候进位的制度。进制分类更多内容点我学计算机中，常用的进制有以下几种:进制 描述 示例 备注 二进制 使用0和1来描述所有的自然数 0, 1, 10, 11, 100, 101 使用0b开头 八进制 使用0-7...
2020-01-21 22:00:04
380
原创 eclipse安装教程配置，程序员教你快速eclipse安装教程
如果想要学习java,必须现有一款便于使用的开发环境，eclipse就是一款强大的java开发环境，而且操作简单，软件免费下载安装。但是有不少的用户在下载eclipse的软件后却不知道该怎么操作，下面，小编给大家分享eclipse安装经验。Eclipse是一个开放源代码的、基于Java的可扩展开发平台，所以很多用户会在电脑中安装eclipse来配置java，可是有不少电脑用户不知道怎么安装ec...
2019-11-21 19:05:37
6143
原创 MySQL安装教程包含所有平台（图解），MySQL下载步骤详解（带安装教程）
现在作为服务器的操作系统一般有两种，分别是 Windows Server 和 Linux，这里我们分别介绍在 Windows 下和 Linux 下安装 MySQL 的具体操作步骤。MySQL安装教程包含所有平台（图解）更详细的安装图解请点击http://www.ryxxff.com/47777.html在 Windows 系统上安装MySQLWindows 平台下提供两种安装 MySQ...
2019-11-19 17:22:46
9687
7
原创 如何在公司发的MAC电脑上实现本地上传下载文件到服务器？
安装环境一.安装lrzsz•下载lrzsz-0.12.20.tar.gz，下载地址，在公众号后台回复 MAC 获取下载压缩包•这一节的以下命令都在MAC的自带的控制台iterm1进行操作 tar zxvf lrzsz-0.12.20.tar.gzcd lrzsz-0.12.20sudo ./configure && make &&...
2019-11-03 19:10:08
551
原创 人工智能是否会改写商业规则
这个问题已经有了现实答案。继1996年IBM“深蓝”战胜国际象棋冠军加里·卡斯帕罗夫、2017年谷歌AlphaGo战胜世界围棋冠军李世石之后，2019年，IBM再度推出人工智能辩手Debater，在与人类辩手的交锋中，Debater一胜一负。只要教给人工智能某种能力，它就一定会逐渐超越人类吗？人工智能技术方面的突破的商业意义是什么？人与人工智能的关系逐渐在发生着怎样的变化？人工智能...
2019-11-02 20:52:58
459
原创 区块链火了，但你可能对它一知半解
最近，一个重大政策利好的释放，让区块链再次成为热议的话题，各种区块链概念股也应势上涨。各种声音一致认为，区块链是继互联网之后又一大浪潮，将作为基础设施为各行各业带来巨大的变革机会。 诚然，区块链作为一种基础性技术，它有为经济和社会体系创造新基础的潜力。但是区块链也有其不得不注意的风险。在技术创新领域的研究经验告诉我们，只有消除在技术、组织和社会等多方面的障碍，才有可能真正发生区块...
2019-10-30 17:22:10
930
原创 互联网寒冬，这个技术领域的人才需求却持续爆表
最近这段时间，互联网行业“人才优化”新闻的不断涌现，不断加剧着各大互联网职场人的“被害妄想症”，致使网络上再次掀起今年第 N 轮“裁员恐慌”。但在这场“裁员”大战中，仍然有一部分立足于云计算领域的职场人，在每次“职场吐槽大会”中都能自豪地宣布：“团队仍旧完整，兄弟们，我们顶住了！” 究其原因，好像与“天时”“地利与人和”有着密切的联系。1“天时”：云计算技术人才需求持续井喷据了解，2018...
2019-10-27 22:44:06
307
原创 数字经济时代，企业的核心竞争力究竟是什么？
翻天覆地的数字技术革命将人类社会带入全新的数字经济时代，并使得物质社会的运转方式和特性发生了根本改变。社会非连续、跳跃式变化和高度不确定性成为这一时代的显著特征，数字信息成为这一时代关键生产要素。有效获取、控制和利用数字信息，进而降低或消除不确定性，是提升企业核心竞争力的关键。数字经济已成为全球新一轮产业竞争的制高点。2017年中国数字经济规模就已达27.2万亿，占全年GDP的32.9%...
2019-10-25 14:11:07
2217
原创 在华为、美的、海尔、TCL等企业的成长轨迹背后，都有一个共同的秘密
1987年，任正非筹集2万元，在深圳创办华为公司，从事小型通信交换机代理；2018年，华为公司营业收入7212亿元，净利润593亿元，员工总人数约18万人，成为拥有运营商、企业和消费者三大业务的全球行业领先者。1968年，何享健带领23位顺德北滘镇居民，筹资5000元创办美的前身——“北滘公社塑料生产组”；1980年，美的进入电风扇领域，走上快速发展的轨道；2018年，美的营业收入2618亿元，净...
2019-10-24 14:56:33
995
原创 AI与人，最理想的关系是这种
人工智能（Artificial Intelligence，AI）是信息化时代最具颠覆性的使能技术，从根本上改变了经济社会的运行方式与人的生活方式，对人类社会影响深远。美国布鲁金斯学会2018年发布的《人工智能改变世界》报告显示，至2030年，AI将推动全球GDP增长超过15.7万亿美元，推动经济增长14%；埃森哲分析表明，到2035年，AI将有潜力拉动中国经济增速提升1.6%，劳动生产率提升27%...
2019-10-23 17:29:31
428
原创 公司如何选择数据库？DynamoDB、Hadoop和MongoDB 大比拼
用户如何选择最能满足当前业务需求的数据库，通常取决于其开发团队的技术和已使用的应用程序。了解哪种数据库系统最适合用户公司的当前和未来需求十分重要。数据库在所有行业和组织机构中都扮演着至关重要的角色。因此，是否能从需求和价格两个维度选择最合适的数据库系统可能成为项目与战略成败间的分水岭。随着公司数据存储方式的不断扩展，本文旨在比较公司使用的一些更现代的数据库系统——了解DynamoDB，Hado...
2019-10-23 16:51:26
1768
原创 大数据框架Hadoop中理论与工程的错位
Hadoop是当前重要的大数据计算平台，它试图摒弃传统数据库的理念，重新构建一套新的大数据体系。但是，这并不是件很容易的事，在Hadoop的设计和实现中能看到一些先天不足的地方，其中一点就是把理论问题和工程问题给搞拧了。 所谓理论方法，是指试图解决问题的一般情况，设计通用的算法能适应尽量多的情况，并努力使算法的复杂度降低。在研究问题时不会考虑具体环境下某个具体动作是否可以执行以及该动作消耗的资...
2019-05-25 18:00:00
265
原创 大数据的本质和核心是什么
一、一场以大数据为核心的智能盛宴 时下仿佛大家都在谈人工智能，就像当年人人都在谈大数据一样。在不同场合上，阿里巴巴的马云、百度的李彦宏及腾讯的马化腾分别谈过自己对人工智能的看法和观点。这种对话有点儿像金庸小说中的华山论剑。到底是气宗( 大数据)还是剑宗(人工智能)更有战略意义?我认为，两者是相辅相成的。经历了互联网20 年的发展，我们已经积累了足够多的数据去驱动一场“智能盛宴”，以大数据为核心...
2019-05-25 17:59:58
6313
原创 大数据入门选择python大数据么？现在程序员都是喜欢这个
Python是适合做大数据分析的计算机语言吗?如今是一个大数据时代，通过数据分析，我们可以得到任何我们想知道的事情，充分挖掘数据的价值。之前有人说过JAVA语言是最适合做数据分析的计算机编程语言之一，在这里，我想说其实Python大数据也是大数据分析最受欢迎的编程语言。 Python是一个强大的，灵活的，开放的，易于学习的源语言，使用方便，并具有强大的数据操作和分析库。其简单的语法使编程新手很...
2019-05-24 21:59:59
464
原创 大数据架构五个顶级框架你知道几个
自从像AWS这样的公共云产品开辟了大数据分析功能以来，小企业通过挖掘大量的数据做到只有大企业才能做到的事情，至今大约有10年时间。这些事情其中包括网络日志、客户购买记录等，并通过按使需付费的方式提供低成本的商品集群。在这十年中，这些产品蓬勃发展，涵盖了从实时(亚秒级延迟)流媒体式分析到用于分析批量模式工作的企业数据仓库，而企业数据仓库则可能需要数天或数周才能完成。 以下将介绍用于大数据堆栈的五...
2019-05-24 21:59:57
1014
原创 大数据零基础如何入门学习
我们学习一个新知识，第一步应该是给它个明确的定义。这样才能知道你学的是什么，哪些该学，哪些又可以先不用管。 然而，大数据虽然很火，但其实是个概念没那么清晰的东西，不同的人可能有不同的理解。 这次我们不去纠结具体的定义，也忽略那些 4 个 V、6 个 C 之类传统说教的东西，甚至不想聊架构演进以及各种调优的方法，这些东西讲了大家也不一定懂，懂了也记不住，记住了也用不起来。 我们也不去关注...
2019-05-24 21:59:54
740
原创 如何使用HBase？大数据存储的两个实战场景
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hadoop的HDFS，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。因此HBase被广泛使用在大数据存储的解决方案中。 为何使用HBase HBase的优点： - 列可以动态增加，并且列为空就不存储数据，节省存储空间。 - Hbase自动切分数据，使得数据存储自...
2019-05-24 21:59:51
546
原创 大数据框架Hadoop生态系统各组件与Yarn的兼容性如何？
作为Hadoop 2.0中出现的资源管理系统，Yarn总体上仍然是master/slave结构，在整个资源管理框架中，resourcemanager为master，nodemanager是slave。作为Hadoop生态系统的一部分，Yarn要想获得市场认可，必须学会与Hadoop生他系统中其他组件兼容。本文作为《Hadoop从入门到精通》大型专题的第二章第三节，主要介绍了Yarn如何与Hadoo...
2019-05-24 21:59:49
588
原创 大数据、机器学习和人工智能未来发展的8个因素
人工智能和机器学习以及不断增加的数据量正在改变当前的商业和社会格局。这些领域中出现了许多需要CIO注意的主题和问题。日前，O'Reilly 公司在伦敦Strata举办了一个为期数天的数据会议，与会者为此更好地了解大数据、机器学习(ML)和人工智能的发展方向。这些新兴技术在过去5年中发展迅速，而新技术、流程和应用程序改变了组织管理数据的方式。此次数据会议提供了一个很好的技术发展晴雨表，与会者...
2019-05-23 22:00:00
391
原创 顶尖工程师处理大数据所需的技能
数据分析师的工作包括收集、清理、可视化信息块，并将原始数据转换或建模为营销人员、开发人员、会计师使用。数据分析师的工作流程是由组织的需求定义的，但最终的可交付成果总是相同的：结构良好且易于检索的数据。作为一名数据分析师，需要具有分析头脑、强大的数学技能和灵活性。虽然这主要是数据科学家的先决条件，但也需要一系列的编程知识。根据Payscale公司发布的统计数据，数据分析师的年薪在...
2019-05-23 21:59:58
785
原创 老程序员告诉你什么是大数据框架
大数据架构是用于摄取和处理大量数据(通常称为“大数据”)的总体系统，因此可以针对业务目的进行分析。该架构可视为基于组织业务需求的大数据解决方案的蓝图。大数据架构旨在处理以下类型的工作：•批量处理大数据源。•实时处理大数据。•预测分析和机器学习。精心设计的大数据架构可以节省企业资金，并帮助其预测未来趋势，从而做出明智的业务决策。大数据架构的好处...
2019-05-23 21:59:53
785
原创 大数据所具备的四个特点，清楚知道大数据原理原则
说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，没有一个标准的东西，因为在我们的印象中好像很多公司都叫大数据公司，业务形态则有几百种，感觉不是很好理解，所以我建议还是从字面上来理解大数据，在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征：1.大量大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的...
2019-05-23 21:59:51
1242
hadoop项目--网站流量日志分析--5.docx
2019-10-23
hadoop项目--网站流量日志分析--2.docx
2019-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人