技术能量站

马云淡出后再出预言：人将竞争不过机器，比特币是泡沫区块链不是。

Spark Streaming 用于流式数据的处理 ，Spark 流使得构建可扩展的容错流应用程序变得更加容易。

Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块，SparkSQL 的前身是 Shark，是给熟悉 RDBMS 但又不理解 MapReduce 的技术人员提供快 速上手的工具。

Apache Spark 是用于大规模数据处理的统一分析引擎。它提供 Java、Scala、Python 和 R 中的高级 API，以及支持通用执行图的优化引擎。它还支持一组丰富的高级工具，包括用于 SQL 和结构化数据处理的Spark SQL 、用于机器学习的MLlib、用于图形处理的 GraphX，以及用于增量计算和流处理的结构化流。...

Hue全称Hadoop User Experience，是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。它的强大之处在于，界面非常友好简洁，通过使用它我们可以直接在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。

一、kettle介绍 Kettle 是一款国外开源的 ETL 工具，纯 Java 编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle 中文网 :https://www.kettle.net.cn/Kettle Web 在线体验平台：https://trimdata.cn:2000/myservice/sjdx/list.do?dxdm=SYS_QX_QXXX_ZYGLCDKettle 中有两种脚本文件，transformation 和 job，transform...

花了一个月时间整理了一份我当初学习的大数据学习路线，从最基础的大数据集群搭建开始，希望能帮助到大家。不过在开始之前，我还是希望大家能想清楚，如果自己很迷茫，为了什么原因想往大数据方向发展，还有就是我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣？这其实也就关系到大数据的三个发展方向：平台搭建/优化/运维/监控 大数据开发/设计/架构

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distributed FileSystem）的设计本质上是为了大量的数据能横...

根据二八法则，80%的流量聚集在20%的站点。这个特点放在国内，更具有代表性，以 BAT 为代表的互联网公司几乎“垄断”了国内流量入口，因此，国内SaaS产品运营自有其特殊性，我们姑且称之为“中国特色的 SaaS 产品运营”。中国特色的 SaaS 产品运营之：卧薪尝胆对于企业级 SaaS 产品，通过自建平台、渠道去构建运营护城河，代价是高昂的且难度是极大的。因此，我们自有一套因地制...

数据挖掘和大数据可以做什么？简而言之，它们赋予我们预测能力。我们的生活已经数字化了我们每天所做的许多事情都可以记录下来。 每张信用卡交易都是数字化和可追溯的。 我们的公众形象一直受到许多中央电视台在城市各个角落的监控; 对于企业而言，大多数财务和运营数据都保存在某些类型的ERP中; 随着可穿戴设备的兴起 ，每一次心跳和呼吸都被数字化并保存为可用数据。正当我们的大部分生活被数字化时，计算...

首先如何理解云计算、大数据和人工智能三者间的关系  大数据产业正在用一个超乎我们想象的速度蓬勃发展，上个月贵阳的数博会，让全世界感受到了大数据的巨大魅力。借助大数据的风口，云计算和人工智能也同时走进我们的视野，他们三者之间有着不可分割、相互影响的关联。大数据的概念 大数据，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。简...