2017年12月_ItStar_

转载在hive仓库中建贴源数据表

该项目的数据分析过程在hadoop集群上实现，主要应用hive数据仓库工具，因此，采集并经过预处理后的数据，需要加载到hive数据仓库中，以进行后续的挖掘分析。创建原始数据表--在hive仓库中建贴源数据表ods_weblog_origindrop table if exists shizhan.ods_weblog_origin;create table shizhan.ods_weblog_o

2017-12-28 00:00:00 6730

转载 36分钟轻松搞定hadoop系统流程

目的这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Hadoop被正确安装、配置和正常运行中。更多信息见：Hadoop快速入门对初次使用者。Hadoop集群搭建对大规模分布式集群。概述Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T

2017-12-27 00:00:00 1033

转载让阅读成为平常事

无用的阅读是为了生命成长，信手拈来，开卷有益，读的时候当下不见得有什么直接功用，但是久而久之你知道养心靠的是无用的阅读。在一个过于浮躁喧嚣的时代，人如果敢于做一点无用的事，也是一种勇敢，也是对自己生命的负责。——于丹在今天这个时代，阅读其实变得既普遍又奢侈。我们之所以说它普遍，是因为阅读的手段越来越方便了，比如说我们可以有无数的出版物，可以有各式各样的文摘，我们还有电子阅读，从家里的电脑到iPad

2017-12-26 00:00:00 442

转载 2017年最受欢迎的15种编程语言，排名第一的竟然是Go

你从事的工作是基于哪一门编程语言？你的薪酬是多少？在所有编程语言中排名多少呢？作者在本文列举出了2017年薪酬最高的15门编程语言，看看你的语言排名多少吧！科技一直在经济领域和社会领域占据着主导地位，数百万人因此寻找到了自己的第一份职业，有的人甚至跨领域重新进行学习，就是为了从事计算机科学、编程和其他与技术相关的工作。尽管如此，企业还是在寻找高技能的程序员，有的企业为了找到合适的员工还会提高薪酬。

2017-12-26 00:00:00 7754

转载铁路12306微信小程序发布：支持余票查询、添加行程，让出行变得更加方便，你觉得了

12月26日消息，今天，中国铁路12306推出了微信小程序App，用户需要使用微信号登录，12306小程序的界面十分整洁，可以进行余票查询、时刻表查询、正晚点查询等。另外12306小程序还已经上线了车站大屏（全国大屏上线中），可以查看车次的终点站/开车时间/检票口/检票状态等，出行贴士和铁路社区板块也已经开通，另外还有中铁商城，但该板块还未上线。

2017-12-26 00:00:00 900

转载马云除了发20亿玩红包，支付宝还干了一件轰动全球的大事儿！

导读：马云为了支付宝，相继拿出10亿（10亿+10亿=20亿）玩红包。时隔半月，马云为支付宝就花了20亿，但马云拿20亿玩红包只是为了在线下支付市场超越微信支付吗？错，大错特错，其实支付宝还干了一件轰动全球的大事儿！首先，我们得了解马云创办的阿里巴巴到底是怎样一个企业？相信有很多人都认为阿里巴巴不是一家中国企业，而是一家外企，也就是阿里巴巴的最大股东——孙正义（日本软银集团）虽然阿里巴巴最大的股东

2017-12-26 00:00:00 5763 3

转载 Java 开发环境配置

window系统安装java下载JDK首先我们需要下载java开发工具包JDK，下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html点击如下下载按钮：在下载页面中你需要选择接受许可，并根据自己的系统选择对应的版本，本文以 Window 64位系统为例：下载后JDK的安装根据提示进行，还有安装JDK的时候也会安

2017-12-24 00:00:00 302

转载 Java 基本数据类型

Java 基本数据类型变量就是申请内存来存储值。也就是说，当创建变量的时候，需要在内存中申请空间。内存管理系统根据变量的类型为变量分配存储空间，分配的空间只能用来储存该类型数据。因此，通过定义不同类型的变量，可以在内存中储存整数、小数或者字符。Java的两大数据类型：内置数据类型引用数据类型内置数据类型Java语言提供了八种基本类型。六种数字类型（四个整数型，两个浮点型），一种字符类型，还有一种布

2017-12-24 00:00:00 282

转载 Java 基础语法

Java 基础语法一个Java程序可以认为是一系列对象的集合，而这些对象通过调用彼此的方法来协同工作。下面简要介绍下类、对象、方法和实例变量的概念。对象：对象是类的一个实例，有状态和行为。例如，一条狗是一个对象，它的状态有：颜色、名字、品种；行为有：摇尾巴、叫、吃等。类：类是一个模板，它描述一类对象的行为和状态。方法：方法就是行为，一个类可以有很多方法。逻辑运算、数据修改以及所有动作都是在方法中完

2017-12-24 00:00:00 254

转载 Java 对象和类

Java 对象和类Java作为一种面向对象语言。支持以下基本概念：多态继承封装抽象类对象实例方法消息解析本节我们重点研究对象和类的概念。对象：对象是类的一个实例，有状态和行为。例如，一条狗是一个对象，它的状态有：颜色、名字、品种；行为有：摇尾巴、叫、吃等。类：类是一个模板，它描述一类对象的行为和状态。Java中的对象现在让我们深入了解什么是对象。看看周围真实的世界，会发现身边有很多对象，车，狗，人

2017-12-24 00:00:00 277

转载大数据开发如何规避细节问题，换一个角度来解决常见的细节问题

5.开发细节5.1工程结构讲解本书共一个系统架构，二个产品模块（离线和实现），四个项目包：Stormanalyse,Loggenerator, ClickStreamETL，SparkClickStream接下来分别来介绍对应的项目模块：5.1.1离线项目代码目录结构离线大数据日志处理由两部分组成，第一部分是Hadoop MR组成的ClickStreamETL项目，第二个是有Spark内存计算组成

2017-12-23 00:00:00 413

转载大数据发展方向，企业家该如何入手

如何通过大数据来进行创业，看看就知道如何做了。其实很多时候大家都只是看到了眼前的事物，现在大家都知道了大数据的重要性，但是该如何入手了。

2017-12-23 00:00:00 251

转载从另外一个角度来学习大数据入门教学

学习大数据，学什么？怎么学？1、原理和运行机制、体系结构（非常重要）2、动手：搭建环境、写程序目的：1、学习内容 2、熟悉一些名词一、各章概述（Hadoop部分） (一)、Hadoop的起源与背景知识 1、什么是大数据？两个例子、大数据的核心问题是什么？举例：（1）商品推荐：问题1：大量的订单如何存储？问题2：大量的订单如何计算？

2017-12-23 00:00:00 909

转载大数据入门基础课程

我们想要学习大数据首先我们需要对大数据有什么要的了解，从小白到高级工程师，我们都要需要具备哪些条件和因素，通过赵强老师的大数据入门基础课程让你对大数据有一个全方位的了解，在大数据这条路上不在迷茫。

2017-12-22 00:00:00 1697

转载程序员半路转行大数据开发，如何才能在原有的薪资的基础上高出百分之30以上

阅读文本大概需要 3.3 分钟。这里有一个半路转行做开发实现年薪40W的故事，也许对你有帮助。毕业后第一份工作是公司的销售，卖那种app注册量，没错，就是经常在大街上有人拉着你让你扫二维码注册app那种。但是只工作了四个多月我就萌生了转行做开发的想法，原因有两点：一是通过在公司一段时间的工作，我意识到做开发更有技术含量，未来的想象空间更大，公司所有的销售基本就是靠开发的软件而生；二是开发比销售更体

2017-12-22 00:00:00 3677

转载 hadoop入门教程，让你更加快速上手

hadoop是什么的，今天我们通过这个视频来了解hadoop的基础，先熟悉hadoop以后我们就能进军大数据开发。

2017-12-22 00:00:00 320

转载工业大数据产业应用联盟在京成立

2017年12月8日，工业大数据产业应用联盟成立大会在北京饭店隆重召开，会上工业大数据产业应用联盟(以下简称“联盟”)正式成立。联盟由联想集团和中国电子技术标准化研究院携手众多行业骨干企业共同发起，旨在推动构建工业大数据产业技术创新链，为工业大数据技术在各个行业的深度融合与落地提供涵盖技术、平台、标准等多方面服务在内的能力支撑体系。工业和信息化部信息化和软件服务业司司长谢少锋，联想集团董事长兼CE

2017-12-09 00:00:00 563

转载联想发布数据智能战略未来五年赋能十万家企业

2017年12月8日，工业大数据产业应用联盟成立大会在京隆重举行，联想集团与中国电子技术标准化研究院，携手80余家工业大数据生态伙伴共同成立“工业大数据产业应用联盟”，积极推进工业大数据和工业互联网产业的健康发展。在此次大会上，联想集团正式发布联想数据智能战略，联想工业互联网平台重磅亮相，以未来五年赋能十万家企业为目标，开启企业转型升级新变革。　　工业大数据产业应用联盟在京宣布成立　　当前，随着“

2017-12-09 00:00:00 537

转载 2017大数据及人工智能人才报告：招聘数猛增6倍

2017年，大数据与人工智能的热度蔓延到了各个领域，无人驾驶、无人超市、智慧城市，各种黑科技成为热搜名词。这个风口领域内，想要突围的公司无数，也带动了相关人才的争夺。为此，e成科技充分调研并梳理了国内大数据及人工智能领域从业人员的发展现状，联合DT大数据产业创新研究院(DTiii)发布《2017大数据及人工智能人才发展报告》。　　本报告由e成科技制作，将大数据及人工智能相关职位划分为NLP、大数据

2017-12-09 00:00:00 955

转载 Apache Storm工作流程

一个工作的Storm集群应该有一个Nimbus和一个或多个supervisors。另一个重要的节点是Apache ZooKeeper，它将用于nimbus和supervisors之间的协调。现在让我们仔细看看Apache Storm的工作流程 −最初，nimbus将等待“Storm拓扑”提交给它。一旦提交拓扑，它将处理拓扑并收集要执行的所有任务和任务将被执行的顺序。然后，nimbus将任务均匀分配

2017-12-06 00:00:00 2523

转载 Apache Storm核心概念

Apache Storm从一端读取实时数据的原始流，并将其传递通过一系列小处理单元，并在另一端输出处理/有用的信息。下图描述了Apache Storm的核心概念。现在让我们仔细看看Apache Storm的组件 - 组件描述TupleTuple是Storm中的主要数据结构。它是有序元素的列表。默认情况下，Tuple支持所有数据类型。通常，它被建模为一组逗号分隔的值，并传递到Storm集群。Stre

2017-12-06 00:00:00 2450

转载 Apache Storm简介

什么是Apache Storm？Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。虽然Storm是无状态的，它通过Apache ZooKeeper管理分布式环境和集群状态。它很简单，您可以并行地对实时数据执行各种操作。Apache Storm继续成为实时数据分析的领导者。Storm易于设置和操作，并

2017-12-06 00:00:00 1115

转载 Apache Storm集群架构

Apache Storm的主要亮点是，它是一个容错，快速，没有“单点故障”（SPOF）分布式应用程序。我们可以根据需要在多个系统中安装Apache Storm，以增加应用程序的容量。让我们看看Apache Storm集群如何设计和其内部架构。下图描述了集群设计。Apache Storm有两种类型的节点，Nimbus（主节点）和Supervisor（工作节点）。Nimbus是Apache Storm

2017-12-06 00:00:00 457

ItStar